В самом начале собственного пути я бы ни за что не ответила, в чем разница между «Disallow:» в robots.txt и тегом noindex. Более того, я даже полагала, что сочетать их имеет смысл. Но все куда проще (и интереснее), чем могла бы предположить я образца 2023 года.                    «Disallow:» в robots.txt           В чем суть: запрещает поисковым ботам сканирование (определенных папок, страниц и т.д.).          Для чего бесполезен: для удаления страниц из индексов ПС, если они уже там оказались.                    Disallow лучше всего использовать, чтобы закрыть гет-параметры и не плодить дубли (например, вы крутите рекламу на раздел и получаете дубли с ?yciad= и прочей красотой). Важно: Disallow поможет вам в Гугле, но для Яндекса используйте Clean Param.                  Еще через Disallow отлично закрываются (более того, это обязательно делать еще на этапе создания robots.txt) служебные элементы сайта: админ-страницы, страницы авторизации и ввода пароля, в общем, все, что нужно для функционирования сайта, но абсолютно точно не должно «светиться» для всех.                    noindex и nofollow                    Очень полезные теги, которыми, однако, надо пользоваться осторожно, чтобы не навредить сайту и не обвалить позиции.                    noindex сигнализирует поисковым ботам, что эту страницу не надо забирать в поисковую выдачу, по сути, запрещает ее индексировать.                    nofollow сигнализирует о том, что не нужно передавать ссылочный вес с этой конкретной страницы (или ссылки/ссылок на странице в случае, если тег прописывается для них; например, на странице со способами доставки через nofollow можно закрыть ссылки на сайты транспортных компаний-партнеров, оставив их для удобства пользователей, но не для перелива веса).                    А вместе использовать «Disallow:» в robots.txt и noindex попросту не имеет смысла          Disallow заблокирует ботам доступ к странице, следовательно, они не просканируют ни noindex, ни nofollow, сделав последние бесполезными.                    🔥 Поделитесь примерами из своих проектов, какие проблемы вы решили с помощью Disallow и noindex, nofollow?       (или даже негативными кейсами, ведь опыт исправления ошибок — отличный учитель)