Как проверить, индексируется ли ваш Яндекс.Диск в поиске: разбор трёх служебных файлов
Вы поделились папкой в Яндекс.Диске, создали публичную ссылку и отправили её коллегам. Всё выглядит безопасно: доступ есть только у тех, кто знает адрес.
Когда робот Яндекса или Google обращается к любому сайту, первым делом он запрашивает файл robots.txt в корневом каталоге. Это не скрипт, а простой текстовый документ с набором инструкций.
также: Архитектурная встроенность систем законного перехвата; Моя подушка четыре месяца записывала всё, что происходит в спальне. По умолчанию.
