Если коротко, то Яндекс воспринимает тег <noindex>, а Google <!--googleoff: index-->. А тег <!--noindex--> это просто как правильно по валидации, но поисковые системы к единому мнению не пришли. Лучше тег <noindex> и <!--noindex--> не использовать без контроля индексации в Яндексе и Google по отдельности. По тегу <noindex> написано для Яндекса вот тут https://yandex.ru/support/webmaster/ru/adding-site/indexing-prohibition

У Google запрет на индексацию идёт тегом <!--googleoff: index--> или <!--googleoff: all--> подробнее написано вот тут https://www.google.com/support/enterprise/static/gsa/docs/admin/current/gsa_doc_set/admin_crawl/preparing.html