#Пример корректно составленного robots.txt, при обработке 
#которого директива Host учитывается
User-Agent: *
Disallow:
Host: ugra.net

User-agent: Yandex
Disallow: / # блокирует доступ ко всему сайту