Pre release: robots.txt

В файле robots.txt нужно раскомментировать строчку и вписать домен сайта:

# Host: example.com

Если сделана карта сайта, добавляем следующую строчку в каждый блок robots.txt, не забыв заменить домен: