Вот какого содержимого файл robots.txt для лучшей поисковой раскрутки (SEO) создал один мой знакомый (нажмите на картинку, чтобы ее увеличить):

SEO robots.txt