Во время Search Central SEO представитель Мюллер объяснил, что большие по объему файлы robots.txt не снижают скорость индексирования сайта. А также не влияют на его позиции в выдаче.
Но при этом он отметил, что такие огромные файлы (более 1,5 тыс. строк), особенно если они содержат множество директив, очень сложно обслуживать. Поэтому Джон посоветовал вебмастерам методом проб и ошибок уменьшить размер объемных robots.txt. И для этого можно использовать специализированный парсер, разработанный командой Google. Он доступен на GitHub.
Источник: webformyself.com