Вызовы API и краулинговый бюджет сайта в Google

Во время последнего SEO office-hours один из участников спросил Джона Мюллера о том, учитывает ли Google при расчете краулингового бюджета сайта сканирования URL-адресов API. Вебмастер имел в виду ресурс, получающий часть данных с другой площадки через программный интерфейс.

Представитель Google ответил, что если вызовы API участвуют в процессе рендеринга, то они уменьшают краулинговый бюджет. Так как для отображения всей страницы поисковому роботу потребуются эти URL.

Чтобы запретить сканирование URL-адресов API, Мюллер советует использовать disallow. Но перед этим стоит убедиться, что их блокировка не повлияет на рендеринг веб-страницы.

Источник: webformyself.com