Всем привет. На мой сайт заходят Яндекс боты по 40 шт. И исчерпывают квоты youtube api за пару часов.
Поставил код <meta name="revisit-after" content="10 days"/>
Но Яндекс всеравно заходит каждый день по 40 шт. И исчерпывают квоты. Потом удаляют страницы которые в топе из за не доступности. В течение недели активность из 200 упала до 20.
Мне надо что бы поисковик сканировал не больше 10 страниц в сутке, но никак 10 к.

.htaccess - составь запрет на Яндекс ботов

... Потом удаляют страницы которые в топе ...

это ты как определил? ввёл в поиск линк страницы и она отобразилась первой в выдаче?

В Яндекс панели смотри

Изображение

------
63866_Screenshot_20190421114631804_com.android.chrome.png (127.9 Kb)
Скачиваний: 66

У меня это стоит на самой низком уровне

Потому что активность упала в 10 раз.
Да проверял, страницы были на первом позиции в яндексе.

356024460 , тогда просто закрой доступ к поисковикам если трафа мало.
В работе пропишите.

User-agent: *

Disallow: /

Но советую перейти на хостинг где трафик безлимитный.

Я бы закрыл, но основной поисковик для моего сайта это Яндекс. Гуго не сканирукет по этому закрыл доступ к гуглу. Не знаю как сделать что бы поисковик заходил и сканировал сайт каждые 10 дней, или каждый день но не больше 10 страниц.

У меня с трафиком все норм, квоту ютуб api Яндекс боты исчерпивают... У меня ключей 10 стоит в настройках.
Каждый ключь это 10 к запросов а 1 запрос 100 квот стоит.
10*10 000=100 000 всего запросов