Надеюсь всем рассказать о Файл robots.txt - это вероятнее всего то что нужно каждому индивидуму.