Necesitamos de los buscadores para que los usuarios nos puedan encontrar pero a veces en el proceso de “rastreo” o crawleo de nuestra web pueden afectar al rendimiento de nuestro servidor, para eso les podemos indicar la frecuencia de trastreo en segundos de un modo sencillo utilizando el fichero robots.txt, de este modo:

Para indicarselo al buscador bing sería así (1 segundo):
     User-agent: bingbot
Crawl-delay: 1

Para indicarselo al buscador de Yahoo (1 segundo), de este modo:

    User-agent: Slurp
    Crawl-delay: 1

 

Lo mejor es que lo pongámos de modo genérico, de tal modo:

    User-agent: *
    Crawl-delay: 1

P.D.1: El robot de Google no tiene en cuenta esta directiva.
P.D.2: Esta directiva no es útil para bots maliciosos.