El robot utiliza como User Agent: "validador de enlaces (http://www.links-rotos.com/)"
La dirección IP del robot es 216.93.174.12.
Con cualquiera de las 2 informaciones anteriores puedes identificar las visitas del robot en tu servidor.
En un principio el robot tiene límite de 25 páginas por dominio y 150 urls a dominios externos, con un tiempo máximo de ejecución de 15 minutos.
Si el robot durante su exploración encuentra un enlace hacia http://www.links-rotos.com el límite de páginas por dominio pasa a ser de 150 y el máximo de urls externas 500, además de ampliar el tiempo de rasteo.
Para casos especiales como el tuyo contacta con el webmaster: webmaster@links-rotos.com.
El robot puede rastrear sin problemas miles de documentos y estar funcionando durante horas.
Actualmente aún no está implementado. En breve el robot seguirá el protocolo.
Sí, puedes hacerlo bloqueando la dirección IP del robot o detectando el User Agent.
Visita: información sobre Mime Types.
Visita: información sobre URLs y query strings.
Actualmente el robot no reconoce los siguientes tipos de enlaces o redirecciones:
Los enlaces que sí reconoce son:
Es importante indicar que todos algunos tipos de enlaces tienen un impacto negativo sobre el rendimiento en los buscadores. Es recomendable que todos los enlaces sean del tipo a href, y evitar los frames y enlaces con javascript. Ver recomendaciones para los buscadores para más información.
Seguramente es debido a que utilizas técnicas o enlaces descritos en el punto anterior.
Sí, visita: recomendaciones para los buscadores.