¿Qué son los Crawlers?
Los Crawlers, también conocidos como arañas web, son los rastreadores enviados por los motores de búsqueda para ver qué hay de nuevo en todo Internet. Se les conoce también como indexadores o indizadores debido a su función. Estos programas son los responsables de repasar todo el conjunto de Internet para detectar las nuevas webs o actualizaciones que haya en las ya existentes y hacer que figuren en las SERPs. Su comportamiento sigue este patrón: primero, entran a una lista de direcciones preestablecida para, a partir de ellas, comenzar a visitar subdirectorios y leer los enlaces que haya dentro de todos y cada uno de ellos. Cuando terminan, añaden todos los resultados a esa lista anterior para que, la próxima vez, se acceda directamente a todos ellos y seguir añadiendo más y más. Generalmente es un proceso de tipo secuencial e iterativo que poco a poco va engrosando los índices de Google y compañía a base de realizar visitas continuadas. Realizan un trabajo indispensable para que los usuarios encuentren los resultados más actualizados a la hora de realizar búsquedas en Internet. Su labor es algo indispensable para mantener la información a la orden del día en la red, como también para detectar posibles enlaces rotos u obsoletos que pudieran causar problemas. Los crawlers son los responsables de la aparición de nuevas webs en los buscadores. Los mecanismos de detección actuales quedarían carentes de sentido de no ser por la labor de estos programas informáticos de Google y el resto de webs de búsqueda.