Estimado gualdo colega, una "araña" (traducción del ánglico "spider") no es más que un programa.
Es un programa especializado en "leer" páginas web, y reportar a su creador el contenido de la página, que a su vez guarda la dirección y crea entradas en un índice de búsqueda.
Eso es lo que le permite a una empresa como Google, o a cualquier otro motor de búsquedas, poder devolver resultados según palabras buscadas.
Es básicamente un lector autómata, y como tal no se suele identificar más que como spider, y los servidores web habitualmente les permiten leer e indexar todo el contenido público.
Lectoindexadores saludos