Il termine spider, spesso utilizzato come sinonimo di crawler o bot, si riferisce a un programma automatizzato utilizzato dai motori di ricerca per esplorare il web e indicizzare le pagine. I spider navigano attraverso i collegamenti ipertestuali per scoprire, analizzare e raccogliere informazioni sulle pagine web, consentendo ai motori di ricerca di fornire risultati di ricerca aggiornati e pertinenti.