Un crawler, noto anche come spider o bot, è un programma automatizzato utilizzato dai motori di ricerca per esplorare e indicizzare le pagine web presenti su Internet. I crawler navigano attraverso i link ipertestuali per scoprire nuove pagine e aggiornare le informazioni presenti nei motori di ricerca. Durante il processo di crawling, i crawler raccolgono informazioni sul contenuto, la struttura e i collegamenti delle pagine web per fornire risultati di ricerca pertinenti agli utenti.
