Robots.txt: Il file robots.txt è un file di testo utilizzato per comunicare agli spider dei motori di ricerca le istruzioni sulla scansione e l’indicizzazione del sito web. Viene posizionato nella radice del dominio e contiene direttive che indicano ai motori di ricerca quali pagine devono essere escluse dalla scansione o quali file o cartelle devono essere limitati nell’accesso. Il robots.txt è uno strumento utile per controllare quali parti del sito web devono essere accessibili ai motori di ricerca e può contribuire a migliorare l’efficienza della scansione, proteggere contenuti sensibili o riservati e ridurre il carico sul server.
