Il file robots.txt è una sorta di protocollo utilizzando dai spider web (detti anche Web crawler) per analizzare eventuali restrizioni di analisi delle pagine di un sito internet.
Gli spider "ragni" sono dei software automatici programmati per effettuare scansioni, ricerche ed indicizzazioni periodiche.
Il primo controllo che effettuano è quello di verificare eventuali restrizioni date dal webmaster del sito.
Il file robots.txt permette di non dare limitazioni o di limitare alcune aree, che per scelte del webmaster, gli spider non devono assolutamente indicizzare.
Per Tutti i Robots:
Il percorso è relativo alla root e deve contenere alla chiusura il segno "/"
File Generato:
Copia ed incolla il testo generato in una pagina del blocco note e salvalo nominandolo "robots.txt" (Non dimenticare la "s" alla fine della parola "robots") e pubblicalo nella tua directory di root.
