generatore robots
   

Form per creare il file robots.txt per il controllo degli spider

Il file robots.txt è una sorta di protocollo utilizzando dai spider web (detti anche Web crawler) per analizzare eventuali restrizioni di analisi delle pagine di un sito internet.

Gli spider "ragni" sono dei software automatici programmati per effettuare scansioni, ricerche ed indicizzazioni periodiche.

Il primo controllo che effettuano è quello di verificare eventuali restrizioni date dal webmaster del sito.

Il file robots.txt permette di non dare limitazioni o di limitare alcune aree, che per scelte del webmaster, gli spider non devono assolutamente indicizzare.

Genera file robot.txt

Impostatzione di Default:


Per Tutti i Robots:                               
     

Impostazione per Robots Specifici:


Google                                

Google Image Search      

MSN Search                       

Yahoo                                  

Ask/Teoma                          

GigaBlast                            

Scrub The Web                  

DMOZ Listing Checker     

Nutch                                   

Become                                 

Restrizioni alle Directories:


Il percorso è relativo alla root e deve contenere alla chiusura il segno "/"

 

 

 

 

 

   

File Generato:



Come Pubblicare il file robots.txt generato

Copia ed incolla il testo generato in una pagina del blocco note e salvalo nominandolo "robots.txt" (Non dimenticare la "s" alla fine della parola "robots") e pubblicalo nella tua directory di root.

A pubblicazione avvenuta, deve risultare raggiungibile come da questa URL di esempio http://www.iltuodominio.it/robots.txt