Dic 06 2006
Usare robots.txt per impedire indicizzazione dei motori di ricerca
E’ possibile, per i più svariati motivi, voler impedire l’indicizzazione da parte dei motori di ricerca del nostro sito, in tutto o in parte. Per fare questo, bisogna creare con un semplice editor di testo (il Blocco Note è perfetto per questo scopo) un file chiamato "robots.txt" nella cartella principale del sito web. Il file robots.txt svolge quest’unica funzione, se il nostro scopo è quello di far sì che i motori di ricerca indicizzino TUTTO il nostro sito Web, allora il file robots.txt NON VA creato.
Per escludere dall’indicizzazione da parte degli spider l’intero sito Web, il contenuto di robots.txt dovrà essere il seguente:
User-agent: *
Disallow: /
Se invece vogliamo impedire l’indicizzazione di una directory del nostro sito, il file robots.txt sarà così composto:
User-agent: *
Disallow: /directory/
Tramite la stringa "User-agent" possiamo indicare uno spider specifico (ad esempio Googlebot per Google), ciò permette di negare l’indicizzazione solamente ad uno specifico spider, oppure ci permette di specificare quali spider possono indicizzare il nostro sito e quali no. Maggiori informazioni sono reperibili qui.
[...] Ciao Grazie per la risposta! invece mi sa che esiste Ricerche IT » Usare robots.txt per impedire indicizzazione dei motori di ricerca [...]