Robots.txt

« Back to Glossary Index

Il file robots.txt è un file utilizzato per indicare ai web crawler quali pagine o sezioni del sito non devono essere indicizzate dai motori di ricerca. Il file robots.txt è solitamente situato nella root del sito web e contiene istruzioni per i web crawler su quali pagine o sezioni del sito non devono essere indicizzate.

« Torna all'indice