El archivo Robots.txt le dice a los rastreadores del motor de búsqueda qué páginas web o áreas de un sitio web pueden y no pueden estar indexadas . Al leer un sitio web, los rastreadores primero buscan en el archivo Robots.txt y leen la información necesaria del directorio raíz. En los sitios web grandes en particular, puede tener sentido no indexar subpáginas y directorios sin importancia para ahorrar presupuesto de rastreo.