Contacto
Contacto

¿Qué es Robots.txt?

El archivo Robots.txt le dice a los rastreadores del motor de búsqueda qué páginas web o áreas de un sitio web pueden y no pueden estar indexadas . Al leer un sitio web, los rastreadores primero buscan en el archivo Robots.txt y leen la información necesaria del directorio raíz. En los sitios web grandes en particular, puede tener sentido no indexar subpáginas y directorios sin importancia para ahorrar presupuesto de rastreo.

Weitere relevante Glossareinträge

Sie möchten sich einmal kostenlos und unverbindlich beraten lassen? Dann rufen Sie uns jetzt an