Cómo crear un archivo robots.txt para su página web
El archivo robots.txt contiene directrices para los robots de exploración de su sitio Web. Los motores de búsqueda como Google y Bing utilizan robots Web de forma automática para el índice Web. Por defecto, los robots rastrean su sitio web completo. Sin embargo, la mayoría de sitios web incluyen archivos que no están destinados a ser rastreados porque no fueron diseñados como parte de la zona de presentación del sitio o por razones administrativas. El archivo robots.txt indica cuáles directorios no deben ser rastreados. Tenga en cuenta que los robots de malware y otros programas diseñados para analizar los sistemas vulnerables ignorarán el archivo, así que no lo utilice como una medida de seguridad.