El archivo robots.txt es un recurso fundamental para la sitio web que pretende estar bien vista por los buscadores como Chrome . Opera como una instructivo para los crawlers , indicándoles qué páginas de tu sitio pueden están crawleadas y cuáles se deben excluir . La adecuada configuración de este archivo puede a evitar problemas de indexaci�