充分利用网站地图¶
搜索引擎优化¶
使用 robots.txt¶
添加 robots.txt 文件到 source 目录，链接到 sitemap.xml 或 sitemapindex.xml 文件。例如:
User-agent: *
Sitemap: https://my-site.com/docs/sitemap.xml
然后，在 conf.py 中添加 robots.txt 到 html_extra_path:
html_extra_path = ['robots.txt']
向搜索引擎提交网站地图¶
提交 sitemap.xml 或 sitemapindex.xml 到适当的搜索引擎工具。
网站搜索优化¶
网站搜索爬虫也可以利用网站地图作为爬取的起始点。
示例：