SimilarWeb如何向新爬取文件添加XML网站地图？可以通过手动、文件上传或robots.txt将XML站点地图添加到SimilarWeb站点审核中，之后需要抓取的页面URL或者文件将根据商家的设置实现特定的抓取，以提高网站的收录效果。尤其是在网站上线之前，使用该项功能，有利于测试网站地图的有效性，减少技术方面SEO优化的错误。
>>>>>点击进入官网了解SimilarWeb站点审核详情<<<<<
一、启动新的抓取项目
在SimilarWeb网站审核中创建一个新的抓取项目。
输入主要域名，该域名下存放 XML Sitemap 文件，并命名项目（如果想使用页面渲染服务，请启用 JavaScript 渲染）。
在源设置中，选择 Sitemaps 选项，默认情况下，Site Audit 通过 robots.txt 文件发现并抓取 XML Sitemaps。
推荐阅读：《网站robots.txt文件全面解析》
三、如何将XML Sitemaps添加到Site Audit在向爬取项目中添加 Sitemaps 时，存在以下三种添加XML站点地图的方法：
-
- 在 robots.txt 文件中引用的 XML Sitemaps（这是默认操作）。
- 手动将 XML Sitemap URL 复制并粘贴到 Site Audit 中。
- 手动将.xml 或.txt 文件上传到 Site Audit。
默认情况下，当选择 Sitemaps 数据源时，SimilarWeb站点审核会发现 robots.txt 文件中的任何 XML Sitemap URL。
这意味着在 robots.txt 中找到的任何 Sitemap URL 将会被自动拉入站点审核将要抓取的 Sitemaps 列表中。
例如以下 robots.txt 文件：
User-agent: * Sitemap：https://www.example.com/sitemap_index.xml
SimilarWeb站点审核会发现 Sitemap Index 并爬取该文件中包含的所有 XML Sitemap。在本操作中，任何未包含在该 Sitemap Index 中的 Sitemap 都不会被站点审核发现和爬取。
如果不希望 Site Audit 在未来爬取中在 robots.txt 文件中发现 XML Sitemaps，请在源设置中取消选中它。
记得取消选择 robots.txt 中找到的站点地图，因为在取消选择 robots.txt 选项时，它们不会自动取消选择。
2、手动添加 XML 站点地图 URL如果 XML 站点地图不能在 robots.txt 中找到，则可以手动添加到站点审核中。
要手动将站点地图添加到SimilarWeb站点审核中：
- 创建一个包含所有 XML 站点地图的列表。
- 复制所有 XML 站点地图的 URL，并将它们粘贴到输入框中。
- 点击添加站点地图。
当手动添加新的 Sitemaps 时，它们将被添加到SimilarWeb站点审核需要抓取的 XML Sitemaps 列表中。
一旦列表生成后，SimilarWeb网站审核还提供选择或取消选择文件在项目中进行爬取的选项，如果不想爬取上传的每个站点地图，这会很有用。
3、上传站点地图SimilarWeb站点审核功能允许手动上传 .xml 和 .txt 文件，这些文件可用作 XML 站点地图。如果网站开发和技术 SEO 团队希望在正式上线前测试站点地图，此选项将非常有用。
要上传 .xml 或 .txt 文件：
- 创建一个希望包含在 .xml 或 .txt 站点地图中的 URL 列表。
- 创建一个 XML 站点地图文件或.txt 文件，并包含希望搜索引擎抓取的 URL。
- 将站点地图文件上传到SimilarWeb站点审核（每个文件上传不超过 100MB，站点审核支持 gzip 压缩文件）。
文件上传后，站点审核将显示站点地图文件名称和文件扩展名的列表。
站点审核允许编辑已上传的文件列表，从源设置中可以：
- 下载文件以确保内容正确。
- 如果上传了错误的文件，请删除该文件。
- 在项目中取消选择该文件进行抓取。
一旦 XML Sitemaps 已添加到爬取项目中，然后保存并继续，并配置爬取限制和高级设置。点击保存，开始爬取并等待项目最终化，以查看爬取中包含的 XML Sitemap 数据。
推荐阅读：
《如何使用SimilarWeb进行SEO网站优化和内容营销》
(本文由美国主机侦探原创，转载请注明出处“美国主机侦探”和原文地址！)
微信扫码加好友进群
主机优惠码及时掌握
QQ群号：938255063
主机优惠发布与交流
