添加规则

网站URL分析软件是根据用户添加的规则来进行的任务,用户利用自定义任务可以有效适配不同网站。

规则名

用于识别自己添加的规则;

URL

即要进行网站地图制作的URL,网站首页即可。然后需要点击后面的 URL识别,这里将测试这个网址是否能打开,同时自动识别网站的字符集编码;

URL长度控制

某些网站的url写的可能不是很规范或者某些购物类型的网站由于有大量的联动筛选,可能导致在URL拼接时会出现过长重复的URL,导致网站制作一直进行不能完成;同时对于过长的URL,对于搜索引擎来说不是那么友好,这部分URL就需要用长度过滤来过滤掉;

目录过滤

即过滤掉网站的部分目录;

过滤后缀

屏蔽部分后缀的URL;

过滤字符

过滤包含某些字符的URL;

过滤Nofollow

即过滤部分带有rel属性的a标签

严格模式

启用严格模式后,对 https://www.webkk.net/sitemap 301或302 跳转到 https://www.webkk.net/sitemap/ 这种类型的30x跳转,将拒绝抓取,并统计整个网址出现这种链接的页面。

如果自动识别的字符集有误,请指定正确的字符集

抓取线程

请根据自身网站的服务器性能来决定,线程数越少,对网站压力就越低,但是制作速度会降慢;线程数越高,对网站压力相对要大些,但是制作速度会加快。


文档反馈

登陆后的视界更精彩哦 登陆