垃圾爬虫为啥禁止不了?

我明明添加了

User-agent: panscient.com
Disallow: /

User-agent: *
Crawl-delay: 100

web日志里还是会有访问


​这​种​直​接UA​屏​蔽​吧   ​​​​


这不都是规矩的robot.txt吗?守规矩的人遇到不讲理的也是白搭


让他爬呗,这个有啥


你那个只是口头声明告诉他 不要爬。但是他可以不遵守规则继续爬

你得拉黑他 IP 或者禁 UA

雪丫鬟 发表于 2020-3-22 22:27
让他爬呗,这个有啥

你的站可真够卡的,刷新+一分多才打开内容页,电信

杀猪的 发表于 2020-3-22 22:32
你的站可真够卡的,刷新+一分多才打开内容页,电信

要的就是这效果。反正就是挂个样子。域名不能空着。
不过没那么夸张吧,买的老鹰的虚拟主机。我开了listspeed

雪丫鬟 发表于 2020-3-22 22:34
要的就是这效果。反正就是挂个样子。域名不能空着。
不过没那么夸张吧,买的老鹰的虚拟主机。我开了lists …

怀疑你是不是用的1元一年的空间,进入内容页一分多,返回首页几十秒,再次进入内容页最少一分多,整站图片加载更别提了


有爬虫不好么

杀猪的 发表于 2020-3-22 22:39
怀疑你是不是用的1元一年的空间,进入内容页一分多,返回首页几十秒,再次进入内容页最少一分多,整站图 …

没有。是老鹰主机的虚拟主机。原来体验那么差,我自己访问还行。

发表评论

电子邮件地址不会被公开。 必填项已用*标注