当前位置:首页 > 每日看点 > 正文内容

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?

卡卷网11个月前 (01-17)每日看点185

我看好多人说 12306 会线下物理打击,的确,有可能会的。

但是我猜可能还有另一个原因,仅仅是我的猜测哈,robots.txt 是给世界上最大的爬虫--搜索引擎看的,它还有一个目的是防止搜索引擎爬取它的内容,因为任何个人都是无法和搜索引擎的爬取能力相比。

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?  第1张

搜索引擎可是能给一个网站爬挂的,例如前阵子沸沸扬扬的百度爬 xx网站。

来看下小 x 书的robots.txt,禁止了几乎所有的爬虫,就是不想让他们爬,这样才能保护好自己的内容,而不是拿自己的内容给别人用,现在好多平台都在这么做了已经。

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?  第2张

说回 12306,为什么它没有 robots.txt文件,我觉得可能是因为它只有一些单页面,所有的车票数据都是通过 ajax 请求动态获取的,搜索引擎爬 12306 没啥用,也拿不到有用的数据,大家基本上也不会去搜搜引擎搜车票对吧。

所以这个时候,它提供不提供 robots.txt 其实都无所谓了,因为搜索引擎也爬不到有用的数据,也就不会费力不讨好的尝试了,这个时候 robots.txt 有没有其实无所谓了,刚试了一下,访问 robots.txt 会报错哈哈

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?  第3张

再来说个人爬取,目前好像没有听说过有谁抓 12306 出事吧,可能官方有这个实力,家里有粮心中不慌,随便抓,实力够用。

扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2025/01/9723.html

分享给朋友:

相关文章

200+ 工具,这个网站堪称最强

200+ 工具,这个网站堪称最强

作为一个乱七八糟什么都懂一点的电脑小白,日常经常被别人增加些临时任务,比如PDF转Word,提取视频里的音频,图片加个边框。之前,电脑里安装了不少这类的软件,虽然能满足要求,但装的多了,总感觉电脑卡卡的。最近发现了一个超强的在线工具网站,首...

最让你震惊的网站有哪些?

压箱底的震惊来了,来波大的,一百个网站!这些都是我平时辛辛苦苦收集的,是真的牛逼,居然还有这种网站。1、实时地球网址:https://zoom.earth/实时图像每 10 分钟更新一次,提供风暴、天气预报、降水、火警等数据2、陕西博物馆...

为什么大家不再提 5G 了?

现在看来,只有美国那种5g的思路是对的。美国的运营商一开始就发现5g和4g并没有质的飞跃,无非就是提升频率/降低穿透力/提升带宽的故事。而美国运营商又是自负盈亏,因此一开始就仅在人口高密度地区或富裕地区布置5g。虽然说人家4g也菜,但是人家...

感觉手机配置都差不多,为什么有的手机能卖2k-3k,而有的手机却能卖到6k-8k?

感觉手机配置都差不多,为什么有的手机能卖2k-3k,而有的手机却能卖到6k-8k?

与所有的商品一样,手机的价格,也是由它的成本所决定的。虽然看起来3000元的手机和6000的手机配置差不多,甚至处理器都可能是同一个,但在很多大家容易忽略的地方,决定了两者价格的不同:例如手机的外观,塑料的机身,与素皮机身和玻璃机身就完全不...

有哪些是你用上了mac才知道的事?

用上了高端的Mac(已退货)才知道:原来文件夹里面的文件,你看到是8个,其实可能有12个。其中3个图标重叠在一起了,另外一个被拖动到屏幕外面了。用上了高端的Mac(已退货)才知道:原来鼠标灵敏度有问题是因为系统内置了鼠标加速度,只能用控制台...

程序员都有自己的服务器吗?

程序员都有自己的服务器吗?

2024.9. 24,有朋友咨询功耗,我没有单独给服务器弄智能插座,系统做的 esxi 也看不到,所以只能用其他角度判断供大家参考。我有一个餐边柜改的机柜,里面白裙两盘,黑群晖 4 机械 1 mvme,一个爱快硬路由,一个联通光猫,一个 2...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。