当前位置:首页 > 每日看点 > 正文内容

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?

卡卷网1年前 (2025-01-17)每日看点205

我看好多人说 12306 会线下物理打击,的确,有可能会的。

但是我猜可能还有另一个原因,仅仅是我的猜测哈,robots.txt 是给世界上最大的爬虫--搜索引擎看的,它还有一个目的是防止搜索引擎爬取它的内容,因为任何个人都是无法和搜索引擎的爬取能力相比。

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?  第1张

搜索引擎可是能给一个网站爬挂的,例如前阵子沸沸扬扬的百度爬 xx网站。

来看下小 x 书的robots.txt,禁止了几乎所有的爬虫,就是不想让他们爬,这样才能保护好自己的内容,而不是拿自己的内容给别人用,现在好多平台都在这么做了已经。

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?  第2张

说回 12306,为什么它没有 robots.txt文件,我觉得可能是因为它只有一些单页面,所有的车票数据都是通过 ajax 请求动态获取的,搜索引擎爬 12306 没啥用,也拿不到有用的数据,大家基本上也不会去搜搜引擎搜车票对吧。

所以这个时候,它提供不提供 robots.txt 其实都无所谓了,因为搜索引擎也爬不到有用的数据,也就不会费力不讨好的尝试了,这个时候 robots.txt 有没有其实无所谓了,刚试了一下,访问 robots.txt 会报错哈哈

12306 网站的根目录下为什么连 robots.txt 文件(反爬虫协议)都没有?  第3张

再来说个人爬取,目前好像没有听说过有谁抓 12306 出事吧,可能官方有这个实力,家里有粮心中不慌,随便抓,实力够用。

扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2025/01/9723.html

分享给朋友:

相关文章

app拉新在哪接单?

app拉新在哪接单?

“提供500+款任务”,“一手渠道app拉新项目”,“纯绿色的”,“高佣金”,“当天做当天结/算”,“多年孵化经验”,“独立后台一对一帮扶持”以上这种还有人信吗???作为一个做了三个月时间并且也踩过坑的人告诉你,不要轻易相信发这种广告的,还...

支付宝碰一碰市场如何?

支付宝碰一碰市场如何?

今年,支付宝又整了新的大活,即无须扫码即能完成支付操作的“支付宝碰一碰”正式登场。下面就来给大家分析分析,这是个什么情况,为什么都在说能赚钱。支付宝碰一下怎么赚钱的?都有谁能赚到这份钱?1.支付宝碰一下原理支付宝碰一下的本质依旧是“条码支付...

为什么微服务一定要有网关?

为什么微服务一定要有网关?

网关一句话总结,网关的作用是上浮公共逻辑,下沉差异逻辑。公共逻辑就是所有接口都需要做的事,比如权限校验,限流算法等,这样业务就只需要关心业务逻辑即可。下面是一个对比图: 当然除了一些公共逻辑外,路由也是网关的核心功能,它可以进行流量转发。...

小米14和华为mate60怎么选?

手持荣耀20,用了五年多了,使用仍然较为流畅,但是电池不太行了,于是2024年8月在家乡的小米之家购买了小米14(12+256),用了快两个月吧,说说使用体验。 外观层面,由于我使用的荣耀20放在现在妥妥地属于小屏,习惯了小屏...

苹果为什么不做千元机?

苹果为什么不做千元机?

第一步,打开苹果官网,注意是.com,不是.cn;第二步,点击iPhone,选择Compare iPhone;第三步,选择最新iPhone 15系列,查看起售价格,分别为$1199,$999,$799。这不妥妥的千元机吗,怎么苹果就不做千元...

WordPress建站同时面向B端和C端,有什么好的解决方案?

这个很容易实现呀,只不过需要自己开发,整体用权限管理就可以实现了,B端和C端是不同用户权限,C端能看到的菜单入口和B端不一样就行了。技术层面实现没问题的,只不过就是看你们的技术能力和投入了 ,这样的需求应该没有现成的开源插件。只能找人定制开...

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。