当前位置:首页 > 每日看点

有好用的爬虫软件吗?

卡卷网2年前 (2024-11-28)每日看点318

注意,不同于其他号称“免费”的软件,EasySpider这个软件是真的免费,真的免费,真的免费!!!不需要注册,没有任何收费接口和页面,所有信息完全存在用户本地,代码开源!!!

V0.3.0版本新增的功能,包括元素截图,执行任意JS指令和系统命令,通过JS代码进行条件判断,OCR识别等等功能,想要的功能应有尽有,而且这些功能完全免费!!!

易采集EasySpider:无代码可视化爬虫软件

软件介绍

EasySpider是一款完全免费和开源的可视化爬虫软件,此软件可以让大家使用图形化界面,无代码可视化的设计和执行爬虫任务。只需要在网页上选择自己想要爬的内容并根据提示框操作即可完成爬虫设计和执行。同时软件还可以直接在命令行中通过传参的方式执行,从而可以很方便的嵌入到其他系统中。

以下是示例界面:

有好用的爬虫软件吗?  第1张

有好用的爬虫软件吗?  第2张

有好用的爬虫软件吗?  第3张

相关链接

代码仓库

Github仓库地址,欢迎大家Star:

EasySpider

下载 EasySpider

进入Releases Page:github.com/NaiboWang/Ea 下载最新版本。

支持特性

有好用的爬虫软件吗?  第4张

有好用的爬虫软件吗?  第5张


视频教程

bilibili.com/video/BV1t

文档

教程文档:github.com/NaiboWang/Ea,有英文可以暂时翻译一下,或看作者的硕士毕业论文:github.com/NaiboWang/Ea面向WEB应用的智能化服务封装系统设计与实现.pdf(主要看第三章和第五章)。

为什么要用EasySpider

相比其他可视化爬虫软件,EasySpider有以下优势:

1. 代码开源,因此可以进行二次开发。

2. 完全免费,不同于八爪鱼等软件的“免费”,EasySpider是一个无需登录,无限多开,无限机器部署的软件,不需要向作者本人支付一分钱。(当然,EasySpider受到专利保护,因此如果要商用,还请联系浙江大学天道专利事务所)。相比之下,其他软件的免费有诸多限制,具体可以看他们的价格详情页。

3. 安全,所有信息完全保存在用户本地,包括任务和采集的数据,不用担心数据泄露问题。

4. 跨平台:同时支持Windows,Linux和MacOS。

5. 速度快,通常一个爬虫任务只需要2-5分钟即可设计完成,采集速度也快,通常取决于具体机器环境。

6. 更加灵活,保存的浏览器配置信息更多,最重要的是可扩展,自由的安装各种插件,比如验证码识别插件。

7. 可以直接以命令行的方式执行,无限部署在任何想要部署的机器中。

8. 可以在任务流程中执行自定义的指令,包括JavaScript指令以及系统级别指令,这个是目前所有的可视化爬虫软件都做不到或者不愿意做的事情。

9. V0.3.0版本新增的功能,包括元素截图,执行任意JS指令和系统命令,OCR识别等等功能,想要的功能应有尽有,而且这些功能完全免费!!!

有好用的爬虫软件吗?  第6张

从需求导向来说,爬虫算是一项基本的需求,我们经常需要去爬一些网上的信息,比如对于科研工作者,爬取维基百科语料库进行训练是做NLP的同学经常做的事情;做社交网络分析的同学经常需要爬取Twitter和微博的信息;做推荐系统的同学会去爬购物网站的信息等等。市面上爬虫需求很多,这里就不在赘述了。有了EasySpider,不管大家之前会不会写爬虫,现在都可以不需要费心费力的写代码了。

相关荣誉和出版物

1、 作者本人通过此软件完成了浙江大学硕士论文并取得了硕士学位。

2、 获得了中国国家发明专利授权,作者是第一发明人。

3、 被CCF A顶级会议WWW 2023接收:dl.acm.org/doi/abs/10.1

4、 被微博81.6万粉丝互联网大V“爱可可-爱生活”转发和宣传: s.weibo.com/weibo?


有好用的爬虫软件吗?  第7张

楼主刚从美国参加WWW 2023回来,当时很多人对该软件感兴趣,下面是现场海报:

有好用的爬虫软件吗?  第8张

有好用的爬虫软件吗?  第9张

软件相关截图

这些图片来自我的硕士论文,这里只放图,具体这些图是做什么的请大家去看我的硕士论文,因为太长了:

github.com/NaiboWang/Ea面向WEB应用的智能化服务封装系统设计与实现.pdf

有好用的爬虫软件吗?  第10张

有好用的爬虫软件吗?  第11张

有好用的爬虫软件吗?  第12张

有好用的爬虫软件吗?  第13张

有好用的爬虫软件吗?  第3张

有好用的爬虫软件吗?  第15张

有好用的爬虫软件吗?  第16张

有好用的爬虫软件吗?  第17张

有好用的爬虫软件吗?  第18张

有好用的爬虫软件吗?  第19张

有好用的爬虫软件吗?  第20张

有好用的爬虫软件吗?  第21张

有好用的爬虫软件吗?  第22张

有好用的爬虫软件吗?  第23张

有好用的爬虫软件吗?  第24张

有好用的爬虫软件吗?  第25张

有好用的爬虫软件吗?  第26张

有好用的爬虫软件吗?  第27张

有好用的爬虫软件吗?  第28张

技术交流

由于EasySpider所有的算法设计,代码实现以及文档编写都是我一个人完成的,所以项目肯定不如一个团队一起写那么完善,而且很多功能我想开发也是心有余而力不足,所以肯定有很多可以改进的地方。由于代码全部公开,所以大家可以自行fork之后进行修改和添加新功能,也欢迎大家提PR使得这个软件的功能更加完善,共同构建一个美好的开源社区。

对于软件中涉及到的算法细节,大家可以看楼主的硕士毕业论文,里面写的很详细: github.com/NaiboWang/Ea面向WEB应用的智能化服务封装系统设计与实现.pdf

对于软件开发使用到的具体技术,如chrome扩展开发,websocket的使用,ElectronJS跨平台框架等等,大家可以在下载代码之后去研究下我的写法,我相信我的代码写法绝不是最好的,甚至当时由于想赶紧毕业所以只是想写一个能用的demo出来所以可以说有些粗糙,比如耦合性太强,不够模块化等等,因此可改进空间还有很多,欢迎大家提出意见和建议。 对于初学CS的学弟学妹来说,这个项目也算是不错的样例,因为从开发角度来说,这个项目包含了前端开发,后台开发,数据库操作,浏览器扩展开发等模块;从算法角度来说,这个项目包含了如深度优先,广度优先,数据结构,图,编译原理,递归等等算法技巧。大家如果想学习,也许可以从这个项目源码里学到一些知识。 最后,真心希望软件可以帮到大家!


扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2024/11/1925.html

分享给朋友:

相关文章

你是如何在不依靠工资收入的情况下赚到一万元的?

你是如何在不依靠工资收入的情况下赚到一万元的?

分享几个路子稳,门槛低,变现快,适合年轻人的靠谱的副业。绝对不是送外卖、滴滴、搬砖等等的苦力活,这几个副业都是能是性价比极高,还能让你快速成长的工作。 想通过副业实现暴富、立马月入过万的同学,建议速速划走。 今天撇哥就给大家分享 100+个…

无人机真的是中国领先吗?

无人机真的是中国领先吗?

巧了这是。 捡到了一台大疆。应该是别人飞丢的。在草丛中泡过水,轴承锈死,电池鼓涨已,经没有维修价值了。但作为玩电子的,免不了要把它解剖,研究一番。那么,我们看看它的国产化率能有多少吧。图片说话: 解释一下吧。…

报名的网课分期付款怎么退?

你在你分期付款的订单下面有客服电话,直接打电话描述一下你的问题,你可以告诉他你是被恶意绑定的,在不了解有退学条件这一说的情况下报的课程,可能遇到消费者诈骗了,不承认有退学金,说是霸王条款,诈骗消费者,你若分期了先把自动续费关了,别让自己个人…

MacOS真的比Windows流畅吗?

我现在公司配的机器,配置是绝对的大古董了 惠普z230sff薄塔 cpu只是个4770,没错不是4790k,4770全核睿频只有3.8g 显卡更是古董,k600,已经结束驱动更新支持了,显存仅1g,跑分跑不过13代uhd核显 内存是加到16…

大家都是怎么把自己的粉丝增加到1000的呢?

大家都是怎么把自己的粉丝增加到1000的呢?

截至2024年10月30日,关注者总数1137人,用时80天,增速约14人/天。 2024年8月10日开始创作,连续一周,1个关注者都没有。创作第7天,得到第一个关注,7天时间,写了8篇回答。当天得到关注,激动的心情历历在目。 没有一个…

为什么小公司留不住人?

为什么小公司留不住人?

我估计,整个知乎,可能没有比我公司再小得了,。。 正对面就是我唯一的一个员工的工位。 为啥留不住人。因为那些留不住人的老板,太拿自己当回事。 大公司靠制度。小公司靠人情。 我这儿的业务,因为全都是线上,所以员工来不来坐班都不重要。 天太…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。