当前位置:首页 > 每日看点

有哪些常用的源代码搜索引擎?

卡卷网1年前 (2025-05-07)每日看点426

项目简介

一款无需代理、支持多搜索引擎的 LLM 网络检索工具正式开源。 —— proxyless-llm-websearch 该工具集成了多搜索引擎支持、网页解析+爬取能力,结合 LangGraph 构建模块化智能体链路,让大模型拥有“读网页”、“找资料”的能力。
项目地址 GitHub · itshyao/proxyless-llm-websearch

作者:AI前沿搬运工

公众号:【AI前沿搬运工】

有哪些常用的源代码搜索引擎?  第1张


✨ 功能亮点

无需代理

采用 Playwright 本地浏览器模拟,配置支持国内搜索引擎(Bing、夸克、百度、搜狗),无需翻墙也能联网搜!

多引擎搜索

多路并发搜索,自动去重融合,最大化信息多样性。

自动判断意图

支持自然语言 URL 与问句识别,智能区分“搜索”与“网页解析”任务。

查询分解机制

搜索意图自动拆解为多个子任务,显著提升结果的完整性上下文相关性

LangGraph智能体链路

模块化工具链 web_search + link_parser,低耦合高扩展。

高性能异步爬取

Playwright 与 Crawl4AI 支持网页加载、异步并发爬取、抗封封锁机制。

✂️ 内容重构

  • 网页切片:长网页分段处理;
  • 内容重排:提升信息密度与相关性

浏览器插件支持

支持智能 URL 内容解析的浏览器插件,帮助大模型快速获取网页信息。

  • 当前页面解析:一键提取当前访问页面的结构化内容
  • 多标签页解析:批量提取多个标签页中的网页信息
  • ✏️ 自定义 URL 解析:支持输入多个链接进行内容提取

有哪些常用的源代码搜索引擎?  第2张


有哪些常用的源代码搜索引擎?  第3张


快速部署

git clone https://github.com/itshyao/proxyless-llm-websearch.git cd proxyless-llm-websearch pip install -r requirements.txt python -m playwright install

配置环境变量后:

python demo.py

或运行 FastAPI 接口:

python api_serve.py

或者可视化 Web UI:

python gradio_demo.py

有哪些常用的源代码搜索引擎?  第4张

有哪些常用的源代码搜索引擎?  第5张

有哪些常用的源代码搜索引擎?  第6张


或者使用插件:

有哪些常用的源代码搜索引擎?  第7张


效果测试:
基于阿里的 WebWalkerQA 高难度问答数据集,对比火山方舟、百炼等知名在线检索接口,我们取得了最高的正确率和最低的错误率:

搜索系统✅ 正确率❌ 错误率⚠️ 部分正确
火山方舟5.00%72.21%22.79%
百炼9.85%62.79%27.35%
Our19.85%47.94%32.06%


Call for Action
开源不易,欢迎大家 ⭐Star!!
GitHub 项目地址: github.com/itshyao/prox

扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2025/05/12939.html

分享给朋友:

相关文章

内存和硬盘的单位都是G,两者的功能是什么?谁能用简单通俗的方式来解读一下?

内存和硬盘的单位都是G,两者的功能是什么?谁能用简单通俗的方式来解读一下?

要弄清楚这个问题,首先要弄清楚什么是内存,什么是硬盘,在计算机的组成结构中有一个很重要的部分是存储器。它是用来存储程序和数据的部件。对于计算机来说,有了存储器,才有记忆功能,,才能保证正常工作。存储器的种类很多。按其用途可分为主存储器与辅助…

4499 元起的荣耀Magic7 系列实际使用体验怎么样,值得入手吗?

全是软文。。。。。。不过我买了,标准版。为什么买荣耀:屏幕看着舒服,玩游戏选择大屏,超声波指纹解锁。其它,系统、续航、充电、拍照,不是最强,但均衡下来短板都不是很短。其它米OV,IQ、一加,都看了,预算有限,米OV的小屏不感兴趣,OPPO硬…

为什么说不懂电脑的不要碰AMD?

作为一个资深垃圾佬,说缺点前,先说优点吧AMD CPU(后续简称AU)的优点:处理器对比Intel,三级缓存更大,最明显的感知就是,网游帧数更高(5900X,7900X之类高端型号都是双CCX共享大缓存,反而不如次一点的CPU帧数更高);相…

提升自己最快的方式是什么?

提升自己最快的方式是什么?

1. 稻盛和夫说过: “改变自己最快的方法就是做自己害怕的事,不敢做的事,认为自己做不到,觉得不可能的事。如果在自己的舒适区待久了,就会丧失斗志,如果想快速的改变,可以坚持去做一些对自己有益的事。 2. 早睡早起,坚持运动 保持旺盛的精力,…

天涯神帖,第一神帖是什么?

天涯神帖,第一神帖是什么?

一些个人觉得比较经典的天涯神贴(更新进去了): 话说1999年那会儿,中国的互联网还是个小婴儿,BAT三巨头都还在穿开裆裤呢,天涯社区就已经悄然诞生了。 时光飞逝,到了2007年,这小小社区竟然已经吸引了超过20…

为什么现在 AI 已经没啥热度了?

从改名叫大模型那一刻,懂行的就已经放弃了,剩下资本和无知网友还有点后劲 所谓大模型,本质就是一个更大、更快数据库的传声筒。更大更快本身确实很厉害,但依然只是传声筒,和AI根本不沾边 数据库之外仍然一无所知,甚至数据库之内的输出逻辑还要依赖大…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。