当前位置:首页 > 每日看点

有哪些常用的源代码搜索引擎?

卡卷网1年前 (2025-05-07)每日看点401

项目简介

一款无需代理、支持多搜索引擎的 LLM 网络检索工具正式开源。 —— proxyless-llm-websearch 该工具集成了多搜索引擎支持、网页解析+爬取能力,结合 LangGraph 构建模块化智能体链路,让大模型拥有“读网页”、“找资料”的能力。
项目地址 GitHub · itshyao/proxyless-llm-websearch

作者:AI前沿搬运工

公众号:【AI前沿搬运工】

有哪些常用的源代码搜索引擎?  第1张


✨ 功能亮点

无需代理

采用 Playwright 本地浏览器模拟,配置支持国内搜索引擎(Bing、夸克、百度、搜狗),无需翻墙也能联网搜!

多引擎搜索

多路并发搜索,自动去重融合,最大化信息多样性。

自动判断意图

支持自然语言 URL 与问句识别,智能区分“搜索”与“网页解析”任务。

查询分解机制

搜索意图自动拆解为多个子任务,显著提升结果的完整性上下文相关性

LangGraph智能体链路

模块化工具链 web_search + link_parser,低耦合高扩展。

高性能异步爬取

Playwright 与 Crawl4AI 支持网页加载、异步并发爬取、抗封封锁机制。

✂️ 内容重构

  • 网页切片:长网页分段处理;
  • 内容重排:提升信息密度与相关性

浏览器插件支持

支持智能 URL 内容解析的浏览器插件,帮助大模型快速获取网页信息。

  • 当前页面解析:一键提取当前访问页面的结构化内容
  • 多标签页解析:批量提取多个标签页中的网页信息
  • ✏️ 自定义 URL 解析:支持输入多个链接进行内容提取

有哪些常用的源代码搜索引擎?  第2张


有哪些常用的源代码搜索引擎?  第3张


快速部署

git clone https://github.com/itshyao/proxyless-llm-websearch.git cd proxyless-llm-websearch pip install -r requirements.txt python -m playwright install

配置环境变量后:

python demo.py

或运行 FastAPI 接口:

python api_serve.py

或者可视化 Web UI:

python gradio_demo.py

有哪些常用的源代码搜索引擎?  第4张

有哪些常用的源代码搜索引擎?  第5张

有哪些常用的源代码搜索引擎?  第6张


或者使用插件:

有哪些常用的源代码搜索引擎?  第7张


效果测试:
基于阿里的 WebWalkerQA 高难度问答数据集,对比火山方舟、百炼等知名在线检索接口,我们取得了最高的正确率和最低的错误率:

搜索系统✅ 正确率❌ 错误率⚠️ 部分正确
火山方舟5.00%72.21%22.79%
百炼9.85%62.79%27.35%
Our19.85%47.94%32.06%


Call for Action
开源不易,欢迎大家 ⭐Star!!
GitHub 项目地址: github.com/itshyao/prox

扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2025/05/12939.html

分享给朋友:

相关文章

学了两个月网络安全,一直未入门怎么办,知乎大佬们给些建议吧?

学了两个月网络安全,一直未入门怎么办,知乎大佬们给些建议吧?

你才学两个月,就想入门,笑不活了,我学了8年了,还被人说是个菜鸟。 我学了这么多的渗透,依然挖不到自己的漏洞。 ailx10:学习CSRF漏洞 ailx10:学习PHP XXE漏洞 ailx10:学习CORS漏洞 ailx10:学习Cl…

OZON平台什么产品好卖?

ozon选品的核心重点我不说 你们全网也不见说的这么干的教学了 你信我就按照我说的思路去走 不信的出去买课去 一时间消化不了的先点赞收藏起来 真不中了下载也行 因为最近总有坏人给我使诈 平台已经下了我八个视频了 还都是实操教学不废话的那种…

为什么有人觉得华为mate60只值2000?

为什么有人觉得华为mate60只值2000?

你以为买Mate60的人真的傻?真的那么爱国? 国庆前,我家那傻子加价800多买了一台Mate60,当时还被我骂他是傻子。 可是他说一回到公司就被老板同事朋友看到,拿去反复查看,都在惊叹他这么快就买到新机。 跟亲戚朋友聚会,别人一看就知道他…

为什么雷军身上没有酒色财气?

武大建校130周年时,雷军向母校个人捐款13亿。 在2023年8月14日晚上七点,雷总在国家会议中心举行的进行第四次年度演讲「成长」: 全篇都在谈成长、梦想,这么多年了,始终做到了知行合一,我相信酒色财气可能真不是他所追求的,一直追求的就像…

为什么闲鱼越做越差?

理想的闲鱼:卖家视角:4000块钱买的手机,用了半年不想用了,挂一个3000块,和买家一顿交流,最后2500块成交,我得到了回血,买家得到了便宜; 买家视角:想用一台4000块的手机,但是手里只有2500块,来到闲鱼和卖家一顿交流,最后25…

中国的科技为什么在最近2-3年时间像突然大爆发一样?

这个真的得感谢1998年美国在南联盟使馆投的两颗大炸弹。 在80年代中国下马了一千多个项目,用资金进口了近一百万辆小汽车。我记得小时候有一段时间从海南岛开往北方的漂亮日本小面包车,密集从村前公路上驶过,连过路的间隙都没有,就这样接连开了一个…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。