当前位置:首页 > 每日看点

有哪些常用的源代码搜索引擎?

卡卷网1年前 (2025-05-07)每日看点390

项目简介

一款无需代理、支持多搜索引擎的 LLM 网络检索工具正式开源。 —— proxyless-llm-websearch 该工具集成了多搜索引擎支持、网页解析+爬取能力,结合 LangGraph 构建模块化智能体链路,让大模型拥有“读网页”、“找资料”的能力。
项目地址 GitHub · itshyao/proxyless-llm-websearch

作者:AI前沿搬运工

公众号:【AI前沿搬运工】

有哪些常用的源代码搜索引擎?  第1张


✨ 功能亮点

无需代理

采用 Playwright 本地浏览器模拟,配置支持国内搜索引擎(Bing、夸克、百度、搜狗),无需翻墙也能联网搜!

多引擎搜索

多路并发搜索,自动去重融合,最大化信息多样性。

自动判断意图

支持自然语言 URL 与问句识别,智能区分“搜索”与“网页解析”任务。

查询分解机制

搜索意图自动拆解为多个子任务,显著提升结果的完整性上下文相关性

LangGraph智能体链路

模块化工具链 web_search + link_parser,低耦合高扩展。

高性能异步爬取

Playwright 与 Crawl4AI 支持网页加载、异步并发爬取、抗封封锁机制。

✂️ 内容重构

  • 网页切片:长网页分段处理;
  • 内容重排:提升信息密度与相关性

浏览器插件支持

支持智能 URL 内容解析的浏览器插件,帮助大模型快速获取网页信息。

  • 当前页面解析:一键提取当前访问页面的结构化内容
  • 多标签页解析:批量提取多个标签页中的网页信息
  • ✏️ 自定义 URL 解析:支持输入多个链接进行内容提取

有哪些常用的源代码搜索引擎?  第2张


有哪些常用的源代码搜索引擎?  第3张


快速部署

git clone https://github.com/itshyao/proxyless-llm-websearch.git cd proxyless-llm-websearch pip install -r requirements.txt python -m playwright install

配置环境变量后:

python demo.py

或运行 FastAPI 接口:

python api_serve.py

或者可视化 Web UI:

python gradio_demo.py

有哪些常用的源代码搜索引擎?  第4张

有哪些常用的源代码搜索引擎?  第5张

有哪些常用的源代码搜索引擎?  第6张


或者使用插件:

有哪些常用的源代码搜索引擎?  第7张


效果测试:
基于阿里的 WebWalkerQA 高难度问答数据集,对比火山方舟、百炼等知名在线检索接口,我们取得了最高的正确率和最低的错误率:

搜索系统✅ 正确率❌ 错误率⚠️ 部分正确
火山方舟5.00%72.21%22.79%
百炼9.85%62.79%27.35%
Our19.85%47.94%32.06%


Call for Action
开源不易,欢迎大家 ⭐Star!!
GitHub 项目地址: github.com/itshyao/prox

扫描二维码推送至手机访问。

版权声明:本文由卡卷网发布,如需转载请注明出处。

本文链接:https://www.kajuan.net/ttnews/2025/05/12939.html

分享给朋友:

相关文章

创业容易吗?

创业容易吗?创建企业不一定是困难或令人生畏的。它可以从一个简单但有力的想法开始,比如小强意识到,如果洗手液能杀死真菌,尤其是拳击台上的真菌,就会更加有用。创业确实需要奉献精神、努力工作和仔细规划——这是没有办法的。虽然这本身可能并不容易,但…

为什么程序员不自己开发微信小程序这类似的东西赚钱?

为什么程序员不自己开发微信小程序这类似的东西赚钱?

你如果有好的想法是可以挣钱的 首先大家说的个人资质限制确实多,也不建议直接拿个人资质去用小程序盈利,因为很麻烦 我说一下我的大体操作: 1.首先去申请个体户,这个可以用住宅来注册申请,而且速度很快就几天就下来了,经营类目主要是互联网销售这些…

到什么程度才叫精通 Linux?

我们医院有个大牛。 有一次,我的Linux电脑下载了Microsoft office 365 不能运行。于是买了2.5升装康师傅冰红茶找到大牛,让他帮忙解决。 大牛白了我一眼,让我把安装包发给他,只见他输入一个命令将安装包打开,整个屏幕都是…

中国芯片产量达1399亿颗,这意味着什么?

美国并不是没有明白人,只是特朗普不懂芯片产业的情况,冒冒失失在ZZ正确下,开启了对中国芯片的掐脖子,结果没掐死,反而让人练出了铁肺。 芯片是所有科技产业的上游,美国原本在上游呆得很舒服,靠英伟达、AMD、德州仪器、高通等这些几十年霸主地位的…

华为纯血鸿蒙,从此天下三分了吗?

华为纯血鸿蒙,从此天下三分了吗?

万众期待的纯血版 HarmonyOS NEXT 终于是端上来了,主打一个自研,从里到外,从内核到架构,都是自研。 用户的激情已经被点燃,可见大家对于纯血鸿蒙的期待,但是鸿蒙系统能不能真正与安卓、iOS三分天下呢?目前来说,还为时过早。…

为什么张雪峰什么专业都懂?

他不懂专业,他懂的是就业。 我记得有个老哥,家里条件不好,母亲吸血。想脱离家庭 张雪峰眼睛一亮就说这是个学土木的好苗子。 作为土木人我可知道他说的太对了,这种人学土木毕业进中建中铁,直接给你拉非洲看大鳄鱼呲牙。 工资不低还能脱离家庭,可不是…

发表评论

访客

看不清,换一张

◎欢迎参与讨论,请在这里发表您的看法和观点。