卡卷网
当前位置:卡卷网 / 每日看点 / 正文

超大文本文件该怎么查询里面的内容,怎么搭建环境?

作者:卡卷网发布时间:2025-01-17 00:32浏览数量:102次评论数量:0次

  1. 有很多软件打开文本文件,notepad, vscode,记事本(自动换行模式),打开文件的能力都挺大的,但是他们都是加载到内存。对于超过10G ,100G的超大文件,直接打开加载到内存肯定是不可能的了。
  2. 如果只是查看需求而非编辑,其实完全没有必要全部加载到内存里面,每次只加载一部分,比如100行,通过滑动的方式,滚动的加载剩下的内容,加载的特别多,人也不可能看的过来。这样的话不管多大就都可以打开浏览了。
  3. 对于搜索功能,原本我以为几个G的文本,全文搜索怎也得半天吧,但是没想到即使是单线程也是挺快的,在我的2000块的电脑上的,4G的文本全文搜索也就几秒。对于搜索使用bm算法效率会更高一点,kmp算法需要特殊的字符串前缀,其实作用很小,只是比较巧妙。

基于上面想法,另外也有朋友很久之前提过这个需求,我在我的github上的一个服务管理工具里添加了这个日志查看器功能,github上搜filecat,下面也有链接。对于任意的文本文件,鼠标右键,选择使用日志查看功能打开,可以做到秒开,为了搜索的速度更快,并不支持大小写自动转换。

github.com/xiaobaidadad

这个软件是基于web的,可以运行在win和linux上,对于mac无法直接运行,但是可以使用docker运行。

END

免责声明:本文由卡卷网编辑并发布,但不代表本站的观点和立场,只提供分享给大家。

卡卷网

卡卷网 主页 联系他吧

请记住:卡卷网 Www.Kajuan.Net

欢迎 发表评论:

请填写验证码