当前位置：首页 > 每日看点

有哪些语音识别的开源项目？

卡卷网2年前 (2025-01-10)每日看点316

<>项目概述

SenseVo是一个具有音频理解能力的音频基础模型，支持多种语音处理任务，包括：

    <>语音识别（ASR）：将语音转换为文本。<>语种识别（LID）：识别语音的语言种类。<>语音情感识别（SER）：分析语音中的情感。<>声学事件分类（AEC）或声学事件检测（AED）：检测语音中的特定事件（如笑声、掌声等）。

项目提供了SenseVo模型的介绍、性能评测、环境安装指南和推理方式。

<>核心功能

    <>多语言识别：
      支持超过50种语言，训练数据超过40万小时。在中文和粤语识别效果上优于Whisper模型。
    <>富文本识别：
      具备优秀的情感识别能力，能够达到或超过当前最佳情感识别模型的效果。支持声音事件检测，包括音乐、掌声、笑声、哭声、咳嗽、喷嚏等。
    <>高效推理：
      SenseVo-Small模型采用非自回归端到端框架，推理延迟极低。10秒音频推理仅耗时70毫秒，Whisper-Large快15倍。
    <>微调定制：
      提供便捷的微调脚本与策略，方便用户根据业务场景修复长尾样本问题。
    <>服务部署：
      支持多并发请求，客户端语言包括Python、C++、HTML、Ja和C#。

<>最新动态

    <>2024/7：新增导出ONNX与Litorch功能，发布Python版本runtime：funasr-onnx-0.4.0和funasr-torch-0.1.1。<>2024/7：开源SenseVo-Small多语言音频理解模型，支持中、粤、英、、韩语的多语言语音识别、情感识别和事件检测。<>2024/7：发布CosyVo，支持多语言、音色和情感控制的自然语音生成。<>2024/7：推出FunASR基础语音识别工具包，提供多种语音处理功能。

<>性能评测

<>多语言语音识别

在AHELL-1、AHELL-2、Wenetspeech、Lirispeech和CommonVo等数据集上，SenseVo在中文和粤语识别效果上优于Whisper。

<>情感识别

在多个集上，SenseVo在不进行目标数据微调的情况下，能够达到或超过当前最佳情感识别模型的效果。

<>事件检测

在ESC-50数据集上，SenseVo的事件检测效果优于EATS和PANN模型，但与专业事件检测模型仍有差距。

<>推理效率

SenseVo-Small模型的推理速度Whisper-Small快5倍，Whisper-Large快15倍。

<>用法️

<>安装依赖环境

pipinstall-rrequirements.txt

<>推理

<>使用FunASR推理

fromfunasrimportAutoModel fromfunasr.utils.postprocess_utilsimportrich_transcription_postprocess model_dir="iic/SenseVoSmall" model=AutoModel( model=model_dir, trust_remote_code=True, remote_code="./model.py", vad_model="fn-vad", vad_kwargs={"max_single_seent_time":30000}, dev="cuda:0", ) res=model.generate( input=f"{model.model_path}/example/en.mp3", cache={}, language="auto",#"zh","en","yue","ja","ko","nospeech" use_itn=True, atch_size_s=60, merge_vad=True, merge_length_s=15, ) text=rich_transcription_postprocess(res[0]["text"]) print(text)

<>直接推理

frommodelimportSenseVoSmall fromfunasr.utils.postprocess_utilsimportrich_transcription_postprocess model_dir="iic/SenseVoSmall" m,kwargs=SenseVoSmall.from_pretrained(model=model_dir,dev="cuda:0") m.eval() res=m.inference( data_in=f"{kwargs['model_path']}/example/en.mp3", language="auto",#"zh","en","yue","ja","ko","nospeech" use_itn=False, an_emo_unk=False, **kwargs, ) text=rich_transcription_postprocess(res[0][0]["text"]) print(text)

<>服务部署

exportSENSEVO_DEV=cuda:0 fastapirun--port50000

<>微调

<>安装训练环境

gitclones://githu/aliaa/FunASR.git&&cdFunASR pip3install-e./

<>数据准备

数据格式需要包括如下字段：

{"key":"YOU0000008470_S0000238_punc_itn","text_language":"<|en|>","emo_target":"<|NEUTRAL|>","event_target":"<|Speech|>","with_or_wo_itn":"<|withitn|>","target":"Includinglegaldued,suscriptionagreement,negotiation.","soce":"/cpfs01/shared/Group-speech/einian.lzr/data/industrial_data/english_all/audio/YOU0000008470_S0000238.w","target_len":7,"soce_len":140}

<>启动训练

ashfinetune.sh

<>WeUI

pythonweui.py

<>总结

<>SenseVo是一个功能强大且高效的音频理解模型，支持多语言语音识别、情感识别和事件检测。其低延迟和高精度的特点使其成为语音处理领域的理想选择。通过FunASR工具包，用户可以轻松进行推理、微调和服务部署。

扫描二维码推送至手机访问。

版权声明：本文由卡卷网发布，如需转载请注明出处。

本文链接：https://www.kajuan.net/ttnews/2025/01/8323.html

分享给朋友：

相关文章

五个私藏宝贝网站！上班族摸鱼必备，打造快乐小天地

五个私藏宝贝网站！上班族摸鱼必备，打造快乐小天地

有朋友提到，虽然一整天都在“摸鱼”，但却感觉身心俱疲，甚至比一直忙碌工作还要累。其实这背后是有科学依据的。当人专注于工作时，会进入一种“心流”状态，这种状态让人感到兴奋、满足且充实。相反，如果在工作时分心“摸鱼”，会导致注意力分散，增加认知…

抖音和快手最大的区别是什么？

1、目标人群定位不同抖音：一二线城市，占比52%，大专学历以上，女性偏多。抖音以年轻群体居多。 快手：三四线城市，占比64%，高中学历以下，男女更均衡。快手所覆盖的年龄段范围更广。 2、内容创作的形式和深度不同抖音：偏深层，内容的装饰及表达…

用红米手机会很丢人吗？

前些日子遇到了一位快递小哥，京东的，签收 小哥年纪不算大，目测二十多岁 他的手机上全是一道道极严重的划痕，有点卡， 他开热点了，热点名就是手机型号，红米9a，我父母的同款 现在他那边操作了一会，然后又是我这边操作了一会 小哥看着我手机刷刷的…

无意中发现技术主管写的代码，大家帮忙看看什么水平?

无意中发现技术主管写的代码，大家帮忙看看什么水平?

虽然很多答主用了诸如“典范级”、“心旷神怡” 的形容, 赞美这段代码, 但这里, 出于技术讨论的动机, 我说说不同看法. 栈, 如果善于利用栈来处理树结构, 那么可以写出更简洁的代码, 根本不需要 recuresiveFn 这种方法. 泛型…

你见过哪些有趣的偏微分方程组?

你见过哪些有趣的偏微分方程组?

说说我一直在做的一个偏微分方程系统吧，该模型为生物领域的趋化性(chemotaxis)模型，也叫Keller-Segel模型，由该二人于1971年左右提出，用于刻画细胞或者细菌的趋化机制。解释一下趋化性(chemotaxis)：趋化性是指单…

领导给我介绍了私活，挣了3W。该给领导分多少合适呢？

你看，这就是网络的好处了。 这种问题，你去问亲戚朋友，一大帮子人有一大帮子说法，还不排除有人眼红故意坑你瞎出主意。 你这隔网上一问，大家素昧平生，反而因为想骗个赞跟你使出浑身解数来出主意。 多好你看。 其实这事道理很简单。 人脉是人家的，活…

发表评论

访客

看不清，换一张

◎欢迎参与讨论，请在这里发表您的看法和观点。

Copyright © 2019-2024 www.kajuan.net 版权所有

Powered By Z-BlogPHP. Theme by TOYEAN.