【Python ASR 】模型对比
模型
- Paraformer-zh（离线免费-推荐）
语音识别，带时间戳输出，非实时
- SenseVoiceSmall（离线免费）
多种语音理解能力，涵盖了自动语音识别（ASR）、语言识别（LID）、情感识别（SER）以及音频事件检测（AED）。
- whisper-large-v3-turbo（离线免费）
Whisper是OpenAI于2022年12月发布的语音处理系统
对
whisper-large-v3进行了微调，提高中文识别能力,以及进行了Lora微调，得到标点能力提升的Belle-whisper-large-v3-zh-punct。
- 科大讯飞在线 API - lfasr（在线收费）
差异比较大的几段结果
| 视频URL | 讯飞 | paraformer-zh | 与讯飞相似度 | SenseVoiceSmall | 与讯飞相似度 | Belle-whisper-large-v3-zh-punct | 与讯飞相似度 | whisper-large-v3-turbo | 与讯飞相似度 |
|---|---|---|---|---|---|---|---|---|---|
| URL | 英国的申请本身讨厌就讨厌在这里，啊虽然说我们拿offer看上去没有那么难，但是呢他还是会在最后一个环节上卡我们英国硕士申请的，首先呢我们要看一下我们自己的学校是否在他的认可名单里面，比如说UC啊他们认可的中国大学的名单，第二步呢就是要看一下自己的均分和自己未来想申请的这个专业或者是专业所在的学院的均分是否达到要求，如果说他给的是一个83~85这样的一个区间的话，我们够了83可以申，但但是等到申完了之后，我们会有一个最终的均分成绩，如果说掉的特别厉害的话，这样的话其实是非常危险的，因为我们那个时候时间太晚了，没有一些可以挣扎的余地了。 | 英国的申请本身讨厌就讨厌在这里啊，虽然说我们拿offer看上去没有那么难，但是呢他还是会在最后一个环节上卡，我们英国硕士申请的。首先呢我们要看一下我们自己的学校是否在他的认可名单里面，比如说UCL他们认可的中国大学的名单。第二步呢就是要看一下自己的均分和自己未来想申请的这个专业或者是专业所在的学院的均分是否达到要求。如果说他给的是一个八十三到八十五这样的一个区间的话，我们够了八十三可以申。但是等到申完了之后，我们会有一个最终的均分成绩。如果说掉的特别厉害的话，这样的话其实是非常危险的。因为我们那个时候时间太晚了，没有一些可以挣扎的余地了。 | 92.28 | 英国的申请本身讨厌就讨厌在这里啊，虽然说我们拿offer看上去没有那么难，但是呢它还是会在最后一个环节上卡我们英国硕士申请的。首先呢我们要看一下我们自己的学校是否在他的认可名单里面，比如说UCL他们认可的中国大学的名单。第二步呢就是要看一下自己的均分和自己未来想申请的这个专业或者是专业所在的学院的均分是否达到要求。如果说他给的是1个83到85这样的一个区间的话，我们够了83可以申，但是等到申完了之后，我们会有一个最终的均分成绩。如果说掉的特别厉害的话，这样的话其实是非常危险的。因为我们那个时候时间太晚了，没有一些可以挣扎的余地了。 | 95.54 | 英国的申请本身讨厌就讨厌在这里。虽然说我们拿offer看上去没有那么难，但是呢，它还是会在最后一个环节上卡我们。英国硕士申请的首先呢，我们要看一下我们自己的学校是否在它的认可名单里面，比如说UCL他们认可的中国大学的名单。第二步呢就是要看一下自己的均分和自己未来想申请的这个专业或者是专业所在的学院的均分是否达到要求，如果说它给的是一个八十三到八十五。这样的一个区间的话，我们够了八十三，可以升。但是等到升完了之后，我们会有一个最终的均分成绩。如果说掉得特别厉害的话，这样的话，其实是非常危险的，因为我们那个时候时间太晚了，没有一些可以挣扎的余地了。 | 89.09 | 英国的申请本身讨厌就讨厌在这里虽然说我们拿offer看上去没有那么难但是呢他还是会在最后一个环节上卡我们, 英国硕士申请的首先呢我们要看一下一下我们自己的学校是否在他的认可名单里面比如说UCL他们认可的中国大学的名单第二步呢就是要看一下自己的军分和自己未来想申请的这个专业或者是专业所在的学院, 那么军分是否达到要求如果说他给的是一个83到85这样的一个区间的话我们够了83可以升但是等到升完了之后我们会有一个最终的军分成绩如果说掉的特别厉害的话这样的话其实是非常危险的因为我们那个时候时间太晚了没有一些可以挣扎的余地了 | 88.48 |
| URL | 北京上海现在AP考试全部都被取消了，广州深圳是可以正常考的，这个对于不能考的小孩来讲，就是一种天大的不公平。对于美国大学来看，同样的条件下你有考试并且有高分，那我肯定希望优先录你，啊你现在连考试机会都没有了，就相当于到手的offer飞了。昨天还是前天晚上的时候，北京四中高二年级的一个家长发了一条微博，代表高二年级的全体家长，恳请学校给孩子们一次考AP的机会，很快之后又被删掉了。就像北京上海还是属于流水高地，这帮孩子没有AP的加成的话，他们在录取上到底是一个什么样的结果，我们希望不要太糟糕。 | 北京、上海现在AP考试全部都被取消了。广州深圳是可以正常考的。这个对于不能考的小孩来讲，就是一种天大的不公平。对于美国大学来看，同样的条件下，你有考试，并且有高分。那我肯定希望优先录你啊，你现在连考试机会都没有了，就相当于到手的offer费用。昨天还是前天晚上的时候，北京四中高二年级的一个家长发了一条微博，代表高二年级的全体家长，恳请学校给孩子们一次考AP的机会，很快之后又被删掉了。就像北京、上海还是属于留学高地，这帮孩子没有AP的家成的话，他们在录取上到底是一个什么样的结果？我们希望不要太糟糕。 | 94.02 | 🎼北京、上海现在AP考试全部都被取消了，广州深圳是可以正常考的这个对于不能考的小孩来讲，就是一种天大的不公平。对于美国大学来看，同样的条件下，你有考试并且有高分，那我肯定希望优先录你啊。你现在连考试机会都没有了，就相当于到手的offer费。昨天还是前天晚上的时候，北京四中高二年级的一个家长发了一条微博，代表高二年级的全体家长恳请学校给孩子们一次考AP的机会，很快之后又被删掉了。像北京上海还是属于留高。这帮孩子没有AP的加成的话，他们在录取上到底是一个什么样的结果，我们希望不要太糟糕。😊 | 93.93 | 北京上海现在AP考试全部都被取消了。广州深圳是可以正常考的。这个对于不能考的小孩来讲就是一种天大的不公平。对于美国大学来看，同样的条件下，你有考试并且有高分，那我肯定希望优先录你啊，你现在连考试机会都没有了，就相当于到手的offer飞了。昨天还是前天晚上的时候，北京四中高二年级的一个家长发了一条微博，代表高二年级的全体家长，恳请学校给孩子们一次考AP的机会，很快之后又被删掉了。就像北京上海还是属于留学高地。这帮孩子没有AP的加成的话，他们在录取上到底是一个什么样的结果？我们希望不要太糟糕。 | 95.95 | 北sovysheungkongshenpushihaiqiaobeijuqiao, Guangzo Shenzhen shikei zhengchang kao de, 这个对于不能考的小孩来讲就是一种天大的不公平, 对于美国大学来看, 同样的条件下你有考试并且有高分, 那我肯定希望优先录你呀, 你现在连考试机会都没有了, 就相当于到手的offer飞了, 昨天还是前天晚上的时候, 北京四中高二年级的一个家长发了一条微博, 代表高二年级的全体家长, 恳请学校给孩子们一次考AP的机会, 很快之后又被删掉了, 就像北京上海还是属于流水高地, 这帮孩子没有AP的加成的话, 他们在录取上到底是一个什么样的结果, 我们希望不要太糟糕 | 63.17 |
| URL | AP被取消的消息一出，对于很多申请生影响是特别巨大的，那你没有机会考试，你这个offer可能会废掉，那这种情况下部队的思路有哪些呢？如果是十二年级你已经拿到了英国的condition的offer，抓紧给学校去写邮件，陈述一下目前的客观条件，并不是我们不想去满足，是因为我们没有机会去满足，那对于十一年级的学生来讲，呢现在非常重要的是托福sat赶紧去刷分，还有就是要在文书这样的一些可以展现你个人优势的项目上面多打磨一下，提高你的软实力软背景。 | Ap被取消的消息溢出，对于很多申请生影响是特别巨大的那你没有机会考试，你这个offer可能会废掉。那这种情况下，工队的思路有哪些呢？如果是十二年级，你已经拿到了英国的conditional offer,抓紧给学校去写邮件。陈述一下，目前的客观条件并不是我们不想去满足，是因为我们没有机会去满足。那对于十一年级的学生来讲呢，现在非常重要的是托福IAT赶紧去刷分。我还有就是要在文书这样的一些可以展现你个人优势的项目上面多打磨一下，提高你的软实力软背景。 | 90.22 | AP被取消的消息一出，对于很多申请生影响是特别巨大的那你没有机会考试，你这个offer可能会飞掉题。那这种情况下啊，队的思路有哪些呢？如果是1二年级，你已经拿到了英国的conditionaloffer，抓紧给学校去写邮件，陈述一下目前的客观条件，并不是我们不想去满足，是因为我们没有机会去满足。那对于11年级的学生来讲呢，现在非常重要的是托福IATT赶紧去刷分。我还有就是要在文书。这样的一些可以展现你个人优势的项目上面，多打磨一下，提高你的软实力软背景。 | 89.91 | 被取消的消息一出，对于很多申请生，影响是特别巨大的。那你没有机会考试，这个offer可能会飞掉。那这种情况下，对的思路有哪些呢？如果是十二年级，你已经拿到了英国的肯定性的offer，抓紧给学校去写邮件，陈述一下目前的客观条件，并不是我们不想去满足，是因为我们没有机会去满足。那对于十一年级的学生来讲呢，现在非常重要的是托福ICT赶紧去刷分，还有就是要在文书这样的一些可以展现你个人优势的项目上面�，多打磨一下，提高你的软实力。准备酒。 | 85.97 | ostic2, 乾杯酒 | 1.36 |
| URL | 是有哪些学校的GPA特别难搞，啊行，我跟大家盘一盘吧也刚好避个坑。那第一个所以说必优吧它处于波士顿的核心地带，常年都会在这个 Final最难的几所美国的大学的排行榜上榜上有名，还有呢就是像这个 MIT申请的时候难度也就特别高，考试难度拿GP的难度也非常高。还有呢就是像林斯顿，虽然说很多藤校会有GPA Information，但是呢普林斯顿在这一点上卡得很严，给我们的GPA一点活路都不留。还有呢就是像普渡大学工科相关的专业学起来难度也比较大，还有就是哈维姆德它其实是一个科学和工程专业的强校，录取难度也很高，读下来拿高GPA的难度也很。 | 老是哪些学校的GPA特别难拿行，我跟大家盘一盘吧，也刚好避一个坑。那第一个说一说BU吧，它处于波士顿的核心地带，常年都会在这个final最难的几所美国大学的排行榜上榜上有名。还有呢就是像这个MIT申请的时候，难度也就特别高。考试难度拿GP的难度也非常高。还有呢就是像普林斯顿，虽然说很多藤校会有GPA inflation,但是呢普林斯顿在这一点上卡的很严，给我们的GPA一点活路都不留。还有呢就是像普渡大学工科相关的专业学起来难度也比较大。还有就是哈维姆德，它其实是一个科学和工程专业的强校，录取难度也很高，读下来拿高GP的难度也很高。 | 88.85 | 有哪些学校的GPAA特别难拿。行，我跟大家盘一盘吧，也刚好避个坑。那第一个所以说BU吧，它处于波士顿的核心地带，常年都会在这个final最难的几所美国大学的排行榜上榜上有名。还有呢就是像这个MIT申请的时候难度也就特别高，考试难度拿GPAA的难度也非常高。还有呢就是像林斯顿，虽然说很多藤校会有GPAA inflation，但是呢普林斯顿在这一点上卡的很严，给我们的GPAA1点活路都不留。还有呢就是像普渡大学工科相关的专业学起来难度也比较大。还有就是哈雷姆德，它其实是一个科学和工程专业的强校，录取难度也很高，读下来拿高GPAA的难度也很高。 | 89.34 | 是有哪些学校的GPA特别难吗？我跟大家盘一盘，也刚好避个坑。那第一个就是说，BU吧，它处于波士顿的核心地带，常年都会在这个Final最难的几所美国大学的排行榜上，榜上有名。还有呢就是像这个MIT，申请的时候难度也就特别高，考试难度，拿GPA的难度也非常高。还有呢就是像普林斯顿，虽然说很多藤校会有GPAinflation，但是呢普林斯顿在这一点上卡得很严，给我们的GPA一点活路都不留。还有呢就是像普度大学。工科相关的专业学起来难度也比较大。还有就是哈维姆德，它其实是一个科学和工程专业的强校，录取难度也很高读下来，拿高GP的难度也很高。 | 87.36 | -, -, -, -, -, -, -, -, -, -, -, -, -, E. | 1.12 |
| URL | Now I have all new aspects，今天辛苦了，嗯好勒，那我们回见那它是黄的吗？我觉得他给人感受太拖沓了，这个面试坦白来讲我觉得听了是非常累的，他给了我很多关于他工作内容的描述，但是每一个都非常的不具体，你在不断挖细节的时候你到底在挖什么？我希望他跟我分享一下案例，因为案例它代表一种结果，而申请追求的是一种结果，他明显会觉得啊我每本特别熟，但是他其实每本的案例做的是非常有限的，我们希望跟他聊的其实就是你能不能帮我带好学生，他好像并不能给我这样的嗯对于他工作能力的判定的信心，你在挑选这个同事的时候，你倾向于选择什么样的人，说话条理且具体，做事也是一样，还有就是有结果的。嗯 | Now i have a new vesitle le is like a bribritish.今天辛苦了。嗯，好嘞，那我们回见那是黄了吗？我觉得他给人感受太拖沓了这个面试。坦白来讲，我觉得听的是非常累的，给了我很多关于他工作内容的描述，但是每一个都非常的不具体。你在不断挖细节的时候，你到底在挖什么？我希望他跟我分享一下案例，因为案例他代表一种结果，而申请追求的是一种结果。他明显会觉得啊我每本特别熟，但是他其实每本案例做的是非常有限的。我们希望跟他聊的，其实就是嗯你能不能帮我带好学生，他好像并不能给我这样的。嗯，对于他工作能力的判定的信心，你在挑选这个同事的时候，你倾向于选择什么样的人说话条理，且具体做事也是一样。还有就是有结果嗯。 | 82.24 | nNow I have a new whos like a今天辛苦了。嗯，好嘞，我们回家他是黄了吗？我觉得他给人感受太拖沓了。这个面试坦白来讲，我觉得听的是非常累的，给了我很多关于他工作内容的描述，但是每一个都非常的不具体，你在不断挖细节的时候，你到底在挖什么，我希望他跟我分享一下案例，因为案例他代表一种结果，而申请追求的是一种结果，他明显会觉得我每本特别熟，但是他其实每本案例做的是非常有限的。我们希望跟他聊的其实就是嗯你能不能帮我带好学生，他好像并不能给我这样的，嗯，对于他工作能力的判定的信心。你在挑选这个同事的时候，你现在选的什么样的人，说话调理且具体，做事也是一样。还有就是有结果。嗯。😊 | 85.33 | 今天辛苦了，好嘞，那我们回家。那是黄了吗？我觉得他给人感受太拖沓了。这个面试，坦白来讲，我觉得听了是非常累的，给了我很多关于他工作内容的描述，但是每一个都非常的不具体。你在不断挖细节的时候，你到底在挖什么？我希望他跟我分享一下案例，因为案例它代表一种结果，而申请追求的是一种结果，他明显会觉得我没本特别熟，但是他其实没本案例做的是非常有限的。我们希望跟他聊的。其实就是你能不能帮我带好学生，他好像并不能给我这样的对于他工作能力的判定的信心。你在挑选这个同事的时候，你心想选择什么样的人？说话，调理且具体，做事也是一样，还有就是有结果的。 | 81.82 | transplanted you biblesubiter this like a p sobriety, 成功啦, 好嘞, 现在往回些, 这个面是坦白来讲,我都听得 cease忍醒, 给多关于她工作内容的描述, 但其地目前都非常地不具体, 你在括多挖细节 집, tanwij� Bitcoin, i, 其实就是你能不能帮我带好学生, 他好像并不能给我这样的, 对他工作能力的判定的信心, 你在挑选这个同事的时候, 你心想选择什么样的人, 说话条理且具体, 做事也是一样, 还有就是有结果的 | 33 |
| URL | 北京贵的国际学校从这个幼儿园就开始上上到高中毕业到底要花多少钱，挺震惊的，德威鼎石整体上下来有370多万，顺义京西358，悦城326，还还有像这个清华附稻香湖全上下来的话也得接近290万，而且这只算学费别的都不算，有一所学校我觉得挺不值得我学生的出口，其实并不像投入的资金一样让人觉得亮眼，无论是哪这样会被人骂。 | 北京贵的国际学校，从这个幼儿园就开始上上到高中毕业，到底要花多少钱？挺震惊的。德威秉石整体上下来有三百七十多万。顺义。京西三百五十八月城三百二十六，还有像这个清华附稻香湖全上下来的话，也得接近两百九十万，而且这只算学费别的都不算。有一所学校，我觉得挺不值的。学生的出口其实并不像投入的资金一样，让人觉得亮眼是哪？这样会被人骂骂。 | 76.22 | 北京贵的国际学校从这个幼儿园就开始上，上到高中毕业，到底要花多少钱，挺震惊的。德威顶实整体上下来有370多万，顺意精昔358，跃城326。还有像这个清华富稻香湖全上下来的话也得接近290万，而且这只算学费，别的都不算有一所学校我觉得挺不值的。学生的出口其实并不像投入的资金一样，让人觉得亮眼。这样会被人骂。 | 85.26 | 北京贵的国际学校，从这个幼儿园就开始上，上到高中毕业，到底要花多少钱，挺震惊的。德威顶时整体上下来有三百七十多万，顺义京西三百五十八，粤城三百二十六，还有像这个清华富道香湖全上下来的话，也得接近两百九十万，而且这只算学费，别的都不算。有一所学校我觉得挺不值的，学生的出口其实并不像投入的资金一样，让人觉得亮眼，那是哪意思？这样会被人骂吧。 | 75.74 | 北-Korea, 从 yu-er-yuan-to ka-shang, Shang-dao-gao-zhong-bi, Dao-di-yao-hua-dua-qian, Pin-zhen-jing-de, De-wei, Ding-shi, Zheng-ti-shang-xia-la-yau-370-dua-wan, Shun-yi-jing-xi, 358, Yue-cheng-326, Hai-you-xiang-zhi-gao-fu-dao-xiang-hu, Qián-shang-xia-lai-de-hua, Ye-de-dai-dian-jin-liang-bai-jiu-shi-wan, And this is only for tuition, The rest are not, I think one school is not worth it, 学生 | 2.81 |
因为之前是使用讯飞的，所以这里的相似度均与讯飞对比，只是做个参考。
我认为Paraformer-zh质量比较高，支持长音频，有标点符号、以及对中文支持好。比较符合我需要的训练数据。
其次为SenseVoiceSmall，比Paraformer-zh多了一些情感，增加了一些额外的表情符号和情感的文字。更适合面向客户端。
最后openai的Belle-whisper-large-v3-zh-punct、whisper-large-v3-turbo质量比较不稳定，每次生成的结果都不同，并且和chatgpt一样，容易一本正经的乱说…
Paraformer-zh每次生成的结果都是一致的，稳定性很好。
最后
还是国内的模型更适合中国宝宝，Paraformer-zh体验很好。
在本地跑模型也遇到了不少坑，查阅了不少资料，后续会出文章记录。
使用funasr实现本地离线音频转文本。
相关网站
- 达摩院开源的语音识别工具包 funasr
- openai 开源的通用语音识别模型 whisper
- 模型仓库 huggingface
- 模型仓库 modelscope