板端实录
板端 Web Demo 的屏幕录制,录制设备:Qualcomm QCS8550。
能力亮点
边生成边播放
第一段音频生成出来就开始播放,后面的边生成边接上。
不限文本长度
长文本按句切分,作为一条连续的音频流播出,句间停顿自然。
9 种音色
男声、女声多种风格,包括北京话和四川话两个方言音色。
10 种语言
中、英、日、韩、德、法、俄、葡、西、意,也可以让模型根据文本自动选择语言。
完全端侧
全部推理跑在板端 NPU 上,无需云端、无需 GPU。
易于集成
精简的 C API 与 Python 绑定;相同的文本、音色和随机种子得到相同的音频。
处理流程
从输入到输出,每一步跑在哪里。
- 01Browser
文本输入
任意长度文本,选择音色与语言
- 02CPU
文本处理
数字、日期规范化,按句切分;首段较短,尽快出声
- 03NPU
语音编码生成
以 12 Hz 逐帧生成语音编码
- 04NPU
细节补全
为每一帧补全其余层的细节编码
- 05NPU
解码播放
每 0.64 s 解出一段音频,浏览器边收边播
支持硬件
Qualcomm QCS8550已支持
Qualcomm QCS8625已支持
Qualcomm Dragonwing IQ8已支持
Qualcomm Dragonwing IQ9已支持
Qualcomm Dragonwing IQ10即将支持
- 核心模型参数
- 约 0.6B
- 模型文件
- 1.62 GB
- 许可证
- Pandora 许可协议