APLUXPandora
全部 Demo
音频 · 流式语音合成

多语种 · 多音色实时语音合成

核心模型参数 约 0.6B

模型文件 1.62 GB

文字一进来就开口,10 种语言、9 种音色,任意长度连续播放

  • 快速开口
  • 10 种语言
  • 9 种音色
前往 GitHub 获取 Demo即将上线 从 Hugging Face 获取模型即将上线

板端实录

板端 Web Demo 的屏幕录制,录制设备:Qualcomm QCS8550。

能力亮点

边生成边播放

第一段音频生成出来就开始播放,后面的边生成边接上。

不限文本长度

长文本按句切分,作为一条连续的音频流播出,句间停顿自然。

9 种音色

男声、女声多种风格,包括北京话和四川话两个方言音色。

10 种语言

中、英、日、韩、德、法、俄、葡、西、意,也可以让模型根据文本自动选择语言。

完全端侧

全部推理跑在板端 NPU 上,无需云端、无需 GPU。

易于集成

精简的 C API 与 Python 绑定;相同的文本、音色和随机种子得到相同的音频。

处理流程

从输入到输出,每一步跑在哪里。

  1. 01Browser

    文本输入

    任意长度文本,选择音色与语言

  2. 02CPU

    文本处理

    数字、日期规范化,按句切分;首段较短,尽快出声

  3. 03NPU

    语音编码生成

    以 12 Hz 逐帧生成语音编码

  4. 04NPU

    细节补全

    为每一帧补全其余层的细节编码

  5. 05NPU

    解码播放

    每 0.64 s 解出一段音频,浏览器边收边播

支持硬件

Qualcomm QCS8550已支持
Qualcomm QCS8625已支持
Qualcomm Dragonwing IQ8已支持
Qualcomm Dragonwing IQ9已支持
Qualcomm Dragonwing IQ10即将支持
核心模型参数
约 0.6B
模型文件
1.62 GB