阿里通义发布趣味音频聊天模型 Fun

该模型在语音问答、音频理解、语音函数调用、语音指令跟随和语音共情等基准测试中均取得了顶尖水平的成绩。

Fun-Audio-Chat 的主要特点包括：

• 双分辨率语音表示：高效的 5Hz 帧速率，在保持高语音质量的同时可减少近 50% 的 GPU 运行时间。

• 卓越的性能：在各大基准测试里，在同等规模（约 80 亿参数）的模型中名列前茅。

• 全面功能：支持语音问答、音频理解、语音功能调用、语音指令跟随、语音共情

趣味音频聊天架构

Fun-Audio-Chat 框架包含三个主要模块：

1. 对于音频输入，语音编码器和语音分词器将原始音频波形转换为用户端和助手端的结构化表示；

2. 多模态大型语言模型 (MLLM) 集成了共享 LLM 主干网络以及用于生成词元的专用文本头和语音精化头 (SRH) 组件；

3. 语音反分词器从生成的语音词元中重构音频波形。

Fun-Audio-Chat 利用现有的预训练模型，并采用多阶段后训练流程进行训练，使用了数百万小时涵盖不同领域和任务的多样化语音数据，包括对话和多语言语音、用于理解任务的音频，从而确保全面覆盖各种场景和用例。

训练过程包括：

• 预对齐：使用大规模语音-文本配对数据对语音编码器、适配器和语音精化头进行对齐；

• 核心混合训练：用于监督式全面微调，采用由数十亿文本标记合成的高质量语音数据；

• 多任务 DPO 训练：采用多样化的真实语音数据以增强鲁棒性，音频理解和 ASR 数据以增强理解能力，指令跟随数据（包括情感、风格和韵律控制）以增强语音指令跟随能力，以及语音共情数据以增强情感理解和共情反应生成能力。

核心评估

研究团队在广泛使用的基准数据集上对 Fun-Audio-Chat 的性能进行了语音转文本、语音到语音、音频理解、语音识别等全面评估。

在准确率方面，约 80 亿规模的模型中，Fun-Audio-Chat-8B 在 OpenAudioBench (76.61%) 和 VoiceBench (83.21%) 上取得了最佳的整体性能。

在语音质量评估中，Fun-Audio-Chat-8B 的 UTMOS 得分为 4.37，表明其整体语音质量优异。

Fun-Audio-Chat 在包括 MMAU、MMAU-Pro 和 MMSU 在内的综合音频理解基准测试中表现最佳，优于包括 Kimi-Audio。

Fun-Audio-Chat-30B-A3B 和 Fun-AudioChat-8B 在语音指令跟随任务中表现出良好的竞争力，涵盖了声学属性、指令跟随、角色扮演和共情能力等多个维度。

Fun-Audio-Chat-8B 在英语和中文两种语言中均表现出色，显著优于包括 Baichuan-Audio 和 Kimi-Audio 在内的开源模型，同时与商业模型保持竞争力。

尽管 Fun-Audio-Chat 在多个基准测试中表现出色，但仍有一些局限性需要在未来的工作中加以解决。首先，在多轮对话中回答复杂问题时，该模型偶尔会出现上下文记忆丢失的情况，即无法始终如一地保留先前轮次的信息。在需要理解长上下文并进行跨多轮复杂推理的场景中，这种局限性尤为明显。

其次，语音指令执行能力在表达力方面存在一定的不稳定性。虽然该模型在语音指令任务中通常表现良好，但在某些情况下，生成的语音可能无法完全捕捉指令中指定的细微情感、说话风格或韵律变化。这种表达力上的差异会影响语音反应在某些语境下的自然度和恰当性。

第三，语音共情能力在性能上表现出一定的不稳定性。该模型在不同的场景和情感背景下，持续识别并做出恰当情感共情反应的能力可能会有所不同。这种不一致性可能会影响在实际应用中生成共情反应的可靠性，尤其是在情感理解至关重要的场景中。

研究人员表示，这些局限性凸显了未来研究的重要方向，包括改进多轮对话中的长期语境管理、增强语音指令跟随的稳定性和表现力，以及在各种情感场景中开发更强大、更一致的语音共情能力。

参考资料：

https://arxiv.org/pdf/2512.20156

https://huggingface.co/FunAudioLLM/Fun-Audio-Chat-8B