阿里云近日宣布推出新一代实时语音交互对话模型Qwen-Audio-3.0-Realtime，同步发布Plus和Flash两个版本。该模型在保持毫秒级响应速度的同时，重点强化了工具调用、多轮对话管理、情感表达及实时交互能力，标志着语音交互技术向更自然的拟人化方向迈进。
在路线规划场景中，用户无需使用"帮我查询"等固定指令，只需描述时间安排和需求，模型即可自动理解上下文并调用地图工具。例如当用户提到需要喝咖啡时，系统会主动筛选周边高分咖啡馆，并将相关信息无缝整合到后续的路线规划中。这种自主决策能力突破了传统语音助手依赖明确指令触发的局限，实现了从被动响应到主动服务的转变。
基准测试数据显示，Qwen-Audio-3.0-Realtime在语音问答基准VoiceBench中表现突出。Plus版本使用书面化提示词和口语化提示词的得分分别为92.5和90.5，仅相差2分，显示出对自然语言随机性的强适应能力。在S2S语音指令遵循基准VStyle测试中，该模型创造了新的最优成绩，其Flash版本在多轮音频对话挑战AudioMultiChallenge中，书面化与口语化提示词的得分差距也控制在5.5分以内。
技术实现方面，研究团队采用在线策略蒸馏框架，将文本大模型的完整推理能力实时迁移至语音模型，确保生成回答时能获得持续修正。多教师蒸馏策略则通过四位专项教师模型分工协作：口语多轮偏好教师优化指令遵循，通用教师强化问答推理，Agentic教师提升工具调用能力，音频理解教师专注副语言特征解析。这种架构使模型在口语表达、复杂任务处理、工具调用和音频理解四个维度保持均衡发展。
针对实时交互场景，模型内置的"多模态感知双工控制"子系统可分析音频信号、语义内容和声纹特征，自动调节交互节奏。在嘈杂环境中能准确识别有效语音，多人对话时可锁定主要发言者，说话人切换时能依据语义线索自然过渡。API接口预留的audio_prompt字段允许用户上传特定声纹样本，实现个性化语音交互。
商业应用层面，该模型采用按token计费模式，输入音频统一折算后，Plus版每百万token收费5元，Flash版3元；输出文本和语音方面，Plus版分别收取40元和相同价格，Flash版对应为30元。开发者可通过阿里云百炼平台调用API进行体验，目前Plus版和Flash版均已开放测试接口。
早期测试案例显示，在旅游攻略规划场景中，用户可随时打断模型输出并提出新问题，系统能立即调整回答方向并保持上下文连贯性。当用户分享情绪时，模型会根据语音特征动态调整回应语气，在共情对话测试中展现出接近真人的情感表达能力。这些特性使语音交互从单纯的指令执行升级为具备情境感知的智能对话。
该模型的工具调用机制具有记忆延续性，一次调用的结果可支持后续多轮追问。例如用户先询问周边川菜馆，再追问评分4.5以上的最近店铺时，系统会自动关联首次查询结果进行二次筛选。这种设计避免了传统语音助手在任务切换时容易出现的上下文断裂问题，显著提升了复杂任务的处理效率。
