小米开源业界首个端到端空间音频理解大模型 MiDashengLM-Spatial

SmartHey10月16日消息,小米公司于15日正式发布Dasheng系列全新成员——MiDashengLM-Spatial,并同步开源全部模型权重与推理代码,采用Apache 2.0许可证,面向全球开发者开放。

过去两年间,小米已相继推出并开源声音基座模型Xiaomi Dasheng及声音理解大模型MiDashengLM-7B。相关技术已在小米智能家居、智能汽车座舱等实际场景中落地超30项应用,支持对语音、环境音与音乐的统一感知与深度理解。

新模型以MiDashengLM-7B为基座,创新性地集成空间音频建模能力,为大模型赋予“空间听觉”——不仅可识别声音内容,更能精准判断声源方位、距离及三维空间分布特征。

据小米介绍,MiDashengLM-Spatial是全球首个开源的端到端空间音频理解大模型,在全面继承原有音频理解能力的基础上,新增空间感知与推理能力,标志着音频大模型正从“听懂声音”迈向“理解声音所处的空间环境”。

该模型将逐步部署至小米智能家居设备与汽车座舱系统,通过增强空间听觉交互能力,进一步升级“人车家全生态”的自然化、沉浸式体验。

相关测试数据如下: