给大模型装上“一双耳朵”:小米开源空间音频理解大模型 MiDashengLM-Spatial
最新 10 月 16 日消息,小米昨日宣布,带来 Dasheng 系列的重要新成员 ——MiDashengLM-Spatial,完整公开模型权重和推理代码,并以 Apache 2.0 许可证发布。
过去两年,小米先后发布并开源了声音基座模型 Xiaomi Dasheng 及声音理解大模型 MiDashengLM-7B。相关技术已在小米智能家居、汽车座舱等场景实现超过 30 项落地应用,能够对语音、环境声音和音乐进行统一感知与理解。
据介绍,新模型以 MiDashengLM-7B 为基座,进一步为声音理解大模型赋予“一双耳朵”,使其不仅能够听懂声音的内容,还能感知声音来自何处、如何在空间中分布。
小米表示,MiDashengLM-Spatial 是业界首个开源的端到端空间音频理解大模型,在保留基础音频理解能力的同时,具备空间感知与推理能力,推动音频大模型从“听懂声音”进一步迈向“理解声音所处的空间”。
该模型将陆续应用于小米智能家居、汽车座舱等场景,以空间听觉能力进一步提升“人车家全生态”的交互体验。相关测试数据如下:



最新附相关链接:
项目主页:https://jinbo-hu.github.io/midashenglm-spatial-demo/
技术报告:https://arxiv.org/abs/2610.11156
评估代码(GitHub): https://github.com/xiaomi-research/midashenglm-spatial
模型结构与权重(HuggingFace):https://huggingface.co/mispeech/midashenglm-spatial
《给大模型装上“一双耳朵”:小米开源空间音频理解大模型 MiDashengLM-Spatial》转载自互联网,如有侵权,联系我们删除,QQ:369-8522。
相关图文
-
给大模型装上“一双耳朵”:小米开源空间音频理解大模型 MiDashengLM-Spatial
该模型以 MiDashengLM-7B 为基座,进一步为声音理解大模型赋予“一双耳朵”,使其不仅能够听懂声音的内容,还能感知声音来自何处、如何在空间中分布。... -
微软完成 SOTA 基模 MAI-Base-2 预训练,性能强于所有参测开源权重模型
MAI-Base-2 总参数规模达 2.8T,活跃参数规模 80B,在 6000 个 NVIDIA GB200 GPU 上历经 38 天训练而成,微软宣称其预训练算力效率是 DeepSeek-V4-Pro-Base 的 4~12 倍。... -
阿里云虚拟数字人启动退市:11 月 30 日停止新购服务,明年 11 月底全面停止
阿里云今日宣布,由于产品策略调整,虚拟数字人产品即将退市。... -
乐奇 Rokid 携手腾讯出行服务上线行业首个 AI 眼镜原生打车服务
接入腾讯出行服务 Agent 后,用户只需说出目的地,眼镜便可完成从识别需求、发起叫车,到选择下单、支付车费等打车全流程,并可提示车辆信息和预计到达时间。... -
众筹到手价 1699 元,小米米家金属旅行箱上架
米家金属旅行箱提供银色和钛金色两种配色,箱体由 6 系铝镁硅合金框体与 5 系铝镁合金箱壳组成,历经约 150 道工序。采用 HINOMOTO 静音万向轮、TSA 密码锁,支持四挡拉杆调节。#小米米家金属旅行箱#...












