讯飞发布新一代端到端交互模型:语音大模型调用量暴涨20倍,端侧已实现约70%云端能力
大模型正一步步走出聊天框,扎进真实世界。语音,很可能是它闯进来时最重要的入口之一。
10 月 22 日,科大讯飞一口气亮出新一代人机交互技术的多项进展。主角之一是正式发布的星火语音基座大模型 SparkAudio 1.0,能力从语音识别、同传、交互,延伸到复杂音频理解、情绪识别、实时说话人分离和环境声理解;同台登场的,还有新一代端云一体通用大模型讯飞星火 X2.6*,以及端侧模型 Spark-X2.6-4B。
讯飞开放平台给出的数据很直白:2026 年,平台大模型相关硬件的装机量、激活量,还有单台设备的人机交互次数都在快速往上走,其中语音大模型相关调用量同比涨了 20 多倍。
数字背后,是智能硬件对大模型的要求变了。光“能对话”已经不够。模型一旦走进机器人、汽车、智能家居和公共服务设备,就得接住这些场面:好几个人同时开口、环境噪声乱成一团、声源来自不同方向、上下文接得很长,还有多台设备之间要协同。
SparkAudio 1.0:从“听清一句话”,到“听懂现场发生了什么”
这次发布的核心模型之一,就是星火语音基座大模型 SparkAudio 1.0。传统语音系统大多围着自动语音识别(ASR)和语音合成(TTS)打转,SparkAudio 1.0 想做的,是把更多声音信息塞进同一个理解框架里。
按科大讯飞的说法,SparkAudio 1.0 不光能做语音识别、同传和语音交互,还能处理音频理解、情绪识别、实时说话人分离、环境声理解这些任务。
这恰好划出了语音大模型和传统语音识别模型的一道分界。过去一套完整的语音交互系统,多半是级联架构:先用声学算法降噪,再做语音识别,把声音转成文本,交给自然语言理解或大语言模型,最后靠语音合成把回答念出来。每一层任务都很清楚,代价是信息一层层流失。说话人的语气、情绪、环境声、空间位置,一旦语音被压成纯文本,很容易跟着没了。
讯飞这次强调的方向,是把过去拆散处理的能力再往一起拢,让模型不只处理语言内容,也读懂声音本身带着的信息。多人对话时,这一点格外要紧。系统得搞明白:现在是谁在说话、用户有没有插话、不同声音从哪个方向来、到底该回应哪一位。
也因此,SparkAudio 1.0 开始从“语音转文字”的老本行,往完整声音场景理解走。眼下,相关能力已经落进讯飞输入法 16.0、讯飞听见、讯飞智能办公本等产品。
星火 X2.6-4B:把更多任务留在本地
除了面向声音世界的 SparkAudio 1.0,讯飞这次的另一条主线是端云一体的讯飞星火 X2.6。云端由星火 X2.6 负责更硬的复杂任务,端侧则交给 Spark-X2.6-4B 处理本地工作。
这款 4B 级端侧模型沿用了此前 Spark-X2.5 系列的百万 Token 长上下文架构,又靠新的后训练,补强了长文本理解、工具调用和智能体任务能力。公开模型信息显示,Spark-X2.6-4B 参数量约 41 亿,最长上下文约 100 万 Token。
它的上一代,是今年 9 月发布的 Spark-X2.5-4B 和 Spark-X2.5-1.7B。两款也都原生支持最长 100 万 Token 上下文,其中 1.7B 模型进一步压低了端侧部署所需的计算资源。
讯飞公布的数据称,目前部分端侧方案已经能达到约 70%的云端能力。早先端侧模型受参数、内存和算力限制,大多只能干些唤醒、固定指令、简单问答的活。可现在,4B 甚至更小的模型也有了百万上下文、工具调用和 Agent 能力,一些原本必须上传云端的事,开始能直接留在设备上完成。
讯飞的安排是:简单、高频、涉及敏感数据的任务,端侧直接做;更复杂的,调云端星火 X2.6;还有一部分,端侧和云端一起扛。
科大讯飞董事长刘庆峰的判断是:未来约 60%的应用能在本地完成,30%靠端云协同解决,剩下约 10%的高复杂度任务交给云端大模型。
讯飞连“声学空间”也想交给模型理解
只提升语言模型,解不开真实世界里的交互难题。一个人在办公室跟 AI 说话,和五个人在嘈杂展厅里同时聊天,对系统来说完全是两码事。
所以除了 SparkAudio 1.0,讯飞还发布了新的多模交互和具身多模交互技术,把声源定位、多人交互、视听觉信息和空间环境进一步拼到一起。
此前讯飞就试过把唇动视觉信息和麦克风阵列结合,用多模态办法对付多人嘈杂环境里的“鸡尾酒会问题”。但这条路有短板:光线变了、角度偏了、用户有没有正脸对着摄像头,都会影响视觉信息好不好用。
这次讯飞再进一步,引入全景摄像头和环形麦克风阵列,让系统能在 360 度空间里接住多人声音。披露数据显示,多人同时聊天时,系统串扰率能降到 1.7%以下;最多 5 人同时交互的情况下,实时分辨率达到 87%。
机器人方向,讯飞公开的“星火具身多模交互技术”又往前迈了一步。能力包括复杂空间动态降噪、多目标人的交互意图识别、语音与动作统一规划和执行,以及由视觉信息触发的主动交互。
换句话说,AI 要解决的早已不只是“听见谁说话”,还得看懂不同人在空间里的位置、状态和意图,再决定自己怎么动。对服务机器人来说,这份本事的分量,不比纯粹的大语言模型推理能力轻。
从一台设备回答,到整个空间“接着聊”
模型能力伸进物理空间后,设备之间上下文断裂的毛病就冒了出来。
现在一个家庭里,电视、手机、音箱、投影仪往往各用各的交互系统。你在客厅电视上开了个任务,走到卧室换一台设备,系统通常两眼一抹黑,不知道前面聊过什么。
讯飞的解法,是用统一云端 Agent 管理上下文和任务状态,让多台设备共享同一段交互,做到自动换端、换端继续聊天,以及不同设备之间任务协同。
这样一来,语音助手的主体可能慢慢从“一台硬件”变成“整个空间”。用户不用再琢磨该对哪台设备开口,系统会根据距离、任务类型和设备能力,判断谁来接收指令、谁负责回答、任务最后落在哪台设备上完成。
这和端云模型背后的逻辑其实是一回事:AI 不再死绑在某个固定终端上,而是按眼前任务,动态决定调用哪种模型、哪台设备、哪项能力。
面向海外硬件市场,多语种也是讯飞这次重点加固的一环。
目前讯飞开放平台已支持 40 种以上语言,其中 30 种语言能实现免切换语音交互。所谓免切换,就是用户不用提前选英语、法语或别的语言,系统会直接判断当前在用哪种语言,完成识别和响应。平台还提供独立的“多语种识别大模型”,官方产品页面显示,它可支持 37 种多语种音频免切识别。