ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

Meta前核心成员领衔!清北精英团队打造实时交互多模态新范式

时间:2026-08-07 23:50:17来源:快讯编辑:快讯

在生成式AI狂飙突进的浪潮中,一家名为Noiz的初创团队正以颠覆性技术重新定义人机交互边界。当行业仍在追逐更高清的生成效果时,他们已将目光投向更复杂的命题——如何让AI从内容生成器进化为能感知环境、理解意图、实时响应的智能体。这个成立于2025年底的团队,用新一代实时可交互多模态模型,在成本与性能之间撕开一道突破口。

传统多模态模型的困境在于"生成易、交互难"。当前主流模型能根据提示词生成视频、图片或音频,却无法持续理解环境变化。用户每次操作都需重新触发生成流程,导致交互延迟高、连贯性差。更严峻的是,实时交互需要模型持续感知推理,推理成本较单次生成高出十倍以上,这成为技术落地的最大障碍。Noiz团队选择直面这个"不可能三角",在保证低延迟的同时,将推理成本压缩至行业平均水平的百分之一。

突破源于三个反常识的技术路径。团队摒弃将内容视为文本映射的传统框架,转而构建动态状态系统——每个交互场景都是持续更新的状态集合,用户操作会实时改变空间关系、运动轨迹等关键参数。在信息处理层面,他们跳过语言中转环节,直接围绕事件建立表征:通过分析"谁在移动""作用于什么对象"等核心关系,实现动作理解与反馈生成的同步进行。这种设计使模型能在毫秒级时间内完成场景推演,较传统方法提速两个数量级。

在工程架构上,Noiz选择"分层创新"策略。底层接入不同音视频生成模型作为基础能力,上层自主研发交互引擎负责状态维护、生成调度和低延迟推理。这种模块化设计既避免与科技巨头正面竞争,又能充分享受行业进步红利——当Seedance、可灵等模型提升画质或降低成本时,Noiz系统可无缝升级。团队自建的空间音视频采集管线与物理仿真系统,更将训练数据成本降低90%,为模型训练提供海量低成本素材。

技术突破迅速转化为商业价值。其产品noiz.ai上线半年即吸引两百万创作者,收入连续三个月保持80%环比增长。在开发者市场,语音技能包长期占据TTS类榜首,更与两家估值超十亿的3D生成平台达成合作,实现空间声场与几何场景的动态匹配。这种"创作者生态+企业服务"的双轮驱动模式,使系统每天处理数亿次交互请求,沉淀下的高质量行为数据又持续反哺模型优化。

团队背景揭示着技术野心的根源。创始人陈伟嘉(Vega)曾在meta主导ASR模型落地,后带领团队开发出GitHub 37k Stars的开源音频项目Mockingbird;联合创始人陈前作为连续创业者,擅长将技术转化为规模化产品;首席科学家Zeyue Tian作为港科大音频博士,其开源音乐模型ChatMusician曾获杨立昆转发。这个横跨学术界与产业界的团队,累计发表顶会论文超20篇,拥有多个万星开源项目,成员来自Google、Dolby、清华、北大等顶尖机构。

当行业仍在争论"生成质量更重要还是速度更重要"时,Noiz已开启新的竞赛维度。在他们的技术路线图中,AI将不再是被动的工具,而是能理解事件脉络、预测行为后果、主动参与世界构建的智能体。这种转变不仅影响游戏、影视等娱乐领域,更可能重塑教育、医疗等需要实时交互的严肃场景。当模型能以人类级别的响应速度理解环境变化,人机协作的边界将被彻底改写。

更多热门内容
张一鸣梁汝波同频发声,字节AI战略转型聚焦长期主义与自研闭环
张一鸣表态过后,字节跳动CEO梁汝波也直接回应了外界对字节大模型落后的质疑,表示要从心态上要接受大语言模型一段时间的落后。 其次,在AI硬件上,近年来字节跳动对旗下VR品牌PICO展开了连续多轮的组织调整的…

2026-08-07

苹果首款折叠屏iPhone渲染图新曝,设计配置亮点多,上市时间仍有变数
新浪科技此前的一份报道中显示:尽管富士康目前正在推进供应链人士所称的最终量产调整,但苹果公司的首款折叠屏iPhone依然在生产环节遇到了尚未扫清的障碍,这也使得该款设备的具体发布时间至今都没有100%最终敲…

2026-08-07

Omdia报告:2026年第二季度全球平板出货量下滑 苹果仍居首位联想逆势增长
该机构指出这是多年来平板电脑出货量首次背离季节性规律:以往第 2 季度受返校需求推动,出货量会环比走高。 厂商表现方面,苹果在 2026 年第2 季度仍居全球平板电脑市场首位,出货量为 1345.9 万台…

2026-08-07

京东开源160亿参数模型:实时视频编辑新突破,流式赛道断层领先
京东开源的 JoyAI-Video-Edit,是这个赛道里第一个同时做到「流式架构 + 实时速度 + 可用质量」的模型。 JoyAI-Video-Edit不仅是「流式」视频编辑模型,还能实现「实时」视频编辑…

2026-08-07

联想ThinkBook Aeroblade宣传图曝光:刀锋式设计,或刷新轻薄本新纪录
【CNMO科技消息】8月7日,科技媒体Windows Latest曝光了一组联想未发布轻薄本ThinkBook Aeroblade的宣传图。这款新机凭借“刀锋式”的极致纤薄机身引发关注,有望刷新联想Think…

2026-08-07

海信A10墨水屏手机8月28日发布:双芯方案加持 流畅度与显示效果再升级
IT之家 8 月 7 日消息,海信官方今天在小红书平台公布 A10 墨水屏手机的更新参数,新机将于 8 月 28 日正式发布。据介绍,这款手机采用高通 QCM6690 企业级平台 + 元太 T2000 硬件…

2026-08-07

小米澎湃OS 4系统亮点抢先看:超级小爱焕新 融合设备中心登场
IT之家 8 月 7 日消息,小米全新澎湃 HyperOS 4系统宣传页面今日被曝光,更多新特性流出,包括超级小爱专家模式、全新融合设备中心等。 曝光页面显示,小米全新澎湃 HyperOS 4 系统自研内核…

2026-08-07

中国电信以AI+物联网双轮驱动 赋能千行百业构筑数智新生态
立足完善的物联网技术底座,中国电信天翼物联持续深化AI与物联网深度融合,打破传统产业发展瓶颈,推动各行各业从“经验驱动”向“数据驱动、智能赋能”转型升级,在工业智造、民生服务、文体保障、特色产业等多领域打造…

2026-08-07