ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

亚运会惊现AI解说员,机器人帮残障者捡物品,北大学生为亚运会研发黑科技

时间:2023-10-02 22:07:20来源:互联网编辑:汪淼

作为本届亚运会办赛理念之一,“智能”贯穿于杭州亚运会全的各个方面。

为服务正在举办的第19届亚运会,在北京大学黄铁军教授及仉尚航研究员的指导下,北京大学庄棨宁学生团队基于多模态大模型的研究,结合视觉、语言、语音等多种模态的输入,推出高速运动AI 多语种解说系统,为观众提供更丰富的观赛体验。这也是多模态大模型技术首次在国际大型综合性体育赛事中的落地和尝试。

同时,团队着眼于具身智能研究,研发基于多模态大模型的人工智能助理来提供导览引领、场景解说、物品抓取等服务,为残障和需要帮助的人士创造更为人性化的互动方式和友好体验。

AI“复刻”赛事解说员

“除却君身三重雪,天下谁人配白衣。”

东京奥运会上中国运动员杨倩夺得首金身披白色领奖服时,赛事解说员用这句“神仙”解说词击中了无数观众的心。

事实上,一场精彩的体育比赛不仅取决于运动员双方的比拼,解说员在其中的价值也不可忽略。竞赛解说员不仅会在解说中提供关于球队、运动员和比赛背景的信息,帮助观众更好地理解比赛的重要性和背后的故事,经验丰富的解说员还能够深入分析比赛,揭示比赛中的策略和技巧,使观众能够更好地理解比赛的每一个环节,从而提高观赛的乐趣。

当比赛出现精彩一刻,优秀的解说员还能够通过解说传达激情和情感,更好地带动观众的情绪,为赛事瞬间增色添彩,甚至成为永恒经典。

然而受限于人手问题,并不是每场体育赛事都会安排解说员,特别是亚运会这类国际大型赛事,同一时间有多场比赛进行,并且不是所有的解说员都适合解说所有的体育项目,很多相对小众的赛事就会缺少解说员,更无法想象一位解说员可以使用多种语言、面向不同的语言的受众做解说。

基于此,北大庄棨宁学生团队面向乒乓球、跆拳道、跳水、体操等赛事,推出了高速运动 AI 解说系统,系统可以辅助录播频道调用多模态大模型能力,理解视频内容,并生成中文、英语、藏语、阿拉伯等多种语言的解说,让信息传递给更多有实际需求的人。

图:AI智能解说通过感知场景并生成解说

庄棨宁介绍说,这一技术通过高速摄像机的脉冲信号检测场景物体和运动员,将能够捕捉体育比赛中的关键时刻,并生成高质量的集锦和相关数据,基于多模态大模型算法和深度学习模型对这些运动数据进行分析,基于分析结果,系统再生成提供实时的个性化解说服务,从而为各个语种的观众都能提供个性化的体验。

智能爱心辅助助手 让AI有温度

大型赛事活动通常会为东道主城市带来显著的经济、环境等变化,但由于人流量激增,城市公共区域会面临巨大压力。据预测,亚运会期间的杭州也将迎来近年来最密集的游客潮,外地游客量将超过2000万人次,加上本届杭州亚运会来自亚洲45个国家和地区代表团的12527名运动员,亚运期间杭州的人流大增。

在杭州市公共区域,庄棨宁学生团队打造了具身智能机器人软件服务系统,用于亚运会期间的导航指引与帮助服务。这套系统可以为观众提供导览服务,协助视障人士进行引领和导航,解析视障人士需求并完成相应任务,帮助视障人士捡拾掉落的物品等。

目前,在杭州市的一些亚运会志愿者服务点,已经有市民看到一个机器人外观的智能体在为视力障碍人士服务。

图:杭州市民在体验庄棨宁学生团队的具身智能机器人软件服务系统

“很荣幸能够将我们的所学、所研转化为可以服务每个人的应用,让AI服务人们的普通生活。”庄棨宁介绍说,为本次亚运会打造的具身智能机器人软件服务系统,是基于团队自研的感知生成一体化多模态大模型,能够精准地感知与理解场馆内外的视觉场景,生成准确、丰富的语言描述,控制机器人执行智能志愿者服务任务。

同时,团队将多模态大模型与具身智能相结合,使得人工智能可以更好的感知和理解物理世界,再更好地做决策,最终实现人工智能和物理世界更好地交互。

更多热门内容
IASP2025年世界大会在京圆满闭幕 签约42项中外合作项目
秋日的北京,创新涌动、合作如潮。经过五天密集而富有成效的大会议程,国际科技园及创新区域协会(IASP)2025年世界大会于9月19日在北京国家会议中心圆满落下帷幕。本次大会以“追求卓越——创新集群助力高质量发展”为主题,成功搭建了全球科技园区开放对话、务实合作的

2025-09-21

内容消费种草Z世代,抖音电商助力英特尔实现“品效合一”
当游戏从单纯的娱乐工具逐步演变为数字陪伴与精神载体,Z 世代用户已将其视作重要的情绪消费场景。搭载英特尔酷睿处理器的高性能游戏设备,以及英特尔酷睿Ultra处理器的AI PC,有效兼顾游戏体验与生产力、AI应用场景的需求,受到Z世代玩家青睐。《2025 游戏行业抖音经营

2025-09-21

丰收节还能这么玩?提前剧透大北农的“节目单”
九月末的北京,秋意初显。在大北农凤凰国际创新园的神农广场上,9月23日就会迎来一场热闹的丰收节。一曲《大丰收礼赞》将以恢弘鼓声正式敲响丰收节的序幕。随后,现场奏唱《国歌》与大北农企业之歌《强农报国》,来自全国各地的农业代表、企业嘉宾与市民观众将共同见证

2025-09-21

X10幻影Plus,全球首发丨EJEAS爱骑仕打破技术壁垒,解锁骑行通讯对讲无限可能
9月20日,在2025中国摩博会的璀璨舞台上,EJEAS爱骑仕以“无线电MESH对讲技术”引领行业革新,正式全球首发最新力作——X10幻影Plus摩托头盔对讲机。这一突破性产品不仅重新定义了专业摩托骑行通讯的技术标准,更以前沿科技与创新设计的精妙融合,瞬间成为全场瞩目的焦

2025-09-21

2025数字音乐产业大会:中国数字音乐产业基地版权服务工作站揭牌
9月19日-21日,2025中国数字音乐产业大会在厦门召开,19日,大会分论坛“数字音乐版权生态建设论坛”正式举行。本次分论坛由中国音数协数字音乐工作委员会、中国音数协数字音乐产业研究专家委员会主办,网易云音乐、国家版权创新发展基地(四川天府新区)联合协办,汇聚了

2025-09-21

更快到手新机 调研显示通过即时零售购iPhone 17中88.39%用户选京东秒送
9月19日8点,iPhone 17系列新品全面开售。与往年新机发售不同的是,今年消费者的购机需求中,“快”成为了核心关键词之一。越来越多渴望尽早体验新机的用户,开始通过即时零售平台下单 iPhone 17 。《iPhone17首销调研》报告更是显示,33.96%的用户希望“越快越好,愿意

2025-09-21

Aqara智能隐形窗帘电机C200发布,首款原生支持Apple Home
9 月 10 日,全球空间智能领导品牌 Aqara 今日正式发布智能隐形窗帘电机 C200。作为首款原生支持 Apple Home 的隐藏智能窗帘,不仅采用全嵌隐藏设计,C200 还可让用户可通过 iPhone、Apple Watch、HomePod 等设备无缝控制窗帘,尽享专属「果粉」的高阶智能生活体验。同

2025-09-20

不同集团赴港上市,高端母婴品牌BeBeBus以洞察破局
近日,高端母婴品牌BeBeBus母公司不同集团于9月15日至18日公开招股,预计9月23日正式上市。基石投资者包括波司登集团关联的信庭基金、百亿级私募机构上海通怡投资及来自新加坡的Great Praise Investment,总认购金额达1500万美元,市场认购反响热烈。从新锐品牌变成国内

2025-09-20

鸿蒙生态加速进击,华为“天工计划”投入10亿元支持AI生态创新
在华为全联接大会2025(HUAWEI CONNECT 2025)上,华为宣布HarmonyOS 5终端设备数量已突破1700万台,鸿蒙生态全速进击发展,AI全场景体验全面升级,并正式启动“天工计划”,未来将投入10亿元人民币资金与资源,全面支持鸿蒙AI生态创新,携手开发者共同迈进鸿蒙AI新阶段。

2025-09-20

中国摩博会九号公司何飞龙:真正的智能电摩,应能“越骑越懂你”
日前,2025中国摩托车重庆论坛隆重举行,来自全国摩托车产业的领军企业、行业专家齐聚山城,共谋行业发展新路径。在备受关注的“新机遇、新模式”圆桌会议环节,九号公司中国经营事业部总裁何飞龙分享了九号公司在产品创新、前沿技术布局与用户体验升级方面的实践,并提

2025-09-20