10月20-10月24日,多媒体方向顶级学术盛会ACM Multimedia 2021于中国成都正式召开。阿里巴巴淘系技术与浙江大学联合举办的直播中多模态商品识别Workshop暨第二届淘宝直播商品识别大赛圆满结束。淘系技术通过该Workshop开源了业界首个首个大规模的多模态视频商品检索数据集,并联合浙江大学教授庄越挺、悉尼科技大学教授杨易、天津大学教授韩亚洪等国内外知名学者发起多模态检索领域的国际挑挑战赛,旨在共同推动电商直播场景中多模态商品检索识别的研究和AI技术在实际应用场景中的落地。
在电商应用场景中,淘系技术通过直播商品识别算法,实现淘宝直播过程中商品和直播讲解点的有效关联,让消费者可以通过点击商品跳转观看该商品的真人讲解,实现边看边买的沉浸式消费体验。而直播间讲解商品多,视觉相似程度高,直播场景复杂度高,给直播中商品检索识别带来巨大的技术挑战。如何基于直播内容的理解,进行多模态商品检索和识别,是非常值得研究并需持续投入的课题。
基于淘宝直播数据构建的多模态视频商品检索数据集Watch and Buy (WAB),淘系技术于4月27日正式发起第二届淘宝直播商品识别大赛,相较与第一届大赛,在赛题设计上引导选手注重全类别的识别效果,特别是长尾的商品类别、视觉纹理简单商品的识别等,另一方面更加强调多模态信息(主播讲解语音、商品标题)等信息在精确识别视觉相似讲解商品中的重要性。
本届赛事共吸引来自北京大学、清华大学、中科院、卡耐基梅隆大学、伦敦大学、南京大学、浙江大学等全球知名高校学者组成的587支队伍参加,历经3个月的激烈追逐,最终来自中科院计算所、北京大学、中南大学组成的队伍分别获得本赛事的冠军、亚军和季军。
其中来自中科院计算所的冠军队伍的F1分数高达0.69,超过baseline 0.22,Top3队伍的F1分数均超过0.6。在论文征集部分,workshop共接收了5篇论文,包括两篇long paper,三篇short paper。
Watch and Buy Challenge & workshop 成果总结
阿里巴巴淘系技术资深算法专家李晓波表示,“淘宝拥有最大规模的商品库,淘宝直播作为直播领域的先行者,实现通过直播的方式更好连接商品和消费者。在这个过程中,如何通过AI的能力,更好的理解视频直播内容,提升用户边看边买的消费体验是我们一直的追求。本次workshop通过提供真实的多模态商品识别的应用场景、数据,希望能够促进更多学术和工业的结合,激发更多创新研究和技术落地。”
本届ACM MM 2021 的大会co-chair,来自浙江大学的庄越挺教授也表示,“阿里巴巴提供了真实的高质量的直播商品检索场景和数据,能够让学术界很好的参与到这个问题中。”
欢迎大家持续关注获取WAB开源数据集
淘宝直播多媒体商品识别数据集:
https://tianchi.aliyun.com/competition/entrance/531893/information
2025上半年营收破百亿，九号公司靠智能两轮车杀出重围
九号公司2025半年报一出来，我注意到一个很有意思的点：公司上半年在研发上的投入达到5.22亿元，同比大涨49.5%。在行业竞争越来越激烈的情况下，能这么大幅加码研发，说明九号是真的在靠技术拉开差距。截至期末，九号公司全球专利总数已经达到5982项，产品也在不断创新
2025-08-03
联想集团AI赋能广东省超，科技助力“全民快乐足球”
8月3日，广东省足球超级联赛(下称广东省超)2025赛季启动发布会在广州举办，正式宣布联想集团成为“广东省超联赛官方AI技术合作伙伴”。业内分析认为，具有蓬勃活力与高涨参与热情的民间赛事与全球领先AI科技企业携手践行“足球，AI就玩了”的快乐足球理念，为这场覆盖广
2025-08-03
TCL携全场景电竞显示产品与智慧终端亮相2025ChinaJoy展会
8月1日，全球数字娱乐盛会ChinaJoy2025在上海新国际博览中心盛大开幕。TCL科技与TCL实业两大产业集团联合策展，由TCL华星携手三星、联想、华硕、AOC、飞利浦、iQOO、Acer、MSI、LG、雷鸟等品牌合作伙伴联合参展，全面展示TCL华星在电竞显示领域创新与TCL实业在智能终端
2025-08-02
一加高调亮相 2025 ChinaJoy，四大游戏体验区燃炸全场
8 月 1 日，2025 年中国国际数码互动娱乐展览会(ChinaJoy)盛大开幕。一加手机以“上车 MVP，当场换新机”为活动主题，携三大性能旗舰产品一加 13、一加 Ace 5 和一加 13T 强势亮相骁龙主题馆，并在展会现场设置四大游戏主题体验区，搭载骁龙 8 至尊版和一加独家自研芯片
2025-08-02
BLACKPINK出道九周年 网易云音乐成巡演快闪独家合作音乐平台
2025年8月2日，全球顶级艺人BLACKPINK官宣入驻网易云音乐，并通过独家中文笔记向平台乐迷分享了最新动态。YG娱乐联合CASTER STAR、网易云音乐在中国开展BLACKPINK WORLD TOUR POP-UP STORE(全球巡演中国快闪)活动。作为本次快闪的独家合作音乐平台，网易云音乐倾力打造
2025-08-02
创想三维亮相 ChinaJoy， 3D打印赋能动漫次元
8 月 1 日，2025 ChinaJoy 在上海新国际博览中心盛大开幕。全球消费级3D打印生态领创者创想三维携手京东打造3D打印展区，携全品类设备强势登陆，以 “科技赋能娱乐” 为核心，给观众带来一场融合 3D 打印、动漫与互动体验的创意盛宴。作为中国乃至全球数字娱乐产业的风
2025-08-02
2025按摩椅十大品牌排名最新榜单深度解析
面对市面上琳琅满目的按摩椅品牌，从国产到进口，价格从几千到上万，哪些品牌才是真正专业高品质，什么样的按摩椅才是真按得舒服?下面将基于市场认可度和用户口碑，解析2025年按摩椅品牌排行榜前十名，为消费者避开营销迷雾，助您做出明智选择。2025年十大按摩椅品牌：
2025-08-02
开源大模型史上最高分！阿里千问3性能全球第三
8月2日凌晨，国际权威大模型评测 Chatbot Arena更新了最新一期的大模型榜单，上周新鲜开源的阿里千问3新模型斩获1433分，超越顶尖闭源模型Grok4、Claude4，位列所有闭源及开源模型的全球总榜第三，是全球最强非推理(non-thinking)模型，并创下全球开源模型和国产模型的
2025-08-02
