ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

开源新突破:claude-real-video 让大语言模型“看懂”视频有新招

时间:2026-07-06 20:52:26来源:快讯编辑:快讯

近日,一个名为claude-real-video的开源项目在开发者社区引发广泛关注。该项目宣称能让任意大语言模型具备"观看"视频的能力,且无需训练新模型或构建复杂视觉推理框架。项目上线后GitHub星标数呈指数级增长,其创新性的技术路线引发行业热议。

传统方案处理视频时存在显著缺陷:直接传输完整视频帧不仅消耗大量token,更会超出模型上下文窗口限制。当前主流模型如Claude、ChatGPT等,实际仅通过分析视频字幕理解内容,相当于"只听不看"。该项目通过创新的预处理机制,使模型能同时获取视觉与文本信息,突破了现有技术瓶颈。

核心解决方案包含五大技术亮点:首先采用场景检测算法替代固定抽帧,仅在画面变化时保存关键帧。测试显示,58秒视频从固定抽帧的58张压缩至26张有效帧,信息完整度保持不变。其次引入图像去重机制,通过相似度比对自动删除重复画面,某案例中100张图片经处理后仅保留30张。

项目还构建了时间轴对齐系统,生成的MANIFEST文件能精准关联字幕与画面时刻。最新版本新增的Grid功能可将9张连续关键帧拼接为单图,使26张画面进一步压缩至3张,在保持信息连续性的同时大幅降低token消耗。这种处理方式使模型能同时获取静态画面与动态变化信息。

在应用场景方面,0.3.0版本新增的--why参数支持用户指定分析目标。例如通过命令"crv [视频链接] --why 'find pricing strategy'",可定向提取定价策略相关信息。配套的kb参数能将分析结果自动归档至指定知识库,解决传统临时文件易丢失的问题。

项目团队同步推出19美元的一次性付费版本crv Pro,提供高级分析功能。包括识别镜头运动方式、统计剪辑节奏、生成非视觉信息时间轴(如语气变化、环境音效)等。针对短视频创作者设计的分析报告,可提供手势频率、表情强度等量化数据。

开发者社区对该项目评价呈现两极分化。支持者认为这种"升级上下文而非模型"的思路更具可行性,批评者则指出ffmpeg场景检测的稳定性问题。有开发者建议项目名称应去除"Claude"字样,以体现其通用性设计理念。目前项目已在GitHub开放源代码,开发者可自由使用场景抽帧、图像去重等基础功能。

更多热门内容
Billus AI生图大模型新进展:空间创作双提升,持续进化中
但在持续研发超级智能体的同时,我们并没有停下另一条线:AI 生图大模型。另一边,是面向创作者的 AI生图大模型,让每个人都能更轻松地完成高质量视觉创作。 我们想让 AI 更懂空间,也更懂创作。 Billu…

2026-07-06

同程商旅程意大模型获国家网信办备案,AI驱动商旅数字化创新迈新阶
本次备案顺利通过,标志着程意大模型在技术架构、安全体系、合规管控层面全面达到国家监管标准,为同程商旅推进AI技术在企业差旅场景规模化落地、市场化推广筑牢制度根基,也代表同程商旅AI驱动商旅数字化创新迈入全新发…

2026-07-06

AI实战新舞台:2026华为云少年开发者大赛决赛沪上启幕 共绘创新未来
决赛聚焦人工智能实践能力考核,151支入围队伍围绕人工智能基础知识、智能体搭建与调优、模型训练及应用实践等内容展开比拼,集中展示青少年在AI应用开发、工程实践和创新思维方面的综合能力。未来,华为云少年开发者人…

2026-07-06

OpenAI战略聚焦主航道:以优势为基 逐梦AGI未来新征程
(2)本资料所载的信息来源被认为是可靠的,但是中信证券不保证其准确性或完整,同时其相关的分析意见及推测可能会根据中信证券研究部后续发布的证券研究报告在不发出通知的情形下做出更改,也可能会因为使用不同的假设和标…

2026-07-06

第八届创新发展论坛金i奖揭晓 融360以科技赋能普惠金融斩获金融科技创新奖
在金融科技细分赛道中,融360凭借其在普惠金融领域的长期深耕与技术赋能实践,荣获“金融科技创新奖”。 从2011年成立来,融360就一直高度重视科技创新,不断以科技为驱动,依托人工智能和机器学习等深厚的技术…

2026-07-06

AI驱动产业变革:智能工业化时代来临,新核心资产重塑资本新版图
这类平台企业本质是数字时代的 “线上地主”,依托流量垄断形成稳固壁垒,成为市场公认的核心资产,长期占据资本重仓席位。 当下资金已经明确 聚焦六大主线,分别是AI基础设施、半导体核心产业、高端智能制造、配套…

2026-07-06

2026工业互联网大会启幕 中国电信以AI之力筑牢工业发展新基石
以中国电信为代表的电信运营商,将持续立足政策导向,深化AI与工业互联网的深度融合,不断完善“云网智算”技术底座,拓展更多高价值应用场景,深化生态协同,以“国家队”的担当,为工业互联网创新落地见效提供有力支撑,…

2026-07-06

2026工业互联网大会启幕 中国电信AI赋能引领工业智能化新征程
以中国电信为代表的电信运营商,将持续立足政策导向,深化AI与工业互联网的深度融合,不断完善“云网智算”技术底座,拓展更多高价值应用场景,深化生态协同,以“国家队”的担当,为工业互联网创新落地见效提供有力支撑,…

2026-07-06

豆包“应用生成”功能5月31日已停服 历史应用可查看但无法新建更新
IT之家 7 月 6 日消息,据《读佳》今日消息,豆包在宣布全面下线“智能体”功能之前,其“应用生成”功能已于 5 月 31 日率先停止服务。 目前,用户此前通过该功能创建的历史应用,仍可在豆包会话中进行查看…

2026-07-06