ITBEAR科技资讯
网站首页 科技资讯 财经资讯 分享好友

DeepSeek开源OCR新模型:视觉模态压缩文本,单卡日训超20万页数据

时间:2025-10-21 04:42:53来源:互联网编辑:快讯

人工智能领域迎来新突破,DeepSeek公司近日在GitHub平台开源了一款创新的OCR模型,并同步发表了技术论文《DeepSeek OCR:上下文光学压缩》。该模型通过视觉模态实现文本信息的高效压缩,为解决大语言模型处理长文本时的计算瓶颈提供了新思路。

研究团队发现,现有大语言模型在处理超长文本时面临显著的计算压力。为此,他们创新性地将文本信息转化为视觉模态,利用"一图胜千言"的原理大幅减少Token消耗。实验数据显示,这种光学压缩技术可实现近10倍的无损上下文压缩,同时保持97%以上的OCR准确率。在A100-40G显卡环境下,单日可生成超过20万页的模型训练数据。

该模型采用双组件架构设计:DeepEncoder编码器负责图像特征提取与压缩,DeepSeek3B-MoE解码器则从压缩后的视觉Token中重建文本。解码器采用混合专家(MoE)架构,在30亿参数规模中仅激活约5.7亿有效参数,兼顾了模型表达能力与推理效率。当压缩率控制在10倍以内时,OCR精度稳定在97%;即使压缩率提升至20倍,准确率仍维持在60%左右。

研究团队提出了更具前瞻性的设想——模拟人类记忆衰退机制。通过逐步缩小历史上下文的图像渲染尺寸,实现Token消耗的递减式压缩。随着图像尺寸缩小,内容清晰度相应降低,最终达到类似人类记忆的渐进式遗忘效果。这种设计为处理无限上下文信息提供了理论可能,目前该方向仍处于早期探索阶段。

项目核心成员包括Haoran Wei、Yaofeng Sun和Yukun Li三位研究员。其中Haoran Wei曾主导开发第二代OCR系统GOT-OCR2.0,具备深厚的技术积累。该模型开源后迅速获得业界关注,GitHub平台累计获得超过1400个星标。

尽管市场对DeepSeek未发布R2新模型存在争议,但此次技术突破显示公司正专注于底层技术创新。光学压缩技术不仅优化了现有模型性能,更为下一代大语言模型的发展开辟了新路径。这种将文本与视觉信息深度融合的研究方向,可能成为通向通用人工智能的重要突破口。

更多热门内容
NVIDIA Spectrum-X以太网:2025年AI超级工厂网络核心支撑与未来展望
报告聚焦AI网络对AI超级工厂的核心赋能作用,系统阐述了NVIDIA Spectrum-X以太网作为首款AI以太网的技术优势、应用价值及未来发展潜力,揭示了网络在数据中心向AI工厂转型中的关键主导地位。Spe…

2025-10-21

密歇根女性靠ChatGPT中奖引热议:AI预测彩票是巧合还是能力?
事件的主人公塔米·卡维在接受采访时表示,她是通过向ChatGPT请求一组Powerball彩票号码而取得了这次惊人的胜利。这一事件背后也引发了公众对人工智能在生活决策中应用的广泛讨论。用户可能会逐渐失去对信息…

2025-10-21

穹彻智能获阿里等资本助力,具身智能全链路突破与落地双提速
为此,穹彻智能在关键技术领域取得一系列进展突破,最新研发成果包括无本体数据采集方案、通用端到端模型方案以及人机协作的规模化部署系统,正致力于打通从数据到部署的全链路,贯穿从数据采集、模型预训练到后训练的完整技…

2025-10-21

大三学生周宇:从游戏调参到AI开发,兴趣引领我开启职业新征程
看着别人用Prompt就能搭建智能助手、RAG知识库、Agent系统,我心里那个“想自己也做一个”的念头越来越强烈。于是我下定决心报名了小灰熊AI的大模型系统课程。我印象特别深,有次我做作业写了个“角色扮演型…

2025-10-21

RPA厂商“换道”智能体:是行业进化新方向,还是转型迷雾中的探索?
来也科技是这一派的典型代表,它在RPA基础上叠加对话机器人、文档识别、智能分析等能力,构建了一体化的“AI工作平台”。IDC报告也显示,金智维在2024年中国RPA+AI市场份额中位列第一,这与其在复杂行业…

2025-10-21