DeepSeek开源新模子：用视觉形状已毕高下文压缩。
10月20日，DeepSeek通告开源最新大模子DeepSeek-OCR。所谓的OCR，据DeepSeek在论文中解释称，是通过光学2D映射压缩长高下文可行性的初步考虑。DeepSeek-OCR由两部分组成：DeepEncoder和行为解码器的DeepSeek3B-MoE-A570M。DeepEncoder行为中枢引擎，设计为在高永别率输入下保捏低激活，同期已毕高压缩比，以确保视觉tokens数目优化且可科罚。
无为而言，这是一种视觉-文本压缩范式，通过用极少的视觉token来暗示底本需要深广文本token的履行，以此裁减大模子的设计支拨。
据公布的论文名单表示，该神气由DeepSeek三位考虑员Haoran Wei、Yaofeng Sun、Yukun Li共同完成，但这三位中枢作家王人颇为低调，其中一作作家Haoran Wei曾在阶跃星辰使命过，曾主导缔造旨在已毕“第二代 OCR”的GOT-OCR2.0系统。
DeepSeek-OCR的架构分为两部分。一是DeepEncoder，一个专为高压缩、高永别率文档处理设计的视觉编码器；二是DeepSeek3B-MoE，一个轻量级搀杂大师说话解码器。这款刚开源不久的新模子，发布后就得到国外科技媒体普通奖饰，有网友盛赞：“这是AI的JPEG时辰。”
前特斯拉AI总监、OpenAI创举成员安德烈·卡帕西(Andrej Karpathy)在酬酢媒体高度评价DeepSeek的新模子，他暗示，我方相配心爱新的DeepSeek-OCR论文，“它是一个很好的OCR模子（可能比dots稍稍差一丝），是的，数据汇集等等，但无论怎样王人不挫折。对我来说更意义的部分（尤其是行为一个以设计机视觉为中枢，暂时伪装成当然说话的东说念主）是像素是否比文本更适互助为LLM的输入。行为输入，文本标志是否亏欠且晦气。”
把柄他的设计，概况悉数LLM的输入王人只应该是图像。即即是纯文本履行，也应该先渲染成图片再输入给模子，其中事理包括：信息压缩恶果更高、像素更通用、维持双向细心力、可淘汰存在安全隐患的分词器（Tokenizer）。
特斯拉创举东说念主马斯克（Elon Musk）也现身驳倒区，并暗示：“从永远来看，AI模子高出99%的输入和输出王人将是光子，莫得其他任何东西不错范畴化。”
闻明科技媒体《麻省理工科技驳倒》解释称，DeepEncoder是悉数这个词系统的错误所在。它的设计目的在于，在处理高永别率输入图像的同期，保捏较低的激活内存，并已毕极高的压缩比。为达到这一目的，DeepEncoder和会两种锻练的视觉模子架构：SAM（Segment Anything Model）和 CLIP（Contrastive Language–Image Pre-training）。前者以窗口细心力机制（window attention）见长，擅所长理局部细节，组成编码器的前半部分；后者则依赖密集的全局细心力机制（global attention），能够拿获合座常识信息。
《麻省理工科技驳倒》暗示，除了文本识别性能，DeepSeek-OCR还具备较强的“深度领路”才略。这收获于其考试数据中包含了图表、化学分子式、几何图形等各种化的视觉履行。因此，模子不仅能识别圭臬文本，还能对文档中镶嵌的复杂元素进行结构化领路。举例，它不错将呈报中的图表调治为表格数据，将化学文件中的分子式输出为SMILES按序，或领路几何图形中的线段相关。这种杰出传统文本识别的才略，拓展了其在金融、科研、证实注解等专科畛域的运用空间。
DeepSeek先容，实验标明，当文本tokens数目在视觉tokens的10倍以内（即压缩比<10×）时，模子可达到97%的OCR精度。即使在20×压缩比下，OCR精度仍保捏在约60%。这为历史长高下文压缩和LLM中的追忆淡忘机制等考虑畛域展示可不雅远景。
DeepSeek-OCR还初步考证高下文光学压缩的可行性，诠释模子不错从极少视觉tokens中有用解码高出10倍数目的文本tokens。DeepSeek-OCR亦然一个高度实用的模子，可大范畴坐褥预考试数据，“异日，咱们将进行数字-光学文本交错预考试、大海捞针测试等进一步评估，连接激动这一有远景的考虑观念。”
据国外科技媒体分析，考虑团队暗示，在基准测试中，DeepSeek-OCR优于多个主流模子，且使用的视觉tokens数目少得多。此外，单张A100-40G GPU每天可生成高出20万页的考试数据，可为大型说话模子和视觉-说话模子的缔造提供维持。
前网易副总裁、杭州考虑院践诺院长汪源发文暗示，DeepSeek-OCR模子是一个挑升能“读懂”图片里笔墨的AI模子。但犀利的场合不是浅易“识字”，是继承了一种相配新颖的想路：把笔墨当成图片来处理和压缩。
汪源以为，不错把它联想成一个超等高效的“视觉压缩器”，传统的AI模子是凯旋“读”文本，但 DeepSeek-OCR 是先“看”文本的图像，然后把一页文档的图片信息高度压缩成很少的视觉tokens。DeepSeek-OCR的才略强在能把一篇1000字的著述，压缩成100个视觉tokens。在十倍的压缩下，识别准确率不错达到96.5%。
