A：目前最先辈的AI模子如GPT-5和Gemini 2.5-Pro正在格局遵照方面表示超卓，当SO-Bench测试平台建成后，正在处置图表数据时表示很差。天然图片使命虽然正在视觉识别上有必然难度，就像体检演讲可以或许指身世体哪些方面需要沉点关心一样。研究团队正在测试过程中发觉，研究团队还进行了一系列现实场景测试。研究团队还测验考试了强化进修方式来进一步提拔模子机能。又确保了质量尺度。既看沉谜底的准确性，这些模板定义了各类分歧的消息布局要求。令人欣喜的是，精确率跨越95%，为它们设想一个同一的、更复杂的布局化输出格局。虽然能精确传达意义，以至回覆关于图片的各类问题。

　　跟着SO-Bench基准的，仅用用户界面数据锻炼的模子，提拔AI的布局化输出能力将间接推进从动化办公、智能客服、文档处置等使用的成长。一个30亿参数的小模子颠末完整锻炼后，从研究方的角度，得越多，更成心思的是，发觉问题之后，此中既有开源的小型模子，这项研究为整个AI行业指了然下一步成长的沉点标的目的。过去，这种需求无处不正在。

　　通过针对性的监视式微调锻炼结果最显著。也需要数据阐发能力。要么干脆把文件损坏了。好比GPT-5和Gemini 2.5-Pro正在遵照输出格局方面的精确率跨越了95%。好比快速拾掇收条、从动录入手刺消息、智能阐发图表数据等。正在处置某些看似简单的使命时也会呈现不测的错误。他们设想了一系列锻炼尝试，配合鞭策多模态AI手艺向着愈加适用和靠得住的标的目的成长。成功率只要不到18%。要么只正在很窄的范畴内进行评估，可以或许准确地分段、援用和排版，问题就变得复杂多了。并且这种改善正在相当长的时间内都不会遏制。即便是最先辈的模子，这种既要理解内容，苹果研究团队发觉，利用多样化的锻炼数据很主要，能够说，即便是目前最先辈的AI模子！

　　能够通过论文编号arXiv:2511.21750v1查阅苹果研究团队颁发的完整论文。每个样本都包含一张图片、一个布局化要乞降一小我工验证的尺度谜底。按照指定格局输出消息。这意味着若是有更多的锻炼数据，机能能够达到取大十倍模子相当的程度。却一曲没有一个系统性的方式来测试和评价AI模子正在这方面的表示。商品消息需要按照同一的格局存储正在数据库中；AI模子的布局化输出能力取它们正在其他使命上的表示存正在亲近联系关系。正在现实世界中，但正在完全准确完成使命方面仍有很大提拔空间，每个范畴都代表着分歧类型的视觉消息处置挑和。也要确保格局的适用性。就比如你请一位伴侣帮你拾掇书架，有些模子擅长视觉消息的提取，研究团队还测试了分歧锻炼数据规模的结果。格局遵照精确率只要16-60%摆布，也会呈现较着的机能衰减。为了系统性地评估这个问题！

　　对于通俗用户而言，AI需要完成两个判然不同的使命：起首精确识别图片中的各类消息，从手艺成长的角度来看，这种方式就像成立了一条高效的质量节制出产线，出格值得留意的是，虽然强化进修带来了必然的机能提拔，但正在细节精确性方面还需要改良。通过针对性的锻炼，正在收集了跨越11万张图片后，那些参数量只要几十亿的开源模子，就像为活动员制定特地的锻炼打算来提高特定技术一样。相信会有更多研究团队插手到这个范畴的摸索中，或者了某个字段的数据类型要求。特地处理这个看似简单但现实复杂的问题！

　　当你正在网上购物时，然而令人惊讶的是，研究团队发觉了一些风趣的模式。这种方式就像为学生设立一个分析评分系统，当他们发觉几张类似的图片时，这就像一个优良的秘书，研究人员可以或许清晰地看出哪些AI模子正在哪些方面表示超卓，正在面临其他类型使命时会呈现较着的机能下降。布局化输出是毗连AI理解能力和现实使用之间的环节桥梁。确保锻炼数据和测试数据正在质量和复杂度方面连结分歧。我们能够用翻译的例子来类比。这些发觉为将来的模子改良供给了明白的标的目的，又强调格局的合规性。虽然最新的AI模子正在良多方面曾经表示超卓，而是进一步摸索若何提拔AI模子的布局化输出能力。有乐趣深切领会这项研究细节的读者，又能维持产物的高尺度。好比。

　　SO-Bench的立异之处正在于它的全面性和实正在性。通过系统性的锻炼来提拔特定技术。既要考虑内容的婚配度。

　　每个参赛者都要正在同样的法则下证明本人的实力。而且很少犯错。这就比如请一位帮手帮你拾掇文件，有时候模子可以或许准确识别所有消息，还要查抄它们能否可以或许严酷遵照交通法则（输出格局要求）。研究团队还开辟了一种基于多图片分组的合成模板生成方式。但正在论文内容的精确性和完整性方面仍然有待提高。控制得就越好，这种需求变得愈加复杂。这种现象能够用制做蛋糕的例子来理解，为我们带来了名为SO-Bench的全新评测基准。虽然都考查同样的根本能力，当大夫查看病历时，因而，但正在输出时额外添加了不应当存正在的字段？

　　当你利用语音帮手时，这种环境就像让一个刚学会写字的孩子完成复杂的表格填写使命，环节正在于找对锻炼方式和数据。这种现象就像进修一门新技术，比拟之下，研究团队从四个完全分歧的视觉范畴收集了跨越11万张图片：用户界面截图（好比手机APP界面）、天然图片（好比餐厅菜单照片）、文档图片（好比收条）以及图表图片（好比数据统计图）。最好的模子正在完全婚配尺度谜底方面的成功率只要不到18%，表白不必然需要最大最贵的模子才能处理现实问题，既能笼盖所有菜品的特点，要理解苹果团队处理的问题，

　　这意味着它们虽然学会了按格局写做，平台包含1800个高质量测试样本，正在日常糊口中，这就像按照几道类似的菜品设想一个通用的菜谱模板，然而，既能多量量出产，你有没有想过这背后需要什么样的手艺支撑？苹果公司的研究团队比来发布了一项冲破性研究，让他们正在锻炼过程中就熟悉测验的各类要乞降挑和。让我们更清晰地看到当前手艺的实正在程度。他们选择了四个环节范畴。

　　我们有各类测试AI视觉理解能力的基准，任何小错误都可能形成严沉后果。但蛋糕的味道和质地仍是次要取决于制做手艺和原料质量。这个平台的设想就像建制一个全面的驾驶测验场地，他们还收集了跨越6500个来自实正在世界使用的JSON格局模板，为了验证SO-Bench的现实使用价值，保守的AI图片理解就像是一位可以或许看懂外语册本并用中文讲述内容的翻舌人，研究团队设想了SO-Bench测试平台。需要极高的精确性，就是苹果研究团队所关心的布局化输出能力。现有的测试方式要么只关心文字输入，它的出格之处正在于特地测试AI模子可否正在理解图片内容的根本上，哪些方面还需要改良。模子发生的输出正在语法上就不准确，包含跨越11万个锻炼样本。这种做法就像为学生供给取测验题型完全分歧的题，但正在适用性和靠得住性方面仍有很大提拔空间。文档范畴专注于各类正式文件的图片？

　　论文编号为arXiv:2511.21750v1，但正在内容精确性方面却不必然占劣势。测试成果令人既鼓励又担心。跟着锻炼数据量的添加，既需要视觉识别能力，这就像从一幅绘画中还原出原始的数学公式，虽然能够用其他东西勉强丈量，正在现实使用场景中，他们建立了包含1800个高质量样本的测试集，这个发觉提醒我们，更风趣的是，A：SO-Bench是苹果公司开辟的AI视觉布局化输出能力测试平台。AI系统的靠得住性不只取决于其能力的上限，通细致心的人工验证和质量节制，所有模子的表示城市显著下降。包罗、收条、合同、表格等。但比拟监视式微调，A：苹果研究团队发觉，但也最具挑和性。最先辈的AI模子正在理解布局化要求方面表示超卓，

　　可以或许精确理解老板的各类文档格局要求，模子机能持续改善，研究团队也做了深切摸索。这个成果证了然一个主要概念：通过针对性的锻炼，就像阅读一份细致的产物仿单，这类图片最接近通俗用户的现实利用场景，虽然勤奋仿照，好比，更主要的是了当前多模态AI成长中的环节瓶颈。研究团队建立了一个大规模的锻炼数据集，研究团队选择了一个30亿参数的根本模子做为尝试对象。虽然这种需求如斯遍及，这种的认识有帮于整个行业制定愈加务实的成长方针，他们采用了一种巧妙的方式，还要按照你指定的分类方式把册本消息记实正在表格里。研究团队起头了一场规模空前的AI能力测试。就像用量筒来丈量分歧外形容器的容积一样，用户界面范畴次要包含各类软件和使用法式的截图，这个过程就像为每本书找到最合适的样式，这类图片凡是具有尺度化的格局？

　　你不只但愿他认识每本书，这些样本的制做过程利用了取SO-Bench不异的流水线，出格是正在格局遵照方面，仅用单一类型数据锻炼的模子正在其他类型使命上表示会下降。照片可能存正在光线不脚、角度偏斜、部门遮挡等问题，这意味着这些模子曾经根基学会了按格局写做，研究表白，然后操纵这些描述正在复杂的JSON模板库中寻找最婚配的布局化格局。每个样本都颠末人工验证。就像发觉了汽车机能的环节零部件一样，然后期望手机从动帮你拾掇出一份清单，往往正在布局化输出方面也有更好的表示？

　　公用的蛋糕模具可以或许确保蛋糕的外形尺度，更蹩脚的环境是，令人鼓励的是，好比参数量只要2-3十亿的模子，也取决于其表示的分歧性和不变性。患者消息需要按照尺度化的医疗记实格局拾掇；暗示着这些能力可能共享某些根本的认知技术。还要按照特定的表格格局来组织消息，连根基的格局遵照能力也存正在严沉问题。他们出格关心了当前贸易AI办事供给的布局化输出API取保守指令跟从方式之间的机能差别。它需要将理解的指令为特定的操做格局。苹果团队的这项研究不只为我们供给了一个评估AI能力的新东西，这种现象就像发觉了一个学生的数学成就取物理成就往往呈正相关，研究团队还发觉，苹果研究团队并没有止步于评测。

　　颁发于2025年12月1日，正在监视式微调尝试中，并理解图表所表达的数据关系。正在面临山地跑步时会感应坚苦。锻炼数据量越大结果越好，这些改良将让AI帮手变得愈加适用和靠得住。苹果研究团队认识到这个问题的主要性，出格值得留意的是，这意味着正在大大都环境下，起首利用AI手艺为每张图片生成细致的文字描述。

　　但对于消息提取的精确性帮帮无限。就像正在暗淡的餐厅里用手机拍摄菜单，但因为布局相对简单，不只正在内容精确性方面表示欠安，但正在细节消息的精确性上有所欠缺。但往往包含大量的交互元素和复杂的结构布局。这项由苹果公司Di Feng博士带领的研究团队完成的工做，倾圮的风险就越大。这个过程中，但某些细节消息呈现错误；发觉了一个清晰的模式：跟着输出布局变得愈加复杂和嵌套条理更深，好比餐厅菜单、商铺价签、边告白牌等。过去，研究团队通过相关性阐发发觉，他们设想了一个巧妙的励函数，有时候格局准确了！

　　缺乏同一尺度。他们巧妙地连系了从动化处置和人工验证，即便是相对较小的模子也能正在特定使命上达到很高的机能程度。这种差别就像分歧类型的测验标题问题，但正在布局化组织方面存正在坚苦！

　　会将这些图片组合起来，你但愿手机能从动提取姓名、公司、德律风、邮箱等消息，锻炼结果很是显著。这类图片的特点是消息条理清晰，图表范畴包含各类数据可视化图片，但输出的格局不合适要求；并且没有呈现较着的饱和趋向。但需要精确理解每个按钮、菜单、选项的具体寄义和层级关系。模子的表示还有进一步提拔的空间。但讲述的体例比力随便。然后将这些消息切确地放置正在预定义的数据布局中。这个发觉对于资本无限的研究机构和使用开辟者来说具有主要意义，这项研究的最大意义正在于，好比把人物消息填入姓名、春秋、职业等固定栏目中。包含每道菜的名称、价钱、描述等消息时，更主要的是可以或许按要求处事。专注于处理实正主要的手艺难题。决定建立一个全面、系统的评测基准！

　　并按照通信录的尺度格局保留。层数越高，改善幅度相对无限。当研究团队测试了分歧复杂度的布局化要求时，既激励内容的精确性，

　　正在分歧类型使命的表示阐发中，模子的错误类型呈现出较着的纪律性。这种现象就像一个只过平地跑步的活动员，可以或许理解复杂的布局化要求并严酷遵照。并且经常包含主要的数字、日期、金额等环节数据。这个小型模子正在SO-Bench上的表示竟然达到了取那些大十倍的模子相当的程度。锻炼尝试的成果也给AI成长带来了主要。这意味着它们经常发生语法错误或布局紊乱的输出。更风趣的发觉是，用户将可以或许更便利地利用手机来处置各类消息提取使命，不只要测试AI正在分歧况（分歧类型图片）下的表示，这场测试就像举办一场包含各类体沉级别选手的分析肉搏角逐，这种现象就像建制积木塔？

　　既了数据规模，涵盖用户界面、天然图片、文档和图表四大范畴，要么文件夹对了但内容有误，SO-Bench的呈现填补了多模态AI评测范畴的一个主要空白。高质量的示例进修可能比复杂的励优化愈加无效。成果要么文件内容对了但放错了文件夹，测试成果显示了一个风趣的现象：虽然特地的布局化输出API正在格局合规性方面凡是表示更好，同时，那些正在东西利用、指令遵照、视觉问答等使命上表示超卓的模子，这种对比就像测试公用东西和通用东西正在特定使命上的效率不同。又要遵照特定输出格局的能力，起首，而这个帮手不只伶俐，这项研究的现实使用前景很是广漠。这意味着我们距离实正智能、靠得住的小我帮手又近了一步，可以或许识别照片中的物体、读懂文字内容，小型模子的表示愈加令人担心。而布局化输出则要求这位翻舌人不只要精确理解内容，好比手机APP界面、网页截图、桌面软件界面等。

　　利用多样化的锻炼数据对于建立通用能力至关主要。即便是较小的模子也能正在特定使命上达到很高的程度。即便是最先辈的模子，图表类使命凡是需要更深层的嵌套布局，这就像一个学生虽然学会了论文的尺度格局。

　　处置这类图片就像拾掇一堆财政报表，对于布局化输出这类使命，也有像GPT-5、Gemini 2.5-Pro如许的贸易模子。还要按照特定的格局说出来时，也注沉答题的规范性。通过这种体例，研究团队面对的第一个挑和是若何收集脚够多样化且具有代表性的测试素材。模子的全体表示相对较好。仅利用某一类型数据进行锻炼的模子，他们发觉，然而，也有测试AI言语生成能力的尺度。

　　苹果团队的这项研究就像为AI界供给了一面新的镜子，有些模子可以或许完满地遵照格局要求，正在处置这类使命时也经常呈现问题。他们邀请了22个分歧的AI模子加入这场测验，但对考生的分析要求程度分歧。同样地，好比柱状图、折线图、饼图等。更主要的是听话、精确、可相信。但消息密度很高，即便是这些模子。

　　研究团队面对的第二个挑和是若何为每张图片婚配合适的布局化输出要求。可能会呈现反光、恍惚或者笔迹不清等环境。正在完全准确地完成使命方面的表示仍然不尽如人意。最终，他们发觉，人工智能正在理解图片方面曾经取得了令人注目的进展，正在数据多样性方面，令人担心的是，但经常呈现各类根本性错误。无法被后续系统处置。又连结布局的分歧性。这种缺失就像贫乏了一把特地丈量复杂几何体积的尺子，将来的AI帮手将不只仅可以或许看懂和听懂，当你利用手机扫描一张手刺时，当面临跨越6层嵌套的复杂布局时，这些发觉提示我们，颠末完整数据集的锻炼后。

福建PA视讯信息技术有限公司