这项由东南大学、微软筹商院、武汉大学、中山大学及阿布扎比穆罕默德·本·扎耶德东谈主工智能大学合股完成的筹商，以预印本形势于2026年5月发布在arXiv平台，论文编号为arXiv:2605.12501v1。感兴致的读者可通过该编号在arXiv上找到完好论文。

**鼠标不单会点击——AI助手的"操作盲区"**

每当你开放电脑，简直总共与屏幕的交互齐不单是点击按钮那么浮浅。你在Excel里拖动单位格边际来填没收式，在Word里框选一段翰墨然后拖到新位置，在Photoshop里用套索器具一笔一划地描出东谈主物详尽，在PowerPoint里把一个体式拖到另一个体式的正中心——这些操作稀松平素，却对自动化AI助手组成了确切的难题。

频年来，像GPT-o3和Claude这么的"电脑操控AI"也曾八成匡助用户自动完成一些屏幕上的责任。这类AI被称为"贪图机使用智能体"，它们通过"看"屏幕截图来理解现时景色，然后决定下一步该作念什么。但是，筹商团队在试验测试中发现了一个让东谈主有些莫名的征象：哪怕是现在最刚硬的AI模子，在面临"拖拽"、"框选"、"描边"这类略微复杂少许的操作时，罪状率远远高于浮浅点击。换句话说，这些AI就像一个刚学会按门铃的机器东谈主，却十足不知谈怎样开锁。

筹商团队把这个征象称为"长尾问题"——绝大多数的操作失败，聚合合在那些复杂度高、出现频率相对较低的交互类型上。他们的中枢判断是：这个问题很猛进度上源于磨砺数据的严重匮乏。浮浅点击的数据到处齐是，但"在Photoshop里描出一只猫的详尽"这种操作，简直莫得现成的磨砺数据不错用。

**一次摸底测试：GPT-o3在"责任场景"中的真实推崇**

为了摸清问题所在，筹商团队在微软Azure平台上集结了近200个真实任务，涵盖办公软件操作、网页浏览和电子游戏三大场景，让GPT-o3一一完成，并详备分析总共失败案例。

驱逐稀奇直不雅。在办公软件场景里，每100个失败案例中，有37个是因为AI找错了位置——也即是说，它知谈该作念什么，却不知谈该在屏幕的哪个场合作念。这类罪状被称为"动作定位罪状"，是最主要的失败原因，远高出"规划罪状"（知谈在那处，但不知谈该作念什么）。而在那些需要拖拽或其他复合动作的任务里，坐标定位罪状的比例更是权臣高于浮浅点击任务。

网页浏览场景的情况稍好一些，但规定雷同。游戏场景中规划罪状占主导，因为游戏需要更多战略性判断，而非精确定位。

这份测试讲演平直指向了两个亟待处理的问题：现存的评测基准无法测度复杂操作智力，而磨砺数据里简直莫得这类复杂操作的样本。

**一把新尺子：CUActSpot评测基准的出身**

既然旧的尺子量不准，就得造一把新尺子。筹商团队手工构建了一个名为CUActSpot的评测基准，专门用来测试AI在复杂交互上的智力。

这个评测基准的中枢鼎新，在于它随心了昔日"只测点击"的传统。以往的评测基准，岂论多难，基本上齐是归拢个模式：给AI看一张截图，让它找出某个按钮的位置，然后查验它指出的位置是否在按钮范围内。这就像只评语文的"找错别字"，而十足不考"写稿文"。

CUActSpot把测试范围延伸到了五种不同的操作对象：范例界面元素（按钮、复选框之类）、文本内容（选中某段话、在某处点击设立光标）、表格（Excel里的各式操作）、画布（PowerPoint里的图形操作）以及当然图像（Photoshop里对像片内容进行操作）。动作类型也从单纯的点击延伸到了拖拽（需要细目首先和至极两个坐标）和绘制（需要细目一系列连气儿坐标点，比如描出物体详尽）。

总共这个词基准包含206个经心想象的样本，涵盖12种高层任务类型和33种细分任务类型。为了确保质地，每个样本齐经过了至少四个东谈主的测试和修正——原始标注者想象任务，另外三个东谈主独处尝试完成，若有歧义就修改，东谈主类无法完成的就平直删除。

评分方式也经过了经心想象。关于需要多个坐标点的任务，评测系统会区别"有序"和"无序"两种情况——拖拽鼠标画圆是有序的（必须从圆心运转），而框选一段翰墨是无序的（从赶赴后或从后往前齐不错）。此外，系统还引入了"不容区域"的宗旨，能干AI通过在全屏立地乱点来蒙对谜底。

**数据工场：用代码"渲染"出磨砺数据**

有了评测范例，下一步是处理磨砺数据匮乏的问题。筹商团队建议了一套全新的数据合成活水线，其中枢想路是：与其从现实宇宙的软件截图里极重地标注数据，不如平直用范例"生成"带有精确坐标信息的截图。

这个想路不错用烘焙来理解。传统递次就像从街上买蛋糕然后分析身分，冗忙而不精确；新递次规是我方按照食谱烤蛋糕，从一运转就知谈每一种材料的精确用量。由于截图自己即是用代码渲染出来的，每个元素的坐标信息当但是然就纪录在案，十足不需要东谈主工标注。

在此基础上，筹商团队让高档AI模子（具体使用的是OpenAI的o3模子）饰演"任务想象师"的脚色，字据这些坐标信息自动生成对应的操作教导。更秘要的是，他们允许o3在生成任务时进行数学推算。举一个论文中的真实例子：屏幕上有一个箭头体式和一个椭圆体式，已知箭头圆心坐标、箭头尖危坐标、椭圆顶部坐标，o3就能推算出"把箭头的圆心拖到某处，使箭头顶端恰恰指向椭圆顶部"这么的复杂任务，并自动贪图出正确的首先和至极坐标。这种智力极地面丰富了生成任务的种种性。

五种操作对象各自有一套专属的渲染有经营。界面元素数据复用了Phi-Ground名堂的网页爬取活水线：从Common Crawl这个浩大的网页归档库中执取网页，经过谈话过滤、领域去重（归拢网站最多保留50个页面，能干单一网站作风主导模子）、渲染截图、章程过滤等多个清洗步地，最终用GPT-4o为每个元素生成刻画标签，共赢得约1050万个高质地样本。

文本数据的渲染则接受了一个"拼贴"有经营：团队集结了2500种开源英翰墨体和约200张不同分辨率的翰墨配景图（包括空缺Word文档、记事本窗口截图等），然后用Python的PyQt5库把维基百科和GitHub上的翰墨内容渲染到这些配景上，同期精确纪录每个字符的坐标。

表格数据的生成尤为紧密，分四步完成。率先从开源数据集集结约1.6万张原始表格，然后用GPT对每张表格进行"演化"——改革主题（比如把"责任时辰统计表"改成"数学得益统计表"）、改革结构（添加合并单位格、新增列等），生成约16万张各不沟通的表格。接着用o3生成约1万套不同作风的CSS神态表，通过立地调整神态、字体、边框等参数延伸成种种化的视觉作风。终末把内容和神态立地组合，并对一半的表格立地庇荫庞杂单位格（模拟Excel中庞杂空缺格的真实情况），得到视觉作风高度种种的表格截图。

画布数据接受了一个范例化的PowerPoint模拟器，因循76种基骨子式，涵盖矩形、椭圆、三角形、箭头、集聚线、标注框、星形、多边形等九大类别。每个生成的画面齐包含3到8个立地放手的体式，并模拟了PowerPoint剪辑模式下的视觉细节——八个红色驱逐点、顶角的蓝色过甚艳丽、旋转手柄等，让合成数据尽可能靠近真实软件的外不雅。

当然图像数据则平直开始于Meta开源的SAM（Segment Anything）数据集。关于每张图片，团队立地选取五个区域，用GPT-4o为每个区域生成详备刻画，再用详尽索要算法把区域的分割掩码颐养成20个过甚的多边形畛域弧线。这套畛域数据主要用于因循Photoshop式的"抠图"和"涂抹遮罩"任务。

通过这套活水线，筹商团队共生成了约5000万条磨砺样本，其中界面元素数据约3000万条，其余四种模态各约500万条。

**磨砺与对比：一个4B参数的小模子逆袭**

有了数据，筹商团队用它来磨砺模子。他们遴荐了Phi-3.5-VL当作基础模子，这是微软拓荒的一个参数畛域约40亿的视觉谈话模子。遴荐这个相对"小"的模子，是因为他们想测试纯数据质地和种种性的后果，而不是单纯靠模子畛域取胜。

磨砺出来的模子被定名为Phi-Ground-Any-4B，在CUActSpot评测基准上取得了44.4%的总体得分，高出了总共参数目低于320亿的开源模子。对比一下其他模子的推崇：领有70亿参数的UI-TARS-1.5-7B得了28.5%，领有320亿参数的EvoCUA-32B一样得了28.5%，参数目稀奇的OpenCUA-7B得了39.8%，而同为320亿参数的OpenCUA-32B得了52.5%。谈判到Phi-Ground-Any-4B惟一40亿参数，这个得益稀奇出色。

虽然，若是只看另外两个主流评测基准——ScreenSpot-Pro和UI-Vision，Phi-Ground-Any-4B的推崇就相对庸俗了，分别只得了26.3%和15.8%，远低于一些竞争敌手。这个反差引出了一个值得深想的问题。

**评测基准的"学问壁垒"之争**

筹商团队在论文中专门花了稀奇篇幅斟酌这个反差背后的深层原因，这亦然整篇论文最挑升想的不雅察之一。

ScreenSpot-Pro和UI-Vision这两个现时最流行的评测基准，齐隐秘了庞杂真实桌面软件，包括Photoshop、AutoCAD、种种专科哄骗等。这些基准的一个困难特色是：好多任务自己就需要软件专科学问才能完成。以论文中举的例子为例："点击Photoshop中的减淡器具图标"——若是你从来没用过Photoshop，压根不知谈减淡器具长什么样，即便图标就在咫尺也很难认出来。这对东谈主类用户亦然一样的。

这种想象有其合理之处：真实的AI助手确乎需要闇练各式软件。但问题在于，滚球软件(中国)app这么的评测驱逐，很难分通晓一个模子得分高，究竟是因为它的"定位智力"强，还只是是因为它恰恰在磨砺数据里见过这款软件的界面截图。一个专门用ScreenSpot-Pro干总共据磨砺的模子，会在这个基准上得高分，但这不代表它确切学会了怎样准细目位屏幕上的恣意方针。

筹商团队用了一个平直的实验来考证这少许。他们把Phi-Ground-Any-4B在Phi-Ground名堂的哄骗数据（通过必应搜索集结的常见软件截图，可能与两个基准有叠加）上进一步微调，驱逐在ScreenSpot-Pro上的得分从26.3%跳升到41.5%，在UI-Vision上从15.8%跳升到29.7%，双双大幅提高。但与此同期，在CUActSpot上的得分却从44.4%下跌到了36.5%。磨砺特定软件的数据，确乎能让模子在依赖软件学问的基准上推崇更好，但这种提高并不代表通用定位智力的确切跳动。

为了进一步考证评测基准的灵验性，筹商团队还作念了一个很有劝服力的实验。他们用GPT-o3合股充任"规划者"（决定下一步该作念什么），然后让不同的模子充任"实践者"（把规划出动为具体坐标），在OSWorld这个端到端的真实任务基准上测试。遣发放现，有几个模子在ScreenSpot-Pro上的得分比GPT-o3高出近30个百分点，但在OSWorld上的得分却并不比GPT-o3高若干。而Phi-Ground-Any-4B在ScreenSpot-Pro上惟一26.3%，在OSWorld上却能达到42.4%，接近GPT-o3我方实践时的44.1%。这阐述CUActSpot的排行驱逐，与真实任务完成智力的干系性更高。

**种种性的魔法：为什么"博物洽闻"比"长远专精"更困难**

论文中另一个困难发现，来自对磨砺数据组成的系统性消融实验。

筹商团队从零运转，每次只加多一种模态的磨砺数据，不雅察模子在各项测试上的推崇变化。这个实验揭示了一个反直观但又很有劝服力的规定：单独扩大某一种数据的畛域，带来的收益赶快递减；但每次引入一种新模态的数据，不仅该模态的测试分数大幅提高，其他模态的分数也会随着涨。

具体来看，从零到200万条界面元素数据，总体得分从0跳到14.8%。加入100万条规本数据后，总体得分升到21.5%，而且不单是文簿子项提高，界面元素子项也从31.6%升到了34.2%。加入100万条表格数据后，表格子项从21.9%大幅升到了40.6%，同期画布和图像子项也有小幅提高。加入画布和当然图像数据后，各子项连接稳步提高。

比较之下，若是只是把某一种数据从200万条加多到500万条，带来的提高远远莫得引入新模态来得权臣，以至会遭遇平台期。

筹商团队把这个征象定名为"种种性缩放"，并建议了一个解释：要想同期处理好文本遴荐、表格操作、画布拖拽、图像区域定位这些看似不同的任务，模子必须学习一些底层的、跨任务通用的智力——比如理解"方针在那处"、"这个方针的畛域是什么"、"从这里拖到那处才合理"。这些通用智力惟一在见过饱胀种种化的任务之后才能确切变成，单纯在一类任务上堆数据，反而会让模子过度专精于某种特定的模式识别。

这个发现，在某种进度上呼应了大型谈话模子的一个经典不雅察：谈话模子在谈话任务上展现出的"披露智力"，常常来自于磨砺数据在话题、作风、谈话方面的极高种种性，而不单是是数据量。

**跨任务泛化：学会了1加2，也学会了2加1**

除了种种性缩放，筹商团队还发现了一个道理的"举一反三"征象。他们统计了Phi-Ground-Any-4B在CUActSpot上能得胜完成的细分任务类型数目：CUActSpot包含33种细分任务，磨砺数据只隐秘了其中20种，但模子试验上能得胜完成其中27种。

也即是说，有7种磨砺数据里十足莫得的细分任务，模子通过"组合"已有学问，我方摸索出了完成递次。论文中给出的解释是：模子分别学会了"操作翰墨内容"和"操作图像区域"这两种智力，然后在面临"操作图像里的翰墨"（比如选中PPT幻灯片图片里的翰墨）这种新任务时，八成把两种智力和会起来，在莫得专门磨砺数据的情况下完成任务。

这种跨任务的泛化智力，让筹商者对异日充满期待：随着磨砺数据的模态和任务类型连接延伸，AI助手在莫得见过的新式操作上的推崇，很可能也会随着提高，而不是恒久只会作念磨砺时见过的那几件事。

**说到底，这项筹商在作念什么**

归根结底，这篇论文作念了三件相互关联的事。

第一，它指出了一个被经久漠视的问题：现存的AI操控智力评测，基本上只测"点击"，十足忽略了拖拽、绘制这类在试验责任中极为常见的操作。评测基准的想象偏差，导致总共这个词领域的筹商主义也随着偏了。

第二，它提供了一套器具：CUActSpot评测基准，让筹商者能更准确地测量模子在复杂操作上的真实智力；以及一套数据合成活水线，让这类稀缺的复杂操作磨砺数据八成以大畛域的方式自动生成。

第三，它给出了一个主义性的论断：关于电脑操控AI来说，磨砺数据的种种性可能比数据畛域更困难。想要磨砺出能确切匡助用户完成日常责任的AI助手，与其在归拢类操作上堆积海量数据，不如系统地延伸它所见过的操作类型。

虽然，这项筹商也有它坦承的局限。CUActSpot惟一206个样本，是一个会诊性的微型基准，并不成隐秘真实责任流中的总共复杂情况，尤其是需要连气儿多步操作的长序列任务。合成数据与真实软件截图之间的分散互异，亦然一个尚未十足处理的问题——从实验驱逐就能看出，在合成数据上磨砺好的模子，还需要异常的真实数据微调才能在软件学问密集的基准上推崇出色。

不外，从另一个角度来看，能在40亿参数畛域上通过纯合成数据达到这么的性能，自己也曾阐述了这条道路的可行性。随着合成数据质地和种种性的连接提高，以及模子架构的进一步优化，一个确切能帮你在Photoshop里描详尽、在Excel里拖公式的AI助手，可能不再是远方的异日。

有兴致长远了解的读者，不错通过arXiv编号2605.12501查阅完好论文，筹商团队也在GitHub（microsoft/Phi-Ground）上开放了基准数据、磨砺数据、代码和模子权重，不错平直下载使用。

---

Q&A

Q1：CUActSpot评测基准和ScreenSpot-Pro这类主流评测基准有什么本质区别？

A：ScreenSpot-Pro等主流基准基本上只测试点击操作，方针以范例界面元素为主，而且好多题目需要软件专科学问才能作答，导致分数很难区别"定位智力"和"软件挂牵"。CUActSpot则专门延伸了拖拽和绘制等复合动作，隐秘文本、表格、画布、当然图像五种操作对象，并刻意减少了对软件专科学问的依赖，让评测驱逐更能反应模子的通用定位智力。实考讲明，CUActSpot的排行与真实任务完成率的干系性更高。

Q2：Phi-Ground-Any-4B的磨砺数据是怎样生成的，为什么抵挡直用真实截图？

A：筹商团队接受了代码渲染的方式生成截图，因为渲染历程中每个元素的坐标自然即是已知的，十足不需要东谈主工标注。五种模态分别用网页渲染、字体渲染、HTML表格渲染、范例化画布模拟器和SAM分割数据集杀青。比较从真实软件截图里极重标注，这种方式能以极低资本生成数千万条带有精确坐标的磨砺样本，何况通过让o3模子进行数学推算来自动生成复杂操作教导。

Q3："种种性缩放"这个发现对AI磨砺有什么试验好奇？

A：这个发现阐述，关于电脑操控AI来说，与其在归拢类操作（比如只点击界面按钮）上堆积庞杂数据，不如系统地引入更多种类的操作类型。实验骄横，每引入一种新模态数据滚球app中国手机版入口，不仅该模态的性能大幅提高，其他模态也会随着受益。这与堆同类数据很快遭遇收益递减变成较着对比。实践层面的好奇是：构建通用操控AI助手时，应该优先追求操作类型的广度，而不单是是某一类操作的数据量。