当用户向人工智能助手请求一个饮食记录工具时，传统交互模式下可能只会收到一段文字建议，而如今的技术演进已使AI能够直接生成具备交互功能的完整应用。这种从文本输出到可操作应用的转变，标志着人机交互进入全新阶段。蚂蚁集团灵光App闪应用团队的研究者指出，当前大语言模型在生成真正符合现实逻辑的交互式HTML应用方面仍存在显著短板，为此他们构建了首个系统性评测基准MiniAppBench。
该研究团队开发的MiniAppBench基准测试包含500个精心设计的任务，覆盖科学、游戏、工具、人文、可视化和生活六大领域。这些任务均源自真实场景中超过1000万条交互需求，经过四阶段筛选流程确保每个需求都隐含现实世界原则且需要定制化交互实现。例如科学领域的任务要求模型正确实现物理定律，工具类任务则需处理边界条件和异常输入。
配套的自动化评估系统MiniAppeval采用创新的三维度评测框架，通过LLM驱动的智能代理模拟人类测试员操作。该系统不仅检查应用是否满足用户意图，还会验证静态代码结构和动态交互逻辑，包括多步骤操作后的状态一致性、因果关系正确性及边界条件处理。实验数据显示，这种评估方式与人类专家判断的一致性高达92.4%，显著优于传统截图比对或固定脚本测试方法。
在对全球16个顶尖大模型的测试中，结果显示所有模型的平均通过率仅为17.05%。表现最佳的GPT-5.2模型通过率也未超过45.46%，在涉及复杂物理定律的科学领域和需要鲁棒逻辑处理的工具领域，多数模型通过率跌至个位数。开源模型与闭源模型存在明显差距，最佳开源模型GLM-4.7的通过率仅为18.31%，不足闭源领先模型的一半。
研究团队特别指出，当前模型在将世界知识转化为可执行代码方面存在系统性缺陷。例如在"水蒸发演示"任务中，多数模型生成的粒子运动不符合物理定律；在饮食记录工具任务中，常见错误包括未正确实现"一周七天、每日三餐"的基本约束。这些缺陷暴露出模型在理解隐含需求、处理复杂交互逻辑和工程实现能力方面的不足。
该基准测试的评估方法论具有重要创新价值。通过结构化评测参考指导智能代理进行探索式测试，解决了开放式生成任务缺乏标准答案的难题。消融实验证明，代码审查、动态操作和评测参考三个组件缺一不可，仅依赖单一评估方式会导致精度大幅下降。这种评估框架不仅适用于交互式应用生成，也为其他开放式代码生成场景提供了方法论参考。
研究团队已将MiniAppBench基准测试、评估系统和500个任务数据集完全开源。开发者只需配置OpenAI格式的API密钥，即可在5分钟内完成本地环境搭建并启动评测。配套提供的端到端脚手架包含详细文档和示例代码，支持快速集成到现有模型训练流程中，为推动交互式应用生成技术的发展提供了重要基础设施。
