11月21日消息,Contra Labs 在当地时间11月18日推出AI设计能力评测榜单Frontier Design Benchmark。榜单中,一个代号为Gestalt、仍处于隐身开发状态(Stealth)的匿名模型受到关注。
在专业设计师参与的盲测里,Gestalt以明显优势排在首位,成绩超过Anthropic的Claude Fable 5.2和OpenAI的GPT-6.1 Sol。在设计师偏好评分环节,它的表现也高于人类设计师参考作品。
从官方结果看,Gestalt的Elo评分为1931分,胜率90%,位列第一。人类设计师参考作品Human golden以1739分排在第二,胜率为74%;Claude Fable 5.2以1713分排名第三;GPT-6.1 Sol以1668分排名第五。
该评测由Contra Labs与BenchFlow合作推出,重点考察真实商业设计任务,而非只做简单的提示词生成测试。33项评测任务中,27项改编自Contra平台真实设计委托,另外6项来自创业公司合作项目。35名专业设计师参与了5轮盲测,累计收到4311张投票。
评测采用三项指标:专业设计师双盲偏好投票、设计质量评价体系Design Critique Rubric,以及AI痕迹检测器Slop Detector。Elo评分来自设计师对不同作品的两两比较,涉及色彩、字体、布局、可用性和对任务要求的遵循程度。
在Gestalt与人类设计师参考作品的直接比较中,28次对比有20次选择了Gestalt。不过,这并不表示Gestalt在所有设计质量指标上都超过人类作品。
设计质量评价体系里,Gestalt得分为83分,Claude Fable 5.2和Claude Opus 5.5均为84分,人类设计师参考作品为74分。Contra Labs表示,设计师的审美偏好和具体执行质量并不完全一致,人类参考作品虽有部分执行问题可被指出,但在盲测中仍拿到较多偏好票。
AI痕迹检测方面,Gestalt生成结果的AI痕迹评分接近人类参考作品。该检测器通过分类模型判断设计作品带有多少AI生成典型特征,分数越低,意味着越不像AI生成。
截至当前,Contra Labs未公开Gestalt的开发团队、模型架构和具体身份,仅将其标记为Stealth。该模型的实际来源及背后团队仍待确认。

