就在今天,整个硅谷都被Jev 刷屏了!
发布仅三天,它就被Vercel、Cloudflare和LangChain等主流平台迅速集成,有人说,我们即将迎来自动化智能的大爆发!
而这场狂欢的主角,竟然是一个不会说话的大模型。
9月16日,ChatGPT核心发明人之一、InstructGPT论文第四作者Diogo Almeida连发长推,直接向行业开炮,当年那条路,咱们走偏了!
他端出的解法,便是Jev。
它不写文章也不陪聊,你扔一堆乱七八糟的数据进去,它只用70毫秒就甩回一个带概率的判断,输出token永久免费。
然后,整个事态就彻底失控了。
不到36小时,就有多达14万名开发者如饿狼般涌入内测。
现在,Jev的用例已经冒出来几百个。
有人给Mac糊了个语音助手,打开备忘录,新建一条……话还没落音,App已经秒开。
还有人拿它审PR,一次7万分之一美元,1000个PR才花7美分,同样的活交给Opus 5得烧掉14.5美元。
就连老大哥谷歌都坐不住了。
Gemma官方账号火速发了条DiffusionGemma as Jev,直接把自家的扩散模型塞进这个新范式,一步去噪、一次性并行给出所有选项的概率,甚至还顺手把视觉能力也给补上了。
狂欢之下,压着的是一个最致命的老问题,智能到底是什么?
七十多年前图灵定下考题,机器能不能思考,看它能不能在对话里骗过人。整个行业从此朝着把话说漂亮狂奔,而ChatGPT几乎把这条路走到了极限。
或许,这是AI史上最大的一次胜利,但也是最大的一次跑偏。
我们花了七十年、烧了千亿美元,终于教会机器把话说得比人漂亮,然后发现自己造出来的东西,依然什么都不敢让它自己决定。
背后的原因在于,我们荒谬地把嘴当成了脑子。
地球上的智能演化了几亿年,绝大多数生死攸关的决策,在被说出来之前就已经做完了。至于语言,不过是最后几十万年才长出来的一层薄皮。
在Almeida眼里,ChatGPT和Claude Code没有任何代差,同属一个旧时代。
而Jev,就是他砸向新时代的第一份答卷,把嘴缝上,只留判断。
聊天超人三年了
说好的真自动化在哪?
故事的主角,名叫Diogo Almeida。
他是OpenAI早期最核心的研发人员之一,是RLHF和InstructGPT的核心奠基人。
但在ChatGPT爆火之后,Diogo却陷入了深深的怀疑。
他写道:
在共同发明了ChatGPT之后,我一直在问自己:为什么超人类的聊天模型没有带来AGI?
这么聪明的AI,到今天还得靠人类盯着才能干活。根本做不到真正的自动化,也就是让软件中无人值守时自己决策。
他发现了一个致命问题:RLHF让模型学会了取悦人类,却也让它们在系统自动化场景里变得极其不可靠。
当年让ChatGPT一夜封神的RLHF,教给模型的是怎么回答能讨好人类。
而这套机制从第一天起,就是为辅助而生的。模型干的每件事,最后都得有个人看一眼。
你现在指望它去跑无人值守的硬核业务?对不起,它从一开始就没受过这种训练。
更致命的,是他这两年才想明白的一件事:你优化什么,就会得到什么。而字符串,恰恰是世界上最难优化的东西。
为了让长文本不跑偏,训练时就得把模型调得过度自信,逼它主动丢掉那些低概率的选项,把输出按在主干道上。
这样做的代价就是,当大模型信誓旦旦跟你说这事我有八成把握时,这八成全是水分,你根本不敢信。
换句话说,在文字输出上追求绝对的可靠性,是在逆着生成式AI的底层原理干活。
Diogo意识到,让AI拥有好口才,反而成了AI融入万物代码的最大绊脚石。
既然文字这么难管,那干脆就别让它说话了。
于是,他果断从OpenAI辞职,创办了TypeSafe AI,从底层训练架构开始推倒重来。
现在,他带着他的答案——Jev模型,杀回来了。
System One:一个哑巴AI的降维打击
Diogo Almeida给Jev起了个新名字,叫System One模型。
出处是诺奖得主卡尼曼的《思考,快与慢》。系统一,就是那种不用过脑子、凭直觉瞬间给出的本能判断。
Jev用法非常简单。
你输入一段极其混乱的状态(比如一封炸毛的客诉邮件,或者程序卡壳时的代码),它会输出一个类型化的决策,并附带精确概率。
在此期间,它不会生成任何一个字。
官方文档也只给了三种交互姿势:
1. Choice,从给定选项里挑一个;
2. Score,给个具体分数;
3. Noul,甩出一个0到1之间的概率值。
每个答案都带着所有选项的概率分布,外加一个整体置信度。
直接的结果就是,零幻觉。
因为模型的工作只是给划定好的几个选项分配概率。选项之外的东西,它想编也编不出来,程序拿到手的永远是一个合法的值。
至于快,也是同样的逻辑。
大模型是一个token一个token往外挤,Jev把所有输出并行采样,一次性全给完。
做一次判断,Jev端到端只要70到500毫秒,同样的活交给前沿大模型,要3到329秒。
输出token免费的底气也源于此。
既然没有逐字生成的过程,那就没有值得计费的输出。对此,博客原话非常嚣张:便宜到根本不值得计费。
TypeSafe只对输入收费,每百万token仅收0.042美元。对比一下,Astra和Fable 5.1的输出定价是每百万token 50美元。
支撑这一切的,是一种叫RLCD(校准决策强化学习)的新训练法。
RLHF奖励的是人类看了很爽;RLCD奖励的则是你给的概率,得和你的实际命中率咬合。模型说0.9,那就必须有九成的时候是正确的。
官方没细说技术原理,但给出了一条结论:置信度越高,准确率越高。
在用法上,Jev把可组合性玩到了极致。一个复杂的决策,可以直接拆碎了并行去问。
比如审一份商业计划书,把市场规模、技术可行性、差异化全拆开,分别拿一个精准概率,软件最后再做拼图。
Almeida的原话是,零样本+通用=可编程。任何一个判断都能用几行代码描述清楚,根本不需要微调。
这和他当年做InstructGPT时下的赌注一模一样,只要底座足够通用,颠覆性的用例会自己长出来。
TypeSafe放出了两个很有说服力的演示。一个是让Jev实时打《毁灭战士》,每秒做10次决策,一小时算力成本仅需7美元左右。
另一个是维基百科的超链寻路,从几千个链接里精准锁定目标,单次候选上限高达255个。
落到业务代码,画面是这样的。
扔一段客诉给Jev问客户是不是在暴怒,它可能回0.9,也可能回0.1。
如果你的软件拿到的是0.9,那么它就会直接拉响红色警报;如果拿到0.1,可能就会扔进低优工单。整个过程,不需要任何人去读那封邮件。
博客直言,Jev和现有大模型的关系不是替代,而是双核搭档。
大模型在前面负责吭哧吭哧干活,Jev在旁边花几十毫秒,用概率给这活儿打个分,看合不合格。能过就放行,不能过直接打回重写。
但这一切的代价是,Jev在面对需要一步步推导的数学推理时,顶多只有GPT-4的水平;并且,目前也不支持图像输入。
在一个绝大多数人还在围绕文字生成找用例的时代,主动放弃文字输出,无疑是一场巨大的冒险。
Jevons悖论:AI经济的核裂变
Jev这个名字,取自经济学中的杰文斯悖论:蒸汽机效率越高,烧掉的煤反而越多。
Almeida把模型命名为Jev,野心昭然若揭。
他在押注一个未来:当AI决策的成本趋近于零,速度快到令人发指时,开发者对AI决策的需求不会减少,而是会像大爆炸一样席卷所有代码!
过去,大模型太贵太慢,我们只在最核心的地方使用AI。
但现在,如果每一次智能判断只需要0.04美分,只需要几十毫秒,那么,你的代码里,将长出成千上万个微小的、敏捷的神经网络突触。
据我所知,这是通往基于AI的经济革命的最短路径。
—— Diogo Almeida
这也是他给AGI为什么还没来的答案。
我们一直陷入这样的误区,以为AGI就是一个爱因斯坦式的超级大脑,越聪明越好,越会说越好。
而Almeida的解法是反过来的,先让机器闭嘴,先让它可靠,再让它便宜到可以随手用。
当百亿个极速、廉价、可靠的「智能细胞」嵌进全球软件的基础设施,一张超越人类想象的自动化网络,就已经形成了。
如果他赌对了,若干年后回头看,从ChatGPT开始的这三年,会被写成一段奇怪的弯路。
而拐弯的地方,就是今天。
参考资料:
https://x.com/testingcatalog/status/2099968075861008781