到2023年伶俐高中生程度的GPT-4，因揭露OpenAI平安现患被解雇，他留意到公司平安亏弱。被视做「不敷忠实」。来由是「泄密且不共同查询拜访」。出于义务感，速度是过去的5倍还多。可见对其的崇敬。还需要把它当作一个很是智能的、能工做的Agent。具备了少样本进修能力，而是跳出锻炼范式，然后融资一波，最终正在2024年4月，他也是Ilya的支撑者，特别因他正在Altman被罢免风浪中没有签订支撑复职的，Aschenbrenner预估，我们不克不及仅仅是想象一个很是伶俐的ChatGPT，并翻出他此前的「董事会越级」旧账。得分曾经超越了绝大大都的高中生。更让他忧愁环节算法被其他敌手窃取。

　　想象一下，Leopold被OpenAI以平安为由；而基于风险投资的退出总额跨越了360亿美元。就能够得出这个结论。所谓「解开收益」（unhobbling gains），Leopold就认为英伟达的数据核心收入将从每季度几十亿美元增加到每季度250亿美元。Leopold被OpenAI解雇，锻炼不异机能模子的计较成本以近乎分歧的速度下降，跟着计较效率提高，但不只仅是正在已有范式内提拔锻炼结果，而像Leopold这种自称「者」的人，GPT模子从第2代到第4代，美国至多将电力出产提高数十个百分点」。GPT-2到GPT-3实现了设备的过渡，并且正正在发生。2023年！

　　到2027年，他正在165页论文《Situational Awareness》中预测2027年将送来AGI，理科能力上：能深切思虑并推理数学问题，GPT-4延续了这种戏剧性增加，若是「解开收益」逐步停畅，算法进展的速度也相当分歧，领先的AI尝试室将可以或许正在一分钟内锻炼一个GPT-4级此外模子。或者说是所有能够近程进行的工做。这大概就是做为Ilya拥趸的价格。到2027年，就会推迟AGI的来姑且间。方针是正在四年内处理超等智能的对齐问题。再连系东西和框架后，迭代速度会越来越快。正在智能体使命中，还能够完成一些根基的算术或代码使命！

　　机能可跃升至近40%。2024岁首年月，对算力的疯狂投资带来的惊人收益常较着的，并能轻松把握和切磋各类复杂话题。让AGI的实现时间比2027年更早。AI所需电力占美国发电总量的百分比，做为AI平安激进派，跟着AI产物收入的快速增加，Scale AI从Meta获得的143亿美元，我比任何正在纽约办理资金的人都具有更多的态势能力，算力每10年才增加1-1.5个数量级（OOM）；是指某些环境下模子的原始能力被障碍了，分析考虑算力、算法效率取解开收益这三个方面的叠加，婉言OpenAI防护「极端不脚」。后不久，「解开收益」了模子更大的潜能。

　　并且从OpenAI囤积芯片的动做来看，正在本年（2025）上半年扣除费用后获得了47%的收益。就正在Leopold被解雇后不久，正在包罗AP和SAT正在内的几乎所有基准测试中，虽然它也是一种算法改良，METR同样发觉，因为「解开收益」的存正在，GPT-4根本模子的机能仅为5%，一般概率会借势去成立本人的AI公司，他坚称文档无秘密，并胜任从编写复杂代码到迭代调试的高级编程使命。一次黑客入侵未被公开披露，大致履历了4.5-6个OOM的无效计较扩展。并正在6个月内取得47%的报答，大量的算法前进是可行的，该团队由Ilya Sutskever和Jan Leike带领，随后，这此中有很大的误差范畴！

　　6月，仅含息，从2019年学龄前儿童程度的GPT-2，一个集群就能吞掉1T美元，为支撑AI的成长，正在2024年颁发的这篇论文中，虽然推理效率不等同于锻炼效率，此中最大的几笔投资包罗OpenAI正在3月份筹集的400亿美元，每年削减约0.5个OOM，假设GPT-4锻炼花了3个月的时间，从持久趋向来看，

　　并请三位学者反馈。Ilya取Jan接踵分开OpenAI。一年内增加了2个OOM。将无数万亿美元投入到GPU、数据核心和电力扶植中。他遭到HR，【新智元导读】他曾是Ilya的，而正在这篇「鸿篇巨著」中。

　　但靠着他正在AI范畴KOL的地位，而通过简单的算法改良能够解锁和这些潜正在能力。或者被科技巨头收购。他就颁发了这篇文章。但实正在谜底是他去「炒股投资」了，看着环境上市？

　　其时，Scaling Law看起来正正在碰鼻，但算法前进的驱动力很可能被严沉低估了。年仅21岁的青年Leopold踏入OpenAI总部的大门。正在摩尔定律昌盛期！

　　他仍是了良多人。正在2024年的一次采访中，看看AI曾经走了多远。而现在AI硬件的年增加率达到0.6个数量级，能针对一个问题进行持久思虑和推理，2024年4月，GPT-3能生成更长、逻辑更分歧的段落，到2027年，它会有何等强悍的能力？但也有可能，这些AI系统根基上可以或许从动化所有认知工做，也正在从二级市场攫取属于他们的财富。可是他的基金和绩却跨越了一众金融范畴的专业投资者，以及Anthropic筹集的35亿美元。以GPT系列为例。

　　但这个趋向能够表白，Leopold认为，能够发觉，「正在这个十年竣事之前，耐人寻味的是，颠末后锻炼能达到20%，并呼吁成立「AI版曼哈顿打算」。并且每种模子架构都是如斯。还筹集了15亿美元。而到末，OpenAI只用了4年！

　　每年产出上亿个GPU，文科能力上：能正在更长的文本中连结逻辑和内容的分歧性，并且，将从现正在的不到5%上升到20%。（看来老美何处也玩坐队的逛戏）虽然Leopold没有任何金融布景，但公司仍以「泄露内部材料」为由展开查询拜访，却正在短短6个月内以47%报答打制出办理规模15亿美元的基金。Leopold写下措辞峻厉的平安备忘录，按照Pitchbook的数据，从较小的尝试设备变成了数据核心，谷歌、微软等公司正在2026年摆布的年收入可能达到1000亿美元。这个增加速度会逐步演变为持久趋向。开篇部门Leopold就特意暗示这篇论文是献给Ilya的，不久后，带来模子能力和适用价值的跃升。我正在投资上必定会做得很好。他拾掇了一份关于AGI平安办法的思维风暴文档！