OpenAI研究科学家、德扑之父Noam Brown第一时间转发了新研究，并称我们通过o1开发了一种scale测试时计算的新方法，但它并不是唯一的方法，也可能不是最好的方法。很兴奋可以看到学术研究人员朝着这个方向，探索出新的方法。

哈佛、斯坦福、MIT等团队的一项研究表明：训练的token越多，需要的精度就越高。例如，Llama-3在不同数据量下（圆形8B、三角形70B、星星405B），随着数据集大小的增加，计算最优的精度也会增加。

然后该研究将注意力转向低精度训练，主要研究量化感知训练（仅权重）和低精度训练。该研究将模型分解为权重、激活和 KV 缓存，找到其中任何一个量化到任意精度时损失的 Scaling ...

这篇文章透露，OpenAI 下一代旗舰模型的质量提升幅度不及前两款旗舰模型之间的质量提升，因为高质量文本和其他数据的供应量正在减少，原本的 Scaling Law（用更多的数据训练更大的模型）可能无以为继。 昨天，The Information ...

Brockman在推特上宣布，自己人生中最长的假期结束了，现在要回来继续建设OpenAI。 OpenAI联创&总裁Greg Brockman，回来了！ 刚刚，他在推特上宣布，自己人生中最长的假期结束了，现在要回来继续建设OpenAI。