
20余位顶尖AI研究者联名警告:自动化AI研究或带来极端风险
包括Hinton、Bengio和OpenAI研究负责人Jakub Pachocki在内的20多位AI研究者警告,自我改进的AI可能引发“智能爆炸”,将多年进展压缩到数月,自动化AI研究本身正成为极端风险源。
重要论文与方法

包括Hinton、Bengio和OpenAI研究负责人Jakub Pachocki在内的20多位AI研究者警告,自我改进的AI可能引发“智能爆炸”,将多年进展压缩到数月,自动化AI研究本身正成为极端风险源。

OpenAI 发布前沿 AI 训练安全案例的早期指南,覆盖技术防护、运营实践与失准事件调查三条主线,试图为高风险训练建立可追溯、可审查的安全论证结构。

Redwood Research首席科学家Ryan Greenblatt将AI接管风险估在50%至60%,并指出Anthropic与OpenAI的竞赛动力学才是安全承诺难以兑现的根源。

WIRED 指出,数学长期被视为与绘画、诗歌并列的创造性活动,而 AI 的暴力求解正在改变这门学科的气质,数学家开始思考如何保住数学的“艺术性”。

一篇讨论元认知在 AI 中作用的文章引发关注:让模型学会判断何时该快速作答、何时该停下来深思,可能是提升可靠性的关键方向。

一项覆盖3000多名参与者的研究发现,仅仅提供AI答案的访问权限,就让人们说“我不知道”的意愿从44%骤降到3%,即便AI几乎总是错的。用AI的人更自信,正确率却只有不用AI者的约三分之一。

Hacker News 上一条简短帖文引发讨论:AI 系统没有意图,也没有动机。这一判断看似常识,却直接指向当前大模型叙事中最容易被模糊的边界。

MIT 科技评论的 The Download 栏目提出一个值得警惕的判断:当下围绕 AI 的突破叙事与末日恐惧,可能都被过度放大。对从业者而言,分辨真实进展与营销噪音正成为一项核心能力。

OpenAI 宣布成立独立数学家小组,为 AI 公司与数学研究界的互动提供建议。此前一系列“惊艳数学成果”引发争议,这次咨询被视为一次声誉修补。

一篇在 Hacker News 引发讨论的文章提出反直觉观点:当前以“AI 安全”为名的监管与自我审查,可能正在削弱模型的实际安全性,而非增强它。

研究者训练了一个大语言模型,专门用于填补古希腊莎草纸残片中的缺失文字,目标是让那些被虫蛀、风化、断裂的古代记录重新变得可读。

一篇引发讨论的观点文章将AI与有魅力的宗教领袖类比,指出人们对大模型的信任方式更接近信仰而非工具使用,这背后是技术黑箱、叙事包装与人类认知偏好的共同作用。