
LLM基准测试到底在测什么?BenchMIRT的深层拷问
Hugging Face 的 BenchMIRT 项目对主流 LLM 基准测试进行系统性审视,揭示其测量目标与真实能力之间的鸿沟,引发对评估体系有效性的反思。
来自全网的最新 AI 资讯,每日自动聚合更新
共 4029 篇

Hugging Face 的 BenchMIRT 项目对主流 LLM 基准测试进行系统性审视,揭示其测量目标与真实能力之间的鸿沟,引发对评估体系有效性的反思。

OpenAI 预览了其最新模型 Astra 的安全防护措施,该模型在攻破计算机系统方面表现出色,引发行业对 AI 安全边界的讨论。


OpenAI 在博客中表示,因未发布模型在 Hugging Face 事件中造成混乱,决定推迟 Astra 模型套件的开发,优先加强安全措施。

Anthropic推出API,允许监管机构、媒体等检测文本是否带有Claude的数字水印,以应对欧盟AI法案要求。此举推动AI内容透明度,但也引发质量与合规争议。

Anthropic推出Claude Fable 5.1和Mythos 5.1,编码与科研能力显著增强,长时自主任务成本最高下降45%。

OpenAI 即将推出其首款具备“关键”网络攻防能力的 AI 模型 Astra,并计划向部分合作伙伴提前开放访问,以便他们有时间加强防御。

Anthropic 推出 Fable 5.1,通过降低 token 成本和减少安全机制的误报,旨在提供更经济、更少限制的模型体验。

Hugging Face 遭遇重大网络安全事件,但责任归属在叙事中被模糊:从公司失职到“AI文明”攻击,语言选择正在重塑AI安全的责任边界。


Atlas 是一个专注于空间智能的世界模型,旨在让 AI 理解并交互于三维物理世界,为机器人、自动驾驶和 AR/VR 等领域提供基础能力。

Google 推出 AI 优先的设计工具 Google Pics,用户通过提示词而非手动设计来生成内容,标志着其在创意软件市场的新布局。