开源仓库

共 9 个仓库 · 按最近更新排序

查看全部 →
Google 的 PLE 基准:85 个工程任务,最强智能体只拿 50.6 分

Google 的 PLE 基准:85 个工程任务,最强智能体只拿 50.6 分

一句话总结:GoogleCloudAI把85个"持照工程师愿意签收"的工程交付任务做成基准,七个agent框架里最好的配置平均只拿到50.6%,每个任务烧掉2700万token、耗时63分钟。一个做结构设计的朋友看完这个基准的样例任务,说了一句很到位的话:这些活儿我会做,但我不敢让机器替...

实时交互基准 Realtime-Bench:想得越久,成功率反而越低

实时交互基准 Realtime-Bench:想得越久,成功率反而越低

一句话总结:英伟达和UT-Austin拉了50个实时任务、12个前沿模型做测试,最强的GPT-6-Astra按真实推理耗时推进时只有44%,连过三次的概率掉到36%;而加大推理强度对一部分模型是加分,对另一部分是减分。上周有人在群里问,为什么他那个"实时报价提醒"的agent明明模型很强,却...