自学内容网 自学内容网

o1-preview 在 IMO 2024 第一题的实测表现

相关博客:Learning to Reason with LLMs 以及 Introducing OpenAI o1-preview

测试了 IMO 2024 的第一题,OpenAI-o1-preview 的解题过程包括两部分:思考和推理。

20240914151453

正确答案是全体偶数,o1-preview 的 **思考方向正确,推理结果也正确。但证明错误,仅证明了“显然成立”的一侧,而“仅偶数成立”的这侧,重复试了几次都没证对。**即使指出关键步骤,仍然无法纠正得出正确证明。

这是道送分题,大部分选手都拿了满分:

20240914151550

o1-preview 具体的回答:

20240914151659

o1-mini 的回答和 preview 类似,在关键步骤胡说八道,试图蒙混过关:
20240914151715

此外,测了几次 DeepSeek 和 GPT-4o,都得到了 α 取全体整数的错误回答。

虽然 o1 最终答案对了,但证明不完整。实际上,大部分中学生都能猜出答案,难点在证明。现阶段,幻觉问题仍然是阻碍模型落地的关键难点。相比之下,今年的 IMO 竞赛 AlphaProof 成功解决了第 1、2、6 题的证明,这一点更加出色。不过,AlphaProof 需要先给答案,再推导证明,或许二者可以结合一下。


原文地址:https://blog.csdn.net/qq_39517117/article/details/142728105

免责声明:本站文章内容转载自网络资源,如本站内容侵犯了原著者的合法权益,可联系本站删除。更多内容请关注自学内容网(zxcms.com)!