【AI+教育】一些记录@2024.11.16
《万字长文，探讨关于ChatGPT的五个最核心问题》
https://mp.weixin.qq.com/s/8U_mUn_dRDrB99OppK7oNA在ChatGPT纪元中，提问题的能力和判断力也许是人类最重要的两个能力。
五个问题？
- 是什么：ChatGPT是范式突破，还是过往AI的延伸？
- 会怎样：ChatGPT两年内会达到什么水准？
- 行业格局：ChatGPT以及GPT有壁垒吗？
- 如何参与：我们未来应该如何使用ChatGPT？
- 人文：人类和ChatGPT的本质区别是什么？对人类社会的冲击？
GPT3之后，很多能力是“涌现”的。即不是线性发展，可预测的，而是突然就有了。
“过往的fine-tuning”需要更改模型参数，也就是说，换了个新模型。但是in-context learning，模型并没有变化，却能在新数据上表现更好。……再重新强调一遍，模型没有变化，没有被重新训练，但是能“理解”新数据，并且表现更好！
过往AI应用的拓展主要是来自几点：
- 高质量的数据，模型的发展，算力的提升，让模型越来越准、快、和发现更多更深的“对应关系”，能进行更好的优化
- 更好地把商业问题转化为优化问题
- 和其他能力的深度结合
但是这些都是基于“鹦鹉学舌”这一范式的。
朱松纯教授：城市中的乌鸦通过观察，自主串通了：
- 汽车能压碎坚果
- 红绿灯能控制汽车
- 车能撞死我
这三件事情，从而利用红绿灯和汽车，来帮自己达到“安全打开坚果”这一任务结果。
如果类比成机器学习模型，过往“鹦鹉学舌”范式的解法，是要求所有乌鸦可以共享一个大脑，它们有很清晰的优化目标，即“保住性命的前提下打开坚果”。它们的方式是，随机尝试所有事件的组合，并向着最优解的方向不断演化。
过往互联网的两次能力跃进一次来自于搜索，一次来自于推荐，现在ChatGPT带来了“理解”，也非常有结构感。
ChatGPT是一个“开窍”之后拥有“理解”能力的人。理解能力带来了举一反三的能力，逻辑推演的能力，“知错”就改的能力。
计算机发展以来，一直在三方面进行发展。
- 算力和存储能力的进步：以摩尔定律为代表。在云之后，更让个人可以调用的算力几乎无上限。
- 对数据的生产、总结，和使用：比如App上记录了很多用户行为，才能做更好的推荐。
- “调用算力与数据手段”的抽象与进化：从机器语言、汇编语言、高级语言，到虚拟机（对硬件的抽象）、云服务（对API的抽象）。
国产机器学习依赖了十几年的“开源模型国产实现”路径，在ChatGPT上是不要指望的。
“增加模型参数”这件事需要工程能力，更难的是“让大模型有效地学习到大数据中的知识”，以及如何调教模型产出人类需要的输出。
在务实的商业环境下，如果不能“一步一印”地为业务提供正反馈，整个模型的发展就很受限。
其实绝大多数人是不习惯于清晰表达自己脑海中想法的。所以虽然ChatGPT已经把“调用计算力的手段”无限趋近于最合理的手段（用自然语言要求结果），但是我们已经发现，“提出信息完整的prompt”，对现在的人来说，是一个高要求。
原文地址：https://blog.csdn.net/t11383/article/details/143864547
免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！