昨天,与两位老友视频聊天,以我之耳吸收到了一些知识、认知与思考,记录如下。
话题包括:
- 基于LLM的AI的上限讨论:
- 核心观点:AI在某个领域任务集合上的能与不能,取决于这个领域任务集中各任务是否被很好的digitalized?哪些需要被digitalize呢?
- 任务/问题描述
- 任务完成好坏的评判标准
- 其他?
- 对于LLM而言,任何任务的求解过程,本质是一个在解空间的搜索过程?
- 什么样的解空间?对于LLM的先验而言就足够了?
- 解空间的定义如何搜索?该顶一下,解如何搜索?
- 如何判断RL能在base model上取得任务 $\mathcal{T}$ 的显著效果?除了pass@k之外?
- MiniMax的MaxProof论文讨论,核心思路是time-time scaling through verifier-based solution refinement and pool-based solution evolution
- AlphaEvolve
(08/23)仍在回忆、整理中…