昨天,与两位老友视频聊天,以我之耳吸收到了一些知识、认知与思考,记录如下。

话题包括:

  1. 基于LLM的AI的上限讨论:
    1. 核心观点:AI在某个领域任务集合上的能与不能,取决于这个领域任务集中各任务是否被很好的digitalized?哪些需要被digitalize呢?
      1. 任务/问题描述
      2. 任务完成好坏的评判标准
      3. 其他?
    2. 对于LLM而言,任何任务的求解过程,本质是一个在解空间的搜索过程?
      1. 什么样的解空间?对于LLM的先验而言就足够了?
      2. 解空间的定义如何搜索?该顶一下,解如何搜索?
    3. 如何判断RL能在base model上取得任务 $\mathcal{T}$ 的显著效果?除了pass@k之外?
  2. MiniMax的MaxProof论文讨论,核心思路是time-time scaling through verifier-based solution refinement and pool-based solution evolution
    1. AlphaEvolve

(08/23)仍在回忆、整理中…