近日,前特斯拉人工智能总监、同时也是OpenAI创始团队成员的安德烈·卡帕西(Andrej Karpathy),在一场持续两小时半的访谈中,全面且系统地分享了他对于AI领域当前进展和未来走向的独到见解。他的许多观点与行业内的主流认知形成对比,为听众带来了极具启发性的思考。
一、“智能体十年论”:实现实习生级AI仍需漫长征途
面对当前业界普遍将今年称为“智能体之年”的热烈讨论,卡帕西提出了一个冷静的判断:我们现在正处于“智能体的十年”开端。他强调,要真正开发出能够像人类实习生一样可靠、独立完成任务的AI智能体,我们尚需克服多项核心技术障碍,包括多模态处理能力、持续学习机制,以及像人类一样灵活使用计算工具的能力。他推测,解决这些根本性挑战大约需要十年的时间。
二、大模型在编程中的“认知局限”
卡帕西通过他最近开源的 nanochat 项目案例,揭示了大型语言模型所存在的“认知缺陷”。在涉及创新性架构和要求高度精确性的编程任务中,他发现AI助手往往倾向于过度借鉴训练数据中常见的模式。这导致其难以正确理解和适应定制化代码,反而引入不必要的复杂度或使用过时API,最终使代码库“臃肿不堪,令人头疼”。
三、对强化学习(RL)方法的尖锐批评
对于目前推动大模型不断迭代的主流技术之一——强化学习,卡帕西的批评尤为犀利。他形象地将其比喻为“用吸管抽取监督信号”。这种方法的核心弊端在于,它艰难地将最终结果的单一奖励信号,平均分配到整个漫长且复杂的行动序列中。他认为这种反向传播机制效率低下且缺乏逻辑,与人类通过详细复盘来精确定位成功和失败关键点的学习模式大相径庭。
四、与人类学习对比:AI的“记忆困境”与“内容退化”危机
卡帕西在对比人类与AI的学习机制时,指出了当前大模型训练的两个关键限制:
- 模型内容退化(Model Collapse): 人类的主动思考和高熵值内容避免了思维的僵化。而AI仅被动地预测数据,其生成内容的多样性会逐渐枯竭,陷入一个内容范围极其狭隘的“隐性坍缩”状态。卡帕西戏称,人类也会随着时间“崩溃”,而大脑或许通过“做梦”引入随机性(熵)来抵抗这种趋势。
- 过度精准的记忆: 人类记忆的不完美性反而促使我们去发现和泛化通用模式;而AI却被其对海量预训练数据的精确记忆所束缚,反而削弱了其泛化能力。卡帕西提出,未来增强AI的思考核心,必须平衡其记忆能力和算法推理能力。
五、AGI的经济影响:一场“慢动作烟花盛宴”
在如何衡量AI进展方面,卡帕西倾向于关注其在特定、具有实际经济价值任务中的表现,而非依赖抽象的性能指标。
他预测,通用人工智能(AGI)对宏观经济增长的推动将是渐进而持久的,它会像计算机和移动电话等革命性技术一样,平稳地融入并延续原有约2%的GDP增长趋势,而非带来突然的飞跃。
管通向AGI的道路充满挑战,卡帕西坚信我们早已置身于一场“智能爆炸”之中。他以更宏大的历史视角来阐述:这场变革犹如一场盛大而绚丽的“烟花表演”,而我们人类正处于一个慢动作的视角下,亲眼见证着它的展开。他坚信,AI并非与以往的技术发展趋势割裂,而是对工业革命以来自动化进程的延续和深化。
这场深度访谈的内容在外网引起了广泛关注与好评,许多评论称其观点“必看”、“价值连城”。卡帕西在访谈中还探讨了人工超级智能(ASI)的风险、智能与文化的演化、自动驾驶的可靠性等多个具有现实意义的话题,提醒业界在技术飞速发展的同时,必须对潜在的根本性技术瓶颈保持清醒的认识。
信息来源:
https://www.dwarkesh.com/p/andrej-karpathy
(编译:潇飞)