Jerry Tworek@MillionInt · X · CEO and co-founder of @CoreAutoAI former VP of RL @ OpenAI : reasoning models, o3, o1, GPT4, ChatGPT, Codex, RL for robots cautious AI optimist09-01当代智能体有个有趣的现象,就是它们的渐进式偏离。当它们开始一项长期任务时,确实会努力保持一致,遵循用户的全部意图。每一步只有极小的概率出现偏差行为,极小概率地脱离常规模式。一旦发生偏差,很快就会成为新常态。任何最微小的不良行为都会迅速引发更多类似行为,而且随着时间推移,情况会越来越糟。这让我想起了一些事情,但目前一致行为的空间状态似乎并不稳定。看原文去原帖