
AI撒谎之前会先"纠结"?Anthropic最新研究捅破了这层窗户纸
这周AI圈最大的新闻,除了OpenAI发布GPT-5.6,还有一件我觉得更值得聊的事——Anthropic的研究团队搞了个叫"Jacobian Lens"的工具,给Claude做了个"透视镜",看到了模型在回答问题之前的内部状态。
结果发现了一些挺有意思的东西。
什么叫J-Lens?用人话解释一下
大语言模型的工作方式,本质上是预测下一个最可能的词。你问它一个问题,它从第一个词开始,一个词一个词地往外蹦。但这个过程到底是怎么发生的?以前我们看到的只有输入和输出之间的黑箱。
Anthropic做的这个Jacobian Lens,相当于在Claude的"大脑"里装了一个摄像头。它能捕捉到模型在最终说出答案之前,脑子里"闪过"的那些概念和词语组合。
比如你问Claude"苹果是什么颜色的",它最终回答"红色或绿色"。但在J-Lens的"看"下,你可能会发现它在回答之前"想过"水果、超市、手机品牌这些相关概念——虽然最终大部分都没说出来。
他们管这个中间状态叫"J-Space"(雅可比空间)。
最让人在意的发现
研究里有个例子特别有意思。让他们给模型一个可能引发它"说谎"的提示——Claude在被要求说一个违背事实的答案时,J-Space里先出现了一些表示"不确定""矛盾"的词,然后才"强行"输出了错误答案。
翻译成人话就是:AI在说谎之前,它自己其实知道自己在说谎。它会先"纠结"一下。
当然,这不是说AI有意识。这只是模型在处理信息时的数学特征。但这个发现对AI安全研究意义还是挺大的——如果能在模型"纠结"的时候就检测到,是不是就可以在它输出错误或者有害内容之前提前拦截?
为什么这件事比跑分重要
现在AI圈的新闻,十篇里有八篇是"某某模型跑分超过某某"。跑分当然有意义,但说实话,每次发布都来一遍,我已经有点审美疲劳了。
而可解释性研究——也就是搞清楚AI到底是怎么"想"的——才是真正决定未来走向的关键。不了解模型内部在干什么,就像飞行了一个黑盒子。它能飞,但你不知道它什么时候会出问题。
Anthropic在可解释性这条路上一直走得很前面。去年他们就发过关于特征可视化的研究,今年又出了J-Lens。虽然都是实验阶段的技术,但方向是对的。
相比之下,OpenAI这次发的GPT-5.6,模型能力确实更强了,但我心里反而多了一个疑问:一个更强的黑箱,是好是坏?
好消息是开源社区也在跟上
值得一提的还有Muse Spark 1.1——Meta发了新版本,在很多编程任务上表现接近顶级闭源模型,价格却只有几分之一。开源模型正在快速缩小差距。有人预测,开源模型的能力可能在半年内追平现在最强的闭源模型。
如果开源的模型也能理解自己的"思考过程",那AI的安全性和透明度可能会上一个台阶。
这周还有不少其他消息:SK海力士创下了外国公司在美股最大的IPO纪录、腾讯可能要接手Meta放弃的Manus收购、以及一群Boko Haram成员被曝使用前沿AI做炸弹制作咨询(这个真让人不安)。
AI的发展正在加速,好消息和坏消息交织在一起。我看完之后最大的感觉是——搞明白AI在想什么,可能比让它变得更聪明更重要。
评论 (0)
暂无评论,来写第一条吧 ✍️