告别传统LLM判别：高效提取文本结构信息的秘密之一

在处理大量文本数据时，我们常常需要回答一些复杂的问题，例如判断说话者是在表达自己的感受还是描述他人，或者识别文本中的讽刺意味等。传统的嵌入方法虽然可以处理主题分类，但对于这些结构性问题却显得力不从心。

通常的解决方案是依赖大型语言模型（LLM）作为判别器，但这带来了新的问题：速度慢、成本高，且模型输出的信心评分缺乏明确的概率解释。然而，我们逐渐意识到，当LLM读取一个提示时，例如“我以前讨厌这个产品，但现在我爱它”，它在生成任何文本之前就已经在内部决定了出了答案。换句话说，模型在处理提示的过程中已经完成了对内容和标准的比较，结果以几何形式存在于模型的残差流中。

图 1：传统 LLM 判别方法成本高昂

生成文本的过程只是将这个已经做出的决定转化为文字，而这正是整个过程中最耗时且昂贵的部分。因此，我们不妨跳过生成文本的步骤，直接提取模型在最后一个提示词处的隐藏状态。这个隐藏状态位于模型中间层附近，那里通常蕴含着丰富的语义信息。接下来，我们可以训练一个小型多层感知器（MLP）或更简单的线性探测器，将这些隐藏状态转化为一个具体的数值输出。这种方法不仅高效，而且能够提供更可靠的判别结果。

图 2：从隐藏状态中直接提取判别信息成为新范式

这种方法的关键在于充分利用了LLM的内部表示能力，同时避免了生成文本带来的高昂成本。通过这种方式，我们可以实现对文本结构信息的快速、准确提取，为各种复杂的文本分析任务提供了一种全新的解决方案。这种方法的实际价值远超单纯的效率提升。当企业需要处理海量客户反馈、合同审查或合规检查时，传统 LLM 调用不仅成本高昂，响应延迟也难以满足实时业务需求。而通过隐藏状态探测器，单条文本的判别时间可以从秒级压缩到毫秒级，成本可能降低 90% 以上。更重要的是，探测器输出的 logits 可以提供明确的概率解释，这让它在金融风控、医疗诊断辅助等对决策透明度要求极高的场景中具备独特优势。

图 3：隐藏状态探测器大幅降低成本与响应延迟