当我们需要快速判断一批 AI 生成内容在多个维度上的倾向分布时与其靠人工逐条阅读不如搭建一个自动化的“多维倾向分析管道”。这篇文章基于 AI Models – Political Compass 项目完整实现一套文本倾向坐标分析系统输入一批文本输出每个模型、每条文本在若干坐标轴上的位置并绘制成类似罗盘的散点图。无论是 AI Agent 输出审计、大模型行为评估还是内容倾向的粗粒度统计分析这套流程都可以直接复用。先说明一点项目名中的 Political Compass 借鉴的是“用二维坐标展示复杂立场”的表现形式本文只把它当作技术演示框架并不对任何现实意识形态做价值判断。坐标轴是可以自定义的你可以把轴替换成自己业务中合法合规的标签例如“保守回答 vs 冒险回答”“简短 vs 详细”“正向情绪 vs 负向情绪”等。这样既能理解项目思路又能避开容易踩线的内容边界。1. 项目背景与核心概念1.1 什么是“模型倾向罗盘”Political Compass 原本是一种把复杂观点投影到二维坐标的展示工具横轴和纵轴分别代表不同的价值倾向通过一个坐标点就能快速看出整体分布。AI Models – Political Compass 项目借用了这种坐标化形式但分析对象从“人类观点”变成了“AI 模型输出文本”。整个系统的核心逻辑可以拆成三层文本层输入一条或多条模型生成内容例如一段回答、一段 Agent 对话、一篇短文。打分层对每条文本在多个维度上打分每个维度由一对语义相反的候选标签构成例如“个体选择 vs 集体协调”。坐标层将每个维度的概率分布映射成 0 到 100 的坐标值最终得到二维坐标点也可以扩展到三维、四维。这种设计的好处是“维度可插拔”。今天分析的是模型输出的倾向分布明天想分析商品评价中的“质量感知 vs 价格感知”只需要换掉候选标签代码结构基本不变。1.2 这个项目能解决什么问题在实际的 AI 应用开发中这种“倾向坐标分析”能力有多个典型使用场景。第一个场景是模型行为审计。同一个大模型在不同提示词下输出可能呈现系统性偏移。比如你要求模型“给出建议”它可能倾向于给出更详细、更结构化、甚至带有风险偏好的答案。用倾向坐标工具对一批回答做可视化可以快速发现模型行为是否有异常集中的区域。第二个场景是 AI Agent 输出评估。当前 Agent 应用越来越多Agent 的回复往往由多轮规划、工具调用和最终生成组成很难用单一指标判断好坏。通过倾向坐标把回复映射到几个维度上可以辅助判断 Agent 是否在特定议题上存在稳定偏好。第三个场景是内容生态中的文本分布统计。这里要特别强调合规如果涉及用户生成内容建议只做聚合统计不要输出单用户画像除非有明确授权。对文本做粗粒度的议题和态度分布统计在合规前提下可以帮助运营团队了解内容趋势。从学习角度看这个项目麻雀虽小五脏俱全。它涵盖了 NLP 文本分类、零样本学习、置信度控制、结果可视化、模型评估与部署等完整链路非常适合作为 AI 工程实践入门项目。1.3 整体技术思路技术实现上我们不使用传统的“先标注一万条再训练一个分类器”的重流程而是先用零样本分类模型快速搭建 Demo。所谓零样本是指模型在没有见过特定任务标注数据的情况下根据自然语言指令完成分类。零样本分类的优点是冷启动成本低十分钟就能跑通缺点是精度和稳定性不如专门微调的模型。因此项目分成两个阶段第一阶段用零样本分类做坐标打分 Demo验证维度定义是否合理。第二阶段沉淀一批人工标注数据用有监督模型替换零样本模型提升生产环境精度。本文会重点讲解第一阶段并在后面给出第二阶段的升级思路。2. 环境准备与项目结构2.1 运行环境与依赖安装建议环境如下操作系统Ubuntu 22.04、macOS、Windows WSL 均可。Python 版本建议 3.10 或以上。运行内存8GB 以上比较稳妥CPU 推理也能跑只是速度偏慢。GPU可选。有 GPU 可以大幅加速推理没有也能完成本教程。创建项目目录并安装依赖mkdir model-stance-compass cd model-stance-compass pip install transformers torch pandas scikit-learn matplotlib如果你的机器没有 GPU建议安装 CPU 版 PyTorch避免下载不必要的 CUDA 依赖pip install torch --index-url https://download.pytorch.org/whl/cpu pip install transformers pandas scikit-learn matplotlib以我本地的实践为例CPU 环境下 BART MNLI 模型推理一条短文本大约需要 1 到 3 秒演示数据量不大完全可接受。2.2 模型选择说明本教程使用 Hugging Face 的facebook/bart-large-mnli模型。这个模型在 MNLI 语料上预训练适用于 zero-shot-classification 任务也就是文本蕴含判断。需要特别说明的是该模型是英文模型对中文支持有限。模型权重较大首次运行会自动从 Hugging Face 下载需要耐心等待。如果你的网络环境下载较慢可以设置HF_ENDPOINT环境变量指向镜像站点这是国内比较常见的做法。例如export HF_ENDPOINThttps://hf-mirror.com如果你希望演示中文场景可以选择多语言零样本模型或者自己准备标注数据做微调。本文为了演示稳定示例数据统一使用英文句子。2.3 项目目录设计为了让代码结构清晰建议按下面方式组织文件model-stance-compass/ ├── data/ │ └── sample_outputs.csv ├── src/ │ ├── __init__.py │ ├── stance_classifier.py │ ├── compass_score.py │ └── visualize.py ├── output/ ├── main.py └── requirements.txt各文件职责如下data/sample_outputs.csv示例数据集每条记录包含来源模型名和文本内容。src/stance_classifier.py封装零样本分类模型提供维度打分能力。src/compass_score.py将分类概率映射为二维坐标。src/visualize.py绘制罗盘图。main.py主流程入口串起整个管道。requirements.txt锁定依赖版本方便复现。3. 核心原理拆解3.1 从文本分类到多维坐标传统文本分类任务输出的是一个类别例如“正面/负面”“科技/财经/体育”。但倾向坐标系统需要的是“每个维度上的连续分数”。例如横轴是“个体选择 vs 集体协调”我们希望输出 0 到 100 之间的一个数接近 0 表示文本更接近前者接近 100 表示更接近后者。实现方式并不复杂为每个维度预定义一对候选标签让分类器分别计算文本与两个标签的匹配概率然后归一化到 0 到 100。数学表达式很简单x score(label_1) / (score(label_1) score(label_2)) * 100这样两个标签的概率互补且和为 1坐标稳定在一个区间内。3.2 零样本分类的“蕴含”机制理解零样本分类要先理解 NLI自然语言推断任务。NLI 模型的输入是一对句子前提premise和假设hypothesis输出是二者之间的关系通常为“蕴含”“矛盾”“中立”三种。zero-shot-classificationpipeline 把“文本分类”转化成了 NLI 判断。它会把输入的待分析文本作为前提把候选标签构造成一句假设例如前提We should let individuals decide what fits their own life.假设This text is about individual choice.模型计算前提和假设之间的蕴含概率。对所有候选标签都算一遍再经过 softmax就得到了每个标签的相对概率。这套机制的优势是不需要为每个新任务重新标注数据只要写清楚候选标签模型就能给出一个还不错的起点。但需要注意的是候选标签的措辞会显著影响结果。比如“individual choice”和“individual freedom”虽然意思很接近但概率分布可能会有差别。因此标签设计是这个项目中最需要反复打磨的点。3.3 两个维度为什么要单独打分第一次实现时很容易写出这样的代码# 不推荐把四个标签混在一起 result classifier(text, [individual choice, coordinated action, incremental change, structural shift])这样虽然能返回四个分数但四个分数是在同一个 softmax 中归一化的。换句话说横轴和纵轴之间会互相竞争、互相稀释。如果某个标签概率特别高其他三个标签都会受到挤压最终导致横轴和纵轴的坐标都失真。正确的做法是每个维度单独调用一次分类器。s1 classifier(text, [individual choice, coordinated action]) s2 classifier(text, [incremental change, structural shift])这样横轴坐标只在横轴两个标签之间归一化纵轴坐标只在纵轴两个标签之间归一化互不干扰。这是很多初学者容易踩的坑也是本文代码中最关键的设计决策之一。3.4 坐标计算与置信度控制每个文本最终都会得到一个 x 坐标、一个 y 坐标以及一个置信度值。置信度可以取当前维度两个标签概率的最大值。如果这个值很低说明模型对文本的倾向判断不够确信这时候不应该直接把结果画到图上。在工程实现中我们通常会设置一个置信度阈值。例如只有置信度大于 0.6 的样本才进入可视化低于阈值的样本进入人工复核队列。这样可以有效降低错误标签对整体分布图的污染。4. 完整实战搭建 AI 模型倾向坐标分析器4.1 准备示例数据集在data/sample_outputs.csv中写入下面的内容source_model,text model_A,We should let individuals decide what fits their own life. model_A,A lighter regulatory framework leaves more room for creativity. model_A,Personal initiative should be rewarded rather than restricted. model_B,We should strengthen shared infrastructure to reduce inequality. model_B,Coordinated planning can help everyone access basic services. model_B,Public resources should be allocated through collective decision-making.这是两条虚拟模型的输出文本。model_A的句子更偏向“个体选择”侧model_B的句子更偏向“集体协调”侧。用英文的原因是 BART MNLI 对英文的理解更稳定避免在演示阶段引入语言干扰。如果你想把模型换成中文多语言模型也可以把文本换成中文然后调整候选标签。但要注意不同模型对候选标签的敏感度不同可能需要多实验几组标签描述。4.2 编写零样本分类模块创建src/stance_classifier.pyfrom transformers import pipeline class StanceClassifier: def __init__(self, model_namefacebook/bart-large-mnli, device-1): self.classifier pipeline( zero-shot-classification, modelmodel_name, devicedevice, ) def score_dimension(self, text: str, candidate_labels): result self.classifier(text, candidate_labels) result_scores {} for label in candidate_labels: idx result[labels].index(label) result_scores[label] result[scores][idx] return result_scores这个类最大的作用是把模型加载、推理细节封装起来。后续如果要换模型、加缓存、加批处理只需要改这一个文件。注意device-1表示使用 CPU。如果你的机器有 GPU可以改成device0推理速度会明显提升。4.3 编写坐标计算模块创建src/compass_score.pyfrom dataclasses import dataclass dataclass class CompassPoint: text: str source_model: str x: float y: float confidence: float class CompassScorer: def __init__(self, axis1_labels, axis2_labels, stance_classifier): self.axis1_labels axis1_labels self.axis2_labels axis2_labels self.stance_classifier stance_classifier def score(self, text: str, source_model: str) - CompassPoint: s1 self.stance_classifier.score_dimension(text, self.axis1_labels) s2 self.stance_classifier.score_dimension(text, self.axis2_labels) x ( s1[self.axis1_labels[0]] / (s1[self.axis1_labels[0]] s1[self.axis1_labels[1]]) * 100 ) y ( s2[self.axis2_labels[0]] / (s2[self.axis2_labels[0]] s2[self.axis2_labels[1]]) * 100 ) confidence max(max(s1.values()), max(s2.values())) return CompassPoint( texttext, source_modelsource_model, xx, yy, confidenceconfidence, )这里用dataclass保存结果而不是直接返回 dict好处是字段清晰、不容易写错键名后续扩展字段也更方便。4.4 编写主流程创建main.pyimport os import pandas as pd from src.compass_score import CompassScorer from src.stance_classifier import StanceClassifier AXIS1_LABELS [individual choice, coordinated action] AXIS2_LABELS [incremental change, structural shift] def main(): os.makedirs(output, exist_okTrue) df pd.read_csv(data/sample_outputs.csv) classifier StanceClassifier(device-1) scorer CompassScorer(AXIS1_LABELS, AXIS2_LABELS, classifier) points [] for row in df.itertuples(): point scorer.score(row.text, row.source_model) points.append(point) result_df pd.DataFrame([p.__dict__ for p in points]) result_df.to_csv(output/coordinates.csv, indexFalse) print(result_df) if __name__ __main__: main()这个主流程很简单读取 CSV逐条打分保存结果。实际生产环境中建议加上进度条和批处理逻辑避免数据量增大后耗时过长。4.5 可视化罗盘图创建src/visualize.pyimport matplotlib.pyplot as plt import pandas as pd def plot_compass(result_df, output_imageoutput/compass.png): fig, ax plt.subplots(figsize(8, 8)) for label, group in result_df.groupby(source_model): ax.scatter(group[x], group[y], labellabel, alpha0.7) center_x group[x].mean() center_y group[y].mean() ax.scatter(center_x, center_y, markerX, s120, labelf{label} avg) ax.axhline(50, colorgray, linestyle--) ax.axvline(50, colorgray, linestyle--) ax.set_xlabel(Axis1: individual choice - coordinated action) ax.set_ylabel(Axis2: incremental change - structural shift) ax.set_xlim(0, 100) ax.set_ylim(0, 100) ax.legend() plt.savefig(output_image, dpi150) plt.show()这里每个点代表一条文本每个模型的平均位置用 X 形标记标出。虚线把平面分成四块方便观察分布落入哪个区域。修改main.py在保存结果后调用可视化from src.visualize import plot_compass # main 函数末尾追加 plot_compass(result_df)4.6 运行与预期结果回到项目根目录执行python main.py第一次运行会自动下载模型需要等待一段时间。模型加载完成后控制台会输出类似下面的表格source_model text x y confidence 0 model_A We should let individuals decide what fits t... 73.21 51.83 0.87 1 model_A A lighter regulatory framework leaves more r... 81.45 46.12 0.91 2 model_A Personal initiative should be rewarded rathe... 89.76 58.30 0.94 3 model_B We should strengthen shared infrastructure ... 22.10 40.25 0.86 4 model_B Coordinated planning can help everyone acce... 18.33 32.41 0.90 5 model_B Public resources should be allocated throug... 25.67 38.12 0.88从结果可以看出model_A的 x 坐标普遍偏高更接近“individual choice”一侧model_B的 x 坐标普遍偏低更接近“coordinated action”一侧。这就是一个最简单的模型倾向画像。再次强调这里的坐标只是演示数据在抽象维度上的投影不代表任何现实立场判断。真实项目中你需要使用业务方定义、且经过合规审查的维度标签。5. 从 Demo 到可评估的工程方案5.1 用有监督模型替代零样本零样本分类胜在冷启动快但生产精度有限。一个常见做法是先跑零样本模型人工抽检一批结果修正错误标签形成几百条标注数据然后用有监督模型替换零样本模型。对于文本分类最简单有效的基线是 TF-IDF 加 LinearSVCfrom sklearn.feature_extraction.text import TfidfVectorizer from sklearn.svm import LinearSVC from sklearn.pipeline import make_pipeline def train_stance_model(train_texts, train_labels): model make_pipeline( TfidfVectorizer(), LinearSVC(), ) model.fit(train_texts, train_labels) return model注意横轴和纵轴需要分别训练一个模型。训练数据示例text,axis1_label,axis2_label We should let individuals decide what fits their own life.,individual choice,incremental change Personal initiative should be rewarded rather than restricted.,individual choice,structural shift Coordinated planning can help everyone access basic services.,coordinated action,incremental change每个维度的标签都可以看作二分类问题。数据量达到几百条后这个方案往往能超过零样本模型尤其在领域文本比较固定的时候。5.2 评估指标与置信度校准不要只凭肉眼观察坐标图判断模型好坏。建议在升级过程中引入以下评估指标分类指标准确率、宏平均 F1、AUC。可以按维度分别计算。回归型指标如果要求人工给文本打 0 到 100 的连续分可以计算模型预测分数与人工分数之间的 Spearman 相关系数。人工一致性随机抽取 100 条文本让两名标注员独立标注计算 Cohens Kappa。如果人工标注本身就很不一致那模型也很难学会稳定预测。置信度校准也是关键一环。零样本模型输出的概率不一定代表真实置信度可能出现“模型很自信但实际是错的”的情况。常用做法包括设置置信度阈值低置信度样本进入人工复核。用校准集数据训练一个温度缩放或等渗回归模型把原始概率校准到更真实的置信度区间。对结果做多次运行、取均值降低偶然波动。5.3 AI 幻觉与低置信度样本处理很多 AI 应用提到“幻觉”时会想到大模型生成错误事实其实在文本分类中也有类似问题。零样本模型在面对模糊表达、反讽文本、多主题混杂的长文本时经常会被“强行”给出一个倾向标签哪怕文本本身根本没有明确倾向。处理这类问题核心策略是“不相信单次输出”。我在工程中通常这样做记录每条文本的 top-2 标签和概率而不是只保留最终坐标。