单细胞基础模型中间层特征提取：任务与细胞状态依赖的最优表示

1. 项目概述：从“黑盒”到“金矿”的认知转变

如果你最近在单细胞数据分析的圈子里泡着，大概率会听到“基础模型”这个词。它不再是计算机视觉或自然语言处理的专属，而是正以前所未有的速度渗透进生物信息学，尤其是单细胞组学领域。我们面临的现状是：大家一窝蜂地去预训练一个庞大的模型，用海量的单细胞数据去“喂养”它，然后兴冲冲地把它当成一个“特征提取器”，把中间层的输出向量直接丢给下游的分类器或聚类算法，就期待着能出好结果。这听起来很美好，对吧？但实际操作过的人，十有八九会皱眉头——效果时好时坏，不稳定，甚至有时候还不如精心设计的手工特征。

问题出在哪里？核心就在于我们粗暴地假设了“中间层特征”是普适的、最优的。这就像你有一把万能钥匙，试图去开世界上所有的锁，结果发现有的门能开，有的门纹丝不动，甚至有的锁直接被捅坏了。“单细胞基础模型中间层特征提取：任务与细胞状态依赖的最优表示”这个标题，精准地戳中了当前实践的痛点。它不是在否定基础模型的价值，而是在倡导一种更精细、更智能的“开锁”方式：没有放之四海而皆准的“最优表示”，最优的表示高度依赖于你具体要解决什么任务（Task），以及你正在分析的细胞处于何种状态（Cell State）。

简单来说，我们得停止把基础模型当成一个简单的“特征提取黑盒”，而要把它看作一座蕴藏着丰富信息的“金矿”。直接从矿洞口（模型的最后一层或某个固定中间层）挖一铲子土出来，里面可能混杂着金子、石头和泥土。而我们的工作，是成为专业的“采矿工程师”，根据你要找的是金矿（比如识别稀有细胞类型）、银矿（比如预测细胞分化轨迹）还是铜矿（比如分析药物扰动响应），以及矿脉所处的具体地质层（比如细胞是处于静息态、激活态还是应激态），去选择最合适的开采点位（模型层）和提炼工艺（特征选择/变换方法）。

这篇文章，就是基于我处理了数十个单细胞数据集、折腾过各种预训练模型后的实战复盘。我会带你深入这座“金矿”的内部结构，拆解“任务依赖”和“状态依赖”这两个核心维度如何具体影响特征的有效性，并给出从理论到实操的一整套“采矿”方案。无论你是刚接触单细胞机器学习的生信分析师，还是希望提升模型可解释性的算法工程师，这里的内容都能帮你避开我踩过的坑，更高效地挖掘出数据中真正的价值。

2. 核心思路拆解：为什么“一刀切”的特征提取行不通？

在深入技术细节之前，我们必须从根本上理解，为什么从基础模型的固定中间层提取特征会成为一个问题。这需要我们从单细胞数据的本质和深度学习模型的特性两个角度来审视。

2.1 单细胞数据的多层次性与任务特异性

单细胞RNA测序数据不是一个均质的整体。每个细胞的基因表达谱，是它当前生理状态、发育阶段、组织微环境、乃至技术噪音共同作用下的一个复杂“快照”。这意味着数据中蕴含着不同层次、不同抽象级别的信息：

• 低层信息：技术批次效应、测序深度差异、细胞周期相关基因的周期性波动。这些信息对于“识别细胞类型”这个任务来说是噪音，但对于“校正批次效应”或“研究细胞周期”来说就是信号。
• 中层信息：细胞类型特异性的标记基因表达模式、核心的信号通路活性。这是大多数细胞分类和注释任务最关心的信息。
• 高层信息：细胞的分化潜能、对扰动的响应趋势、细胞状态间的过渡关系。这些信息更抽象，对于轨迹推断、药物反应预测等任务至关重要。

当你用一个下游任务（比如，区分T细胞和B细胞）去训练一个分类器时，你实际上是在要求模型学会从你提供的特征中“过滤”出与这个任务最相关的信息层。如果你提供的特征向量里混杂了太多无关的底层噪音（比如强烈的批次效应），分类器就需要花费额外的“精力”去学习忽略这些噪音，这会导致模型训练更困难、泛化能力变差。

2.2 基础模型中间层的“信息蒸馏”过程

一个在大量单细胞数据上预训练好的基础模型（例如，基于Transformer或Autoencoder架构），可以看作一个信息蒸馏器。数据从输入层（成千上万个基因）流入，经过一层层的非线性变换，信息被逐步压缩、抽象和重组。

• 浅层：通常学习到的是局部的、基因层面的共表达模式，可能对技术噪音和某些基础生物过程（如代谢）比较敏感。
• 中层：开始形成对细胞类型和常见状态有判别力的“概念”，比如“浆细胞特征”、“缺氧响应特征”。
• 深层/输出层：为了完成预训练任务（例如，掩码基因预测、对比学习），模型会学习到高度压缩的、对完成该任务最优的全局表示。但这个“最优”是针对预训练任务而言的。

这里的关键洞察是：没有哪一个层是“全能”的。浅层的信息太“原始”，深层的信息又可能因为过度优化于预训练目标而“丢失”了某些对下游任务有用的细节。例如，一个旨在完美重构输入数据的自编码器，其最瓶颈层的表示可能为了追求最小的重构误差，而牺牲了区分非常相似的两种细胞亚型所需的细微表达差异。

2.3 “任务与状态依赖”的具体内涵

因此，我们的核心思路“任务与细胞状态依赖的最优表示”可以分解为两个可操作的指导原则：

1. 任务依赖的层选择：不同的下游任务需要不同抽象级别的特征。

   • 细粒度细胞亚型分类：可能需要中层偏后的特征，因为这里既包含了足够的细胞类型信息，又尚未被过度压缩而丢失亚型间的微妙差别。
   • 跨批次整合与批次校正：可能需要利用更浅层的、包含更多技术变异信息的特征，或者专门设计针对批次效应的对抗性学习层。
   • 细胞发育轨迹推断：可能需要探索多个层的特征，因为轨迹分析既需要细胞类型的离散信息（中层），也需要连续过渡状态的信息（可能分布在多个层）。
   • 药物扰动响应预测：可能需要关注那些对扰动敏感的基因集所对应的模型内部激活模式，这可能需要定向探查特定神经元或注意力头。

2. 细胞状态依赖的特征适配：即使对于同一任务，处于不同状态的细胞，其“最优表示”的来源也可能不同。

   • 案例：在分析肿瘤微环境时，处于静息态的免疫细胞和处于耗竭态的免疫细胞，其基因表达程序截然不同。一个在健康组织数据上预训练的模型，其用于识别“T细胞”的中间层特征，可能对静息态T细胞非常有效，但对耗竭态T细胞的表征可能就不够充分。此时，可能需要动态地结合更深层的、能捕捉“异常”或“应激”状态的特征。
   • 实操意义：这提示我们，不能对整个数据集使用同一套特征提取策略。更高级的做法是，先对细胞进行粗粒度的状态聚类，然后针对不同的细胞状态簇，自适应地选择或融合不同层的特征。

注意：这里的“状态”是一个广义概念，包括细胞类型、分化阶段、代谢活性、应激水平等任何能导致基因表达程序系统性变化的生物学条件。

理解了这些，我们就从“盲人摸象”进入了“有的放矢”的阶段。接下来，我们将把这一思路转化为具体的、可执行的方案。

3. 方案设计与技术选型：构建自适应特征提取流水线

基于上述思路，一个理想的特征提取方案不应该是一个简单的model.extract_features(layer=7)函数调用，而应该是一个灵活的、可配置的流水线。这个流水线需要包含几个关键模块：模型理解、层候选集定义、任务-层评估器、以及可选的状态自适应模块。

3.1 基础模型的选择与理解

目前，单细胞基础模型生态正在快速发展，主要有几种架构：

• 基于Autoencoder的模型：如scVI， DCA。结构清晰，编码器（Encoder）部分天然就是特征提取器。不同层对应不同压缩程度的信息。
• 基于Transformer的模型：如GeneFormer， scGPT。通过自注意力机制捕获基因间的全局依赖关系。特征可以来源于最后一层隐藏状态、池化后的[CLS] token、或中间各层的输出。
• 基于对比学习的模型：如SCRL。其核心是学习一个度量空间，使得相似细胞靠近，不相似细胞远离。特征通常来自投影头（projection head）之前的表示。

选型建议：

• 如果你的主要任务是降维、可视化、批次校正，基于Autoencoder的模型（如scVI）是稳妥且成熟的选择，其编码器输出通常已经过大量实践验证。
• 如果你的任务涉及复杂的基因调控关系推理、或需要处理极其稀疏的数据，基于Transformer的模型可能更具潜力，但计算成本更高，且对中间层特征的理解需要更多探索。
• 如果你的数据标签稀缺，但有无标签数据很多，基于对比学习的模型可能有助于学习到更好的通用表示。

关键一步：模型解剖。选定模型后，不要急于使用。先用一个小的验证数据集，可视化不同层输出的特征（比如用UMAP）。观察随着层数加深，细胞的聚集模式如何变化。这能给你一个直观的“层-信息”对应图。

3.2 定义层候选集与特征提取策略

你不能评估所有层（尤其是对于百层以上的Transformer），需要定义一个策略性的候选集。

1. 分层采样：对于L层的模型，可以均匀地选择K个层（例如，第1, L/4, L/2, 3L/4, L层）。这涵盖了从浅到深的信息。
2. 基于架构的关键层：
   • Autoencoder：编码器的输入层、中间层、瓶颈层（最深层）。
   • Transformer：嵌入层后、每个Transformer块后、LayerNorm层前/后。
   • 注意：对于Transformer，不同注意力头的输出也可能蕴含不同信息，但这会极大增加搜索空间，初期建议以“层”为单位。
3. 特征聚合策略：除了使用单一层的输出，还可以考虑：
   • 层拼接：将选定的多个层的输出向量拼接起来。这提供了不同抽象级别的信息，但维度会很高，可能需要后续降维。
   • 层加权求和：学习一个权重向量，对不同层的特征进行加权融合。这更灵活，但需要额外的训练。

在项目初期，我建议从“单一层评估”开始，因为它最简单，也最容易解释结果。将“层拼接”和“加权求和”作为后续优化选项。

3.3 构建任务驱动的层评估器

这是整个流水线的核心。我们需要一个自动化的方法来评估，对于特定的下游任务，哪个层（或哪种特征组合）的表现最好。

评估流程设计：

1. 固定下游任务：明确你的终极目标是什么。是5类细胞的分类？是预测细胞对药物A的敏感性？还是将来自3个批次的样本无缝整合？
2. 准备评估数据：从你的数据中划分出一个固定的、有标签的验证集（Validation Set）或一个小型测试集（Test Set）。这个数据集将用于评估不同层特征的质量。
3. 设计评估指标：
   • 有监督任务（分类/回归）：使用一个简单的、固定的下游模型（例如，一个浅层神经网络、随机森林或逻辑回归）。关键点：下游模型要简单，且架构和超参数固定。我们评估的是“特征的质量”，而不是“下游模型的调参能力”。用该模型在验证集上的性能（如准确率、F1分数、AUROC）作为该层特征的得分。
   • 无监督任务（聚类/批次整合）：使用内部评估指标，如聚类结果的轮廓系数（Silhouette Score）、批次混合的kBET指标或iLISI分数。对于批次整合，一个好的特征应该使得生物学差异清晰，而批次效应模糊。
4. 自动化评估循环：编写脚本，遍历你定义的层候选集。对每一层：
   • 提取该层所有细胞的特征。
   • 用上述固定的下游模型和评估流程进行评估。
   • 记录该层的性能得分。
5. 选择最优层：根据评估指标，选择性能最高的层作为该任务的特征提取层。

这个评估器告诉我们，对于“任务A”，模型的“第N层”是最有效的特征源。这就实现了“任务依赖”。

3.4 状态自适应模块的初步构想

实现“细胞状态依赖”更为复杂，属于进阶优化。一个可行的简化方案是：

1. 状态预划分：首先，使用一个通用的、稳健的特征（例如，整个模型的最终输出或PCA主成分）对细胞进行粗聚类，得到几个大的细胞状态簇（如：免疫细胞簇、基质细胞簇、肿瘤细胞簇；或：静息簇、激活簇、耗竭簇）。
2. 分簇评估与选择：在每个状态簇内部，独立运行上述“任务驱动层评估器”。这样，你可能会发现，对于“识别T细胞亚型”这个任务，在“静息免疫簇”中第5层特征最好，而在“激活免疫簇”中第8层特征更好。
3. 特征提取：在实际应用时，根据每个细胞所属的状态簇，从其对应的最优层提取特征。

这种方法将全局的“一刀切”变成了局部的“因簇制宜”，理论上能获得更精细的表征。当然，这增加了复杂性和计算量，建议在基础方案稳定后，针对性能瓶颈进行尝试。

4. 实操流程与核心代码解析

理论说再多，不如一行代码。下面，我将以最流行的scVI模型为例，展示如何搭建一个完整的、任务依赖的中间层特征提取与评估流水线。假设我们的下游任务是：在一个胰腺细胞数据集上，精细区分Alpha, Beta, Delta, Gamma等内分泌细胞类型。

4.1 环境准备与数据加载

首先，确保你的环境安装了必要的包。这里我们使用scvi-tools和scanpy。

pip install scvi-tools scanpy

import scanpy as sc import scvi import torch import numpy as np import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import accuracy_score, f1_score import matplotlib.pyplot as plt # 设置随机种子，保证可复现性 scvi.settings.seed = 42 torch.manual_seed(42) np.random.seed(42) # 加载示例数据集（这里以scVI内置的小鼠胰腺数据为例） adata = scvi.data.pancreas() # 假设数据已经过基本预处理（过滤、归一化、高变基因选择） # 我们使用原始计数进行scVI建模

4.2 训练scVI基础模型

我们训练一个标准的scVI模型。重点是，在设置模型时，我们要确保编码器（n_layers）有足够的层数，以便我们后续探索。

# 设置模型参数 scvi.model.SCVI.setup_anndata(adata, layer="counts") # 使用counts层 # 创建模型。n_layers决定了编码器和解码器的层数，这里设为3，即包含输入层、隐藏层和输出层（实际可提取的中间层更多）。 model = scvi.model.SCVI(adata, n_layers=3, n_latent=30, gene_likelihood="nb") # n_latent是瓶颈层维度，也是通常使用的“标准”特征维度。 # 训练模型 model.train(max_epochs=400, plan_kwargs={"lr": 1e-3})

4.3 提取不同层的中间特征

scVI的编码器是一个多层神经网络。我们需要“钩住”（hook）中间层的输出。scvi-tools本身不直接提供提取任意层特征的API，但我们可以通过PyTorch的钩子机制实现。

# 首先，获取训练好的编码器网络 encoder = model.module.z_encoder # 这是scVI中将数据映射到潜空间的编码器网络 # 定义一个字典来存储我们“钩住”的激活值 activations = {} def get_activation(name): """钩子函数，用于捕获指定层的输出""" def hook(model, input, output): # output可能是一个元组，我们通常取第一个元素 activations[name] = output.detach() if isinstance(output, torch.Tensor) else output[0].detach() return hook # 选择我们感兴趣的层进行注册钩子。 # 一个3层的MLP（n_layers=3）通常结构是：Linear -> (BatchNorm) -> LeakyReLU -> ... -> Linear (输出)。 # 我们可以尝试钩住第一个线性层后、第一个非线性激活后、以及最终输出前等位置。 # 这里需要根据scVI实际源码的编码器结构来调整，以下为示例逻辑： hooks = [] # 假设我们想获取第一层线性变换后的输出（layer0）和最后一层线性变换前的输出（layer2_pre） # 注意：这里的层索引需要根据实际模型结构探查确定，可能需要打印 encoder 的 named_modules() for name, module in encoder.named_modules(): print(name) # 打印结构，帮助我们确定要钩住的层名 # 假设通过打印，我们确定了结构为： # 'fc_layers.0.0' 是第一层线性层 # 'fc_layers.2.0' 是第三层（输出层）线性层 # 我们注册钩子 hook_handle = encoder.fc_layers[0][0].register_forward_hook(get_activation('layer0_out')) hooks.append(hook_handle) hook_handle = encoder.fc_layers[2][0].register_forward_hook(get_activation('layer2_pre_out')) hooks.append(hook_handle) # 准备一个数据加载器，用于前向传播 dl = model._make_data_loader(adata=adata, indices=np.arange(adata.n_obs), batch_size=128) # 清空activations，并进行一次前向传播以捕获数据 activations.clear() model.eval() # 设置为评估模式 with torch.no_grad(): for tensors in dl: # 将数据送入编码器，这会触发钩子函数 _ = encoder(tensors[0]) # tensors[0] 是输入数据 # 注意：我们不需要这个调用的返回值，因为激活值已被钩子捕获到 `activations` 字典中。 # 现在，activations['layer0_out'] 和 activations['layer2_pre_out'] 就包含了对应层的输出。 # 我们需要将它们从batch维度拼接起来 layer0_features = torch.cat([activations['layer0_out'][i] for i in range(len(dl))], dim=0).numpy() layer2_pre_features = torch.cat([activations['layer2_pre_out'][i] for i in range(len(dl))], dim=0).numpy() # 别忘了移除钩子 for hook in hooks: hook.remove() # 同时，我们也提取标准的潜变量特征（即瓶颈层输出，通常是最终使用的特征）作为基准 standard_latent = model.get_latent_representation(adata).astype(np.float32)

实操心得：直接钩取中间层特征在scVI中略显繁琐，因为其API并未直接暴露。另一种更通用的思路是修改模型源码，在编码器的前向传播方法中直接返回中间层输出。对于生产环境，建议采用后一种方式，封装成自定义模型类。这里为了演示原理，使用了钩子方法。

4.4 任务驱动的层评估

现在，我们有了来自三个来源的特征：layer0_features（浅层），layer2_pre_features（中深层），standard_latent（标准潜变量，作为基准和深层代表）。我们用一个简单的下游分类任务来评估它们。

假设adata.obs[‘cell_type’]中包含了我们想要精细分类的内分泌细胞类型标签。

# 准备数据和标签 # 我们只取内分泌细胞进行评估 endocrine_mask = adata.obs['cell_type'].isin(['alpha', 'beta', 'delta', 'gamma']) X_labels = adata.obs.loc[endocrine_mask, 'cell_type'].values # 获取对应细胞的特征 X_layer0 = layer0_features[endocrine_mask] X_layer2_pre = layer2_pre_features[endocrine_mask] X_standard = standard_latent[endocrine_mask] feature_sets = { 'Layer0 (Shallow)': X_layer0, 'Layer2_pre (Mid-Deep)': X_layer2_pre, 'Standard Latent (Deep)': X_standard } # 固定下游评估模型和参数 clf = RandomForestClassifier(n_estimators=100, max_depth=10, random_state=42) # 评估每个特征集 results = {} for name, X in feature_sets.items(): # 划分训练集和测试集 X_train, X_test, y_train, y_test = train_test_split(X, X_labels, test_size=0.3, random_state=42, stratify=X_labels) # 训练和预测 clf.fit(X_train, y_train) y_pred = clf.predict(X_test) # 计算指标 acc = accuracy_score(y_test, y_pred) f1 = f1_score(y_test, y_pred, average='weighted') results[name] = {'Accuracy': acc, 'F1-score': f1} print(f"{name} - Accuracy: {acc:.4f}, F1-score: {f1:.4f}") # 将结果转换为DataFrame便于查看 results_df = pd.DataFrame(results).T print(results_df)

通过这个评估，你可能会发现，对于区分这几种高度相似的内分泌细胞，Layer2_pre (Mid-Deep)的特征取得了最好的效果，而最浅层的Layer0可能因为包含过多无关噪音而表现稍差，标准的潜变量Standard Latent可能因为过度压缩也损失了一些判别信息。这个“第2层前”就是针对“胰腺内分泌细胞精细分类”这个特定任务的“最优表示层”。

4.5 可视化验证

除了定量指标，可视化能给我们更直观的感受。

# 使用UMAP降维可视化不同特征集 import umap fig, axes = plt.subplots(1, 3, figsize=(18, 5)) for idx, (name, X) in enumerate(feature_sets.items()): reducer = umap.UMAP(random_state=42) X_umap = reducer.fit_transform(X) ax = axes[idx] scatter = ax.scatter(X_umap[:, 0], X_umap[:, 1], c=pd.Categorical(X_labels).codes, cmap='tab20', s=5) ax.set_title(f'{name} - UMAP') ax.set_xlabel('UMAP1') ax.set_ylabel('UMAP2') # 为整个图添加一个统一的图例 handles, labels = scatter.legend_elements() fig.legend(handles, pd.Categorical(X_labels).categories, title='Cell Type', bbox_to_anchor=(1.05, 0.5), loc='center left') plt.tight_layout() plt.show()

观察UMAP图，最优层的特征应该呈现出最清晰的细胞类型分离，且同一类型的细胞聚集得更紧密。

5. 常见问题、避坑指南与进阶思考

在实际操作中，你会遇到各种各样的问题。下面是我总结的一些典型坑点和解决思路。

5.1 问题排查速查表

5.2 核心避坑指南

1. 不要跳过定量评估：直觉和可视化很重要，但最终一定要有一个定量的、任务相关的评估指标来说话。UMAP图好看不代表特征在分类任务上就一定强。
2. 下游评估模型务必保持简单和固定：这是整个评估流程的“公平秤”。如果你为每个特征集都调一个最优的下游模型，那你评估的其实是“特征+调参”的组合能力，而非特征本身的质量。用一个固定的、稍欠拟合的简单模型（如RF或浅层MLP）作为“探针”，更能反映特征的判别力。
3. 注意数据泄漏：在划分训练/验证集用于层评估时，必须确保用于提取特征的模型（基础模型）没有见过验证集的信息。也就是说，基础模型应该在独立的训练集上预训练，或者使用严格的交叉验证，在每一折中，用训练折的数据重新提取特征后再评估。
4. 从简单开始：不要一开始就追求复杂的层融合或状态自适应。先实现“单层评估”，找到对主要任务最有效的1-2个层。把这个基线打牢，后续的优化才有意义。
5. 记录与归档：建立一个实验日志，记录每次评估的配置：基础模型架构与参数、层候选集定义、下游评估模型、评估指标结果、可视化图片。这能帮助你回溯和分析规律。

5.3 进阶思考与扩展方向

当你掌握了基础的任务依赖特征提取后，可以探索以下更前沿的方向：

1. 自动化层搜索：将“选择最优层”定义为一个超参数优化问题，使用贝叶斯优化等AutoML技术来自动搜索，而不是手动指定候选集。
2. 动态特征融合：不硬性选择一个层，而是学习一个注意力机制，为每个细胞或每个任务动态地计算不同层特征的加权和。这相当于让模型自己决定如何组合不同抽象级别的信息。
3. 基于提示（Prompt）的特征调优：受大语言模型启发，可以为不同的下游任务设计可学习的“提示向量”，将其与中间层特征结合，通过少量微调，使基础模型的特征空间更适配特定任务。
4. 可解释性关联：不仅仅看哪个层性能好，更进一步分析该层学到的具体是什么。例如，可以将该层神经元的激活值与已知的基因集（如GO term， KEGG通路）进行关联分析，理解最优层编码了哪些具体的生物学知识。

单细胞基础模型的时代，模型本身只是起点。如何从这些复杂的、预训练好的“大脑”中，高效、精准地提取出对我们特定生物学问题有用的“思想”，才是真正体现分析者功力的地方。从“一刀切”到“看菜下饭”，从“黑盒使用”到“白盒挖掘”，这个思维的转变，能让你手中的工具发挥出十倍百倍的威力。