1. 项目概述与核心思路在材料科学尤其是高分子材料领域预测聚合物的物理化学性质如玻璃化转变温度、力学强度、气体渗透性是加速新材料研发、缩短设计周期的核心环节。传统上这依赖于昂贵的实验试错或复杂的量子化学计算。近年来机器学习特别是深度学习为这一领域带来了革命性的变化。然而一个长期存在的瓶颈是高质量、大规模的聚合物数据集的稀缺性。训练一个性能优异的图神经网络或Transformer模型往往需要百万级别的聚合物样本进行预训练这对于许多研究团队而言是难以企及的。与此同时大语言模型在自然语言处理领域取得的巨大成功让我们不禁思考这些模型在预训练过程中“阅读”了海量的科学文献和知识是否已经内化了关于化学结构、材料性质之间关联的深刻理解能否将这种“知识”直接迁移到数据稀缺的科学预测任务中这正是我们构建PolyLLMem的初衷。PolyLLMem的核心思路非常直接且巧妙我们不从零开始训练一个复杂的专用模型而是“借用”两个强大的、经过海量数据预训练的通用模型——一个用于理解文本Llama 3一个用于理解三维分子结构Uni-Mol。我们将聚合物的简化分子线性输入规范PSMILES字符串同时“喂”给这两个模型分别获取它们对同一个化学结构的“文本视角”嵌入和“几何结构视角”嵌入。然后通过一个精心设计的融合与微调架构将这两种互补的信息结合起来用于下游的性质回归预测。这种多模态融合的策略其优势在于“站在巨人的肩膀上”。Llama 3的嵌入向量携带了从海量文本中学习到的化学语义和上下文关联而Uni-Mol的嵌入则精确编码了分子的三维构象和空间关系。两者结合相当于同时考虑了“这个分子在文献中通常被如何描述”以及“这个分子在空间中实际长什么样”。更重要的是我们通过引入低秩适应技术仅用极小的参数量通常只占原模型参数的0.1%以下对预训练好的嵌入进行微调使其快速适应我们特定的聚合物数据集。这意味着我们无需动辄上千万的聚合物数据仅用数万个数据点就能获得与那些需要海量预训练的专用模型相媲美甚至在某些任务上更优的预测性能。简单来说PolyLLMem为聚合物信息学提供了一条全新的路径利用通用大模型的先验知识以极低的计算和数据成本解决特定领域的科学预测问题。这对于实验数据获取困难、计算资源有限的研究者或工业界开发者而言无疑是一个极具吸引力的方案。2. 核心组件解析为什么是Llama 3和Uni-Mol要理解PolyLLMem为何有效必须深入剖析其两个核心“信息提取器”的选择依据。这并非随意组合而是基于对任务本质和模型特性的深刻考量。2.1 文本编码器Llama 3的化学“阅读理解”能力我们选择Meta开源的Llama 3 8B模型作为文本编码器。一个最直接的问题是一个训练在通用语料上的语言模型如何能理解像“CC(O)OC1CCCCC1”这样的SMILES字符串关键在于SMILES本身是一种“语言”。它是一种用ASCII字符串明确、唯一地表示分子结构的线性符号系统。原子用元素符号表示键用“-”, “”, “#”表示环用数字断开和闭合分支用括号。对于经过海量互联网文本其中必然包含海量的化学文献、专利、数据库条目预训练的LLM来说SMILES字符串虽然特殊但其内在的语法规则括号匹配、数字配对、原子符号序列与自然语言的语法有相通之处。模型在预训练中学会了从字符序列中捕捉复杂的模式和关联。Llama 3处理PSMILES的流程如下提示工程我们并非直接将裸PSMILES扔给模型。为了提供明确的上下文我们构造了一个简单的提示模板Polymer Smile: [PSMILES字符串].。这相当于告诉模型“接下来是一个描述聚合物SMILES的字符串”引导模型调用其内部可能与化学相关的知识进行处理。分词与嵌入Llama 3的分词器将PSMILES字符串切分成子词Token。例如[*]CC([*])c1ccc(C(O)CC)cc1可能被切分为[,*,],C,C,(,[,*,],),c,1,c,c,c,(,C,(,,O,),C,C,),c,c,1。每个Token被映射为一个高维向量嵌入。信息聚合模型的前向传播会为每个Token生成一个上下文相关的嵌入。我们通过对最后一个隐藏层所有Token的嵌入进行均值池化得到一个4096维的固定长度向量。这个向量可以理解为整个PSMILES字符串的“语义摘要”。注意LLM的分词器并非为化学设计可能导致化学上有意义的单元如[*]被错误切分。我们在后续的Token级可解释性分析中采用了自定义的合并策略来修正这一点确保分析结果符合化学直觉。为什么有效我们的UMAP可视化分析见原文图2提供了直观证据。仅使用Llama 3嵌入不同玻璃化转变温度Tg或带隙Egc的聚合物在低维空间中已经呈现出清晰的聚类趋势。这表明Llama 3的嵌入在未经任何聚合物数据微调的情况下就已经编码了与这些性质相关的化学结构差异信息。这证明了LLM从海量文本中吸收的“化学常识”是真实且可迁移的。2.2 结构编码器Uni-Mol的几何“直觉”然而文本描述有其局限性。PSMILES是一个一维序列它丢失了分子的三维几何信息而三维结构对于理解分子间相互作用、空间位阻、构象熵等至关重要这些直接影响到聚合物的热力学、力学和传输性质。为此我们引入了Uni-Mol。这是一个专门为小分子3D表示学习而设计并预训练的模型。它直接以原子的3D坐标和类型作为输入通过等变Transformer架构学习能够捕获分子几何形状、键长、键角、二面角等关键结构特征的嵌入。Uni-Mol处理流程的适配输入转换Uni-Mol原生不支持PSMILES。PSMILES中的[*]表示聚合物链的连接点对Uni-Mol无意义。我们进行了一个简单的“封端”操作将[*]替换为碳原子C生成一个“封端SMILES”。例如[*]CC([*])c1ccc(C(O)CC)cc1变为CC(C)c1ccc(C(O)CC)cc1。这个操作将聚合物重复单元转化为一个独立的小分子其核心化学骨架得以保留。3D构象生成使用RDKit等工具为封端后的SMILES生成一个低能量的3D构象。嵌入提取将3D构象原子坐标和类型输入预训练的Uni-Mol模型提取其输出的分子表示得到一个1536维的嵌入向量。这个向量封装了分子的三维几何信息。为什么是Uni-Mol相比其他分子图模型Uni-Mol的预训练目标直接包含了3D相关的任务如掩码原子坐标预测使其对几何结构异常敏感。对于聚合物性质预测尤其是与链段运动性Tg、自由体积气体渗透性相关的性质3D结构信息是不可或缺的补充。2.3 多模态融合112的关键拥有了来自Llama 3的4096维“文本语义”嵌入和来自Uni-Mol的1536维“3D结构”嵌入后核心挑战在于如何有效地融合它们。我们设计了一个轻量级但高效的融合网络投影对齐首先两个不同维度的嵌入分别通过一个独立的线性层接GELU激活和批归一化被投影到一个共同的隐空间例如512维。这一步旨在将两种不同分布、不同语义空间的表示对齐到同一个可操作的空间。LoRA微调直接使用预训练模型的冻结嵌入可能不是最优的因为它们是在通用任务上训练的。我们在这两个投影层上引入了低秩适应LoRA技术。LoRA的核心思想是在预训练权重旁添加一个低秩分解的适配器W W0 BA其中W0冻结B和A是可训练的小矩阵。这样我们只需训练极少量参数B和A就能让模型快速学习如何针对聚合物性质预测任务微调Llama 3和Uni-Mol嵌入的表达方式。这极大地提高了训练效率并防止了过拟合。门控融合经过LoRA适配后的两个表示向量通过一个可学习的门控机制进行动态加权融合。这个机制会生成一个介于0到1之间的权重决定在预测当前特定性质时更应该信赖文本信息还是结构信息。例如预测与电子结构相关的带隙Egc时模型可能更依赖文本嵌入中的化学键类型信息而预测与分子形状相关的气体渗透性时可能更依赖3D结构嵌入。预测头融合后的统一表示经过一个多层感知机MLP回归头输出最终的属性预测值。我们为22种性质分别训练了独立的预测头单任务学习因为不同性质的数据分布和预测难度差异很大。这种设计哲学是解耦与协作。让最专业的模型LLM for 文本 Uni-Mol for 3D结构做它们最擅长的事我们只负责学习一个轻量的“翻译官”和“决策者”投影层、LoRA、门控、MLP来整合并利用这些高级特征。这比从头训练一个端到端的多模态模型要高效、稳健得多。3. 实操构建与训练全流程理解了核心思想后我们来一步步拆解如何从零开始复现一个PolyLLMem模型。这个过程涉及数据处理、模型调用、训练策略等多个环节。3.1 数据准备与预处理我们的数据集包含了29,639个均聚物数据点覆盖22种性质来源包括DFT计算和实验测量。数据质量是模型成功的基石。关键步骤数据收集与清洗从PolyInfo等公开数据库和文献中收集PSMILES字符串及其对应性质。必须仔细检查数据的有效性移除重复项和明显异常值例如负的玻璃化转变温度除非有特殊说明。PSMILES标准化使用RDKit的Chem.MolFromSmiles和Chem.MolToSmiles函数对收集到的PSMILES进行标准化规范化、去盐、生成规范SMILES确保同一分子只有一种字符串表示。性质值处理对于跨越多个数量级的性质如气体渗透率、电导率、部分力学性能进行以10为底的对数变换。这是回归任务中的标准操作可以压缩数据范围使损失函数对大小值同等敏感稳定训练过程。例如log10(permeability)。数据集划分采用85/15的比例随机划分训练集和测试集。务必确保测试集在训练过程中完全不可见用于最终评估模型的泛化能力。更严谨的做法可以是按分子骨架或性质值进行分层抽样但随机划分在大多数情况下是可接受的起点。为Uni-Mol生成3D构象对每个标准化后的PSMILES执行封端操作*-C然后使用RDKit生成3D坐标。一个简单的流程是from rdkit import Chem from rdkit.Chem import AllChem def prepare_3d_for_unimol(smiles): # 封端 capped_smiles smiles.replace([*], C) mol Chem.MolFromSmiles(capped_smiles) if mol is None: return None # 添加氢原子生成3D坐标 mol Chem.AddHs(mol) AllChem.EmbedMolecule(mol, randomSeed42) # 使用固定种子保证可复现性 AllChem.MMFFOptimizeMolecule(mol) # 力场优化 # 提取坐标和原子类型 coords mol.GetConformer().GetPositions() atom_types [atom.GetAtomicNum() for atom in mol.GetAtoms()] return coords, atom_types实操心得3D构象生成有一定随机性。对于柔性分子单一构象可能不足以代表其构象空间。一个更鲁棒但计算量更大的做法是生成多个低能量构象并取Uni-Mol嵌入的平均值或使用构象集成。3.2 嵌入提取与特征工程这是PolyLLMem的“特征提取”阶段完全基于预训练模型无需训练。Llama 3嵌入提取加载预训练的Llama 3 8B模型和分词器。建议使用Hugging Face Transformers库。对每个PSMILES构造提示f”Polymer Smile: {psmiles}.”。使用分词器编码输入模型获取最后一个隐藏层的所有Token嵌入。沿序列维度进行均值池化得到4096维向量。import torch from transformers import AutoTokenizer, AutoModelForCausalLM model_name “meta-llama/Llama-3-8B” tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, output_hidden_statesTrue, torch_dtypetorch.float16, device_map“auto”) model.eval() # 设置为评估模式 def get_llama_embedding(psmiles): prompt f”Polymer Smile: {psmiles}.” inputs tokenizer(prompt, return_tensors“pt”, truncationTrue, max_length512).to(model.device) with torch.no_grad(): outputs model(**inputs) hidden_states outputs.hidden_states[-1] # 取最后一层隐藏状态 embedding hidden_states.mean(dim1).squeeze() # 均值池化 return embedding.cpu().numpy()注意事项LLM推理需要大量GPU内存。对于8B模型至少需要16GB以上的GPU显存。可以使用device_map“auto”让Transformers库自动分配层到可用设备包括CPU或者使用量化版本如bitsandbytes加载的4-bit模型来大幅降低内存消耗。Uni-Mol嵌入提取按照3.1节的方法为每个封端SMILES生成3D坐标和原子类型。加载预训练的Uni-Mol模型。Uni-Mol通常需要将坐标和原子类型转换为模型要求的输入格式例如归一化坐标、添加虚拟节点等。输入模型提取其分子表示向量通常是池化后的CLS token或全局池化结果。# 假设有封装好的Uni-Mol模型接口 from unimol import UniMolModel unimol_model UniMolModel.from_pretrained(‘path/to/unimol/weights’) unimol_model.eval() def get_unimol_embedding(coords, atom_types): # coords: numpy array of shape (N, 3) # atom_types: list of ints, length N with torch.no_grad(): # 需要根据Uni-Mol的具体API调整输入格式 inputs prepare_unimol_input(coords, atom_types) embedding unimol_model(**inputs)[‘pooler_output’] return embedding.cpu().numpy()特征拼接与保存将每个样本的Llama 3嵌入4096维和Uni-Mol嵌入1536维在特征维度上拼接得到一个5632维的融合特征向量。将其与对应的性质标签一起保存为.npz或.h5文件供后续训练使用。3.3 模型架构实现融合网络的PyTorch实现示例如下import torch.nn as nn import torch.nn.functional as F class PolyLLMem(nn.Module): def __init__(self, llm_dim4096, unimol_dim1536, hidden_dim512, output_dim1, rank4, alpha8, dropout0.1): super().__init__() # 投影层 self.llm_proj nn.Linear(llm_dim, hidden_dim) self.unimol_proj nn.Linear(unimol_dim, hidden_dim) # 在投影层上添加LoRA适配器 (这里简化表示实际需按LoRA论文实现) # self.llm_proj LoRALinear(llm_dim, hidden_dim, rankrank, alphaalpha) # self.unimol_proj LoRALinear(unimol_dim, hidden_dim, rankrank, alphaalpha) self.bn_llm nn.BatchNorm1d(hidden_dim) self.bn_unimol nn.BatchNorm1d(hidden_dim) # 门控融合层 self.gate nn.Sequential( nn.Linear(hidden_dim * 2, hidden_dim), nn.ReLU(), nn.Linear(hidden_dim, 2), nn.Softmax(dim-1) ) # 精炼块 self.refine nn.Sequential( nn.Linear(hidden_dim, hidden_dim), nn.GELU(), nn.Dropout(dropout), nn.Linear(hidden_dim, hidden_dim), nn.GELU(), ) # 任务特定的回归头单任务 self.regressor nn.Linear(hidden_dim, output_dim) def forward(self, llm_feat, unimol_feat): # 投影 BN h_llm F.gelu(self.bn_llm(self.llm_proj(llm_feat))) h_uni F.gelu(self.bn_unimol(self.unimol_proj(unimol_feat))) # 门控融合 combined torch.cat([h_llm, h_uni], dim-1) gate_weights self.gate(combined) # (batch, 2) h_fused gate_weights[:, 0:1] * h_llm gate_weights[:, 1:2] * h_uni # 精炼与预测 h_refined self.refine(h_fused) output self.regressor(h_refined) return output3.4 训练策略与超参数调优训练这样一个多模态模型需要细致的策略。损失函数对于回归任务我们测试了均方误差MSE、平均绝对误差MAE和Huber损失。Huber损失结合了MSE和MAE的优点对异常值不那么敏感在实际中往往表现更稳健。优化器与正则化使用AdamW优化器并搭配权重衰减Weight Decay以防止过拟合。学习率采用带热重启的余弦退火调度CosineAnnealingWarmRestarts在验证损失平台期时降低学习率。早停在验证集上监控损失当连续多个epoch如10个损失不再下降时停止训练并回滚到验证损失最低的模型 checkpoint。交叉验证采用5折交叉验证来可靠地评估模型性能并减少因数据划分带来的随机性。最终报告的是在测试集上5折结果的平均值。超参数网格搜索关键超参数对性能影响显著我们进行了网格搜索以优化隐藏层维度{512, 1024, 2048, 4096}。决定了融合表示的能力。LoRA秩rank{4, 8, 16, 32}。秩越大适配能力越强但过拟合风险也增加。LoRA缩放因子alpha通常与rank相关我们测试了{rank, 2*rank}。学习率{5e-5, 1e-4, 5e-4}。对于微调预训练特征较小的学习率如1e-4通常是安全的起点。批大小{8, 16, 32, 64}。受限于GPU内存。Dropout率{0.0, 0.1, 0.3, 0.5}。用于防止过拟合。权重衰减{1e-5, 1e-4, 1e-3}。实操心得对于数据量有限的任务正则化Dropout, Weight Decay和早停比模型容量更重要。我们经常发现一个中等大小的隐藏层如512配合适当的正则化其表现优于更大但更容易过拟合的模型。LoRA的rank不宜设置过大对于我们的任务rank4或8通常就能取得很好效果这印证了预训练特征本身已经非常强大只需要微小的调整。4. 性能评估与结果深度分析我们在一系列基线模型上进行了全面的对比以验证PolyLLMem的有效性。基线包括传统机器学习模型随机森林RF、XGBoost、支持向量回归SVR等使用两种特征a) RDKit计算的200个分子描述符b) Morgan指纹MF。单模态嵌入模型仅使用Llama 3嵌入或仅使用Uni-Mol嵌入分别搭配XGBoost或MLP。先进聚合物专用模型在文献报道的PolymerBERT、TransPolymer、PolyGNN等模型上进行比较数据来自其原始论文。4.1 主要发现与解读从结果表格原文表2中我们可以得出几个关键结论LLM嵌入本身蕴含丰富化学信息仅使用Llama 3嵌入XGBoostLLMXGB在多个性质如Tg, Egc, Egb, µH2上取得了R² 0.8的优秀表现。这直接证实了我们的核心假设通用LLM的嵌入能够有效捕获PSMILES中的化学信息并迁移到性质预测任务。这为数据稀缺领域提供了一种零样本或少样本学习的强大基线。多模态融合带来显著提升PolyLLMemLLMUni-MolMLP在绝大多数性质预测上全面超越了单模态模型LLMMLP或Uni-MolMLP和传统特征方法MFXGB, 描述符XGB。例如在密度ρ、热分解温度Td、多个气体渗透率µ等任务上R²提升显著通常提升0.05-0.15。这证明了文本语义信息与3D几何信息的互补性。文本信息可能更擅长捕捉官能团、键类型等“化学身份”而3D信息则补充了分子形状、体积等“物理形态”信息。数据效率极高PolyLLMem仅使用了约3万个数据点进行训练且未进行任何数据增强。相比之下PolymerBERT、TransPolymer等先进模型需要在百万甚至上亿的虚拟或真实聚合物数据上进行预训练才能达到可比甚至更差的性能见原文表S5。PolyLLMem在数据效率上具有压倒性优势使得小实验室或初创公司也能开展高质量的聚合物性质预测。对某些性质的预测仍具挑战性模型在屈服强度σy、断裂伸长率ϵb和电导率σ等机械/电学性质上的预测精度相对较低R²在0.2-0.6之间。这很可能是因为数据噪声大这些性质的实验测量本身离散性高受样品制备、测试条件影响极大。表征复杂性这些宏观性质不仅取决于单个重复单元的化学结构更与聚合物的分子量分布、结晶度、取向、相分离等更高层次的结构密切相关而这些信息无法从PSMILES或单个重复单元的3D结构中直接获取。数据量最少数据集中这些性质的数据点也相对较少见原文表1。4.2 可解释性分析模型在看什么为了理解模型决策的依据我们采用了积分梯度法对Llama 3的Token级嵌入进行归因分析。这能告诉我们在预测某个性质时模型更关注PSMILES字符串中的哪些部分。分析流程提取Llama 3对输入PSMILES的每个Token的嵌入而非池化后的。将Token嵌入输入到训练好的PolyLLMem模型中计算目标性质如Tg的预测值。使用积分梯度法计算每个Token嵌入维度对最终预测值的贡献归因分数。由于分词器可能将化学单元切分我们根据化学知识手动合并属于同一化学基团的Token的归因分数例如将[和*]的分数合并给[*]。关键发现对应原文图5对于简单聚合物[*]CC([*])C聚丙烯模型对主链上的CC和侧链的C给予了较高关注这与烷烃链结构影响Tg的化学直觉一致。对于含氮芳环的聚合物[*]CC([*])c1ccncc1模型显著关注代表氮原子的n和芳香环标记1表明它识别出了杂原子引入对链刚性和极性的影响从而影响Tg。对于高度氟化的聚合物[*]CC([*])(F)C(O)OCC(F)(F)C(F)(F)F模型对氟原子F相关的Token赋予了最高的归因分数。这完美符合聚合物化学常识氟原子的引入会极大增加链的刚性从而导致Tg显著升高。这些分析表明PolyLLMem不仅做出了准确的预测其内部注意力机制也与人类的化学知识对齐具备良好的可解释性增加了模型的可信度。5. 常见问题、挑战与未来方向在实际复现和应用PolyLLMem的过程中你可能会遇到以下问题以下是一些排查思路和解决方案5.1 模型训练不稳定或性能不佳问题损失震荡大验证集性能远差于训练集。排查检查数据泄露确保训练集和测试集严格分离没有重复或高度相似的分子。检查输入特征确保Llama 3和Uni-Mol嵌入提取过程正确没有因为封端操作或构象生成失败导致大量无效特征如全零向量。可以计算特征向量的均值和方差检查是否有异常。调整正则化强度数据量小极易过拟合。尝试增大Dropout率0.3-0.5、增强权重衰减1e-3、或为MLP回归头添加更强的L2正则。降低LoRA的rank和alpha过大的适配器可能使模型过度适应小数据集中的噪声。尝试将rank从32降至8或4。使用更小的学习率对于微调任务学习率通常设置在1e-5到1e-4之间。从1e-4开始如果震荡则降至5e-5。5.2 嵌入提取速度慢或内存不足问题Llama 3推理耗时过长或GPU内存溢出。解决方案使用量化模型通过bitsandbytes库以4-bit或8-bit精度加载Llama 3可大幅降低内存占用和加速推理。批量处理将多个PSMILES组合成一个批次进行推理充分利用GPU并行能力。离线提取并缓存所有嵌入只需提取一次。将计算好的嵌入向量保存到磁盘后续训练直接加载避免每次训练都重复调用大模型。考虑更小的LLM可以尝试更小的语言模型如Llama 3 1B或更小的专用科学BERT虽然性能可能略有下降但效率提升巨大。5.3 对某些性质预测始终不准问题如前述对σy、ϵb等性质预测R²较低。思考与改进方向特征局限性当前输入重复单元PSMILES无法表征决定这些性质的关键因素如分子量、多分散性、拓扑结构、加工历史。未来需要引入多尺度特征例如链长信息在PSMILES中尝试包含聚合度DP的近似信息或使用BigSMILES等能描述拓扑的表示法。补充描述符在融合特征中额外加入计算得到的分子描述符如拓扑极性表面积、可旋转键数等。预训练策略可以考虑在更大的、包含聚合物序列或图结构的数据集上对LLM或Uni-Mol进行领域自适应预训练而不仅仅是微调投影层。模型架构升级当前融合网络相对简单。可以探索更复杂的多模态交互机制如交叉注意力、多尺度融合塔等。利用Token级信息当前我们使用了池化后的嵌入丢失了序列信息。未来可以探索直接使用Token级嵌入序列配合Transformer或CNN进行更深度的序列建模可能更好地捕捉局部化学环境。5.4 泛化到共聚物或复杂聚合物挑战当前工作集中于均聚物。共聚物、嵌段聚合物、支化聚合物的表示和性质预测更为复杂。思路扩展表示法采用能明确表示重复单元序列和连接方式的表示法如BigSMILES或SELFIES的聚合物扩展版本。图表示学习将聚合物视为以重复单元为节点的图使用图神经网络GNN直接处理这可能比线性序列表示更能捕获拓扑信息。分层建模先学习重复单元嵌入再通过序列模型如RNN、Transformer或图模型来聚合单元信息形成整个聚合物链的表示。PolyLLMem的成功验证了一条切实可行的道路巧妙利用现成的、强大的预训练基础模型通过轻量化的多模态融合与适配解决数据稀缺的科学计算问题。它不仅为聚合物信息学也为更广泛的材料、化学、生物领域的性质预测任务提供了一个高效、低成本且性能优异的框架范式。随着基础模型的不断进化更强大的LLM更精确的分子模型以及多模态融合技术的深化这条路径的潜力还将被进一步释放。对于研究者而言下一个前沿可能在于如何更智能地引导这些基础模型让它们不仅“看到”分子更能“理解”材料背后的物理定律和构效关系。
