文章主要内容和创新点
主要内容
本文提出了一种基于属性引导的强化学习框架AttriLens-Mol，用于利用大型语言模型（LLMs）进行分子性质预测。该框架旨在解决现有LLM方法依赖人工设计提示或思维链模板、推理过程冗长且相关性不足的问题。
AttriLens-Mol通过三种奖励机制引导模型推理：
- 格式奖励：鼓励模型生成基于属性的结构化输出；
- 计数奖励：限制属性数量在3-10个，避免枚举无关属性；
- 合理性奖励：利用先进LLM（如GPT-4o）和化学信息学工具RDKit验证生成属性的相关性和准确性。
实验表明，在7B参数规模的模型（R1-Distilled-Qwen2.5和R1-Distilled-LLaMA3.1）上，通过4000个样本训练后，AttriLens-Mol的性能超过或接近监督微调模型（如Mol-Instructions、ChemDFM）和先进模型（如GPT-3.5、GPT-4o、DeepSeek-R1），且生成的属性作为可解释决策树的特征时表现更优，增强了分子性质预测的可解释性和性能。
创新点
- 属性导向的强化学习机制：首次将属性相关奖励引入纯强化学习框架，无需人工设计提示或推理步骤，激发LLM内在的分子属性知识；
- 三重奖励设计：通过格式、计数