从CLEVR到CLEVR-Humans：CLEVR-IEP模型迁移学习与人类问题适配全攻略

从CLEVR到CLEVR-Humans：CLEVR-IEP模型迁移学习与人类问题适配全攻略

【免费下载链接】clevr-iepInferring and Executing Programs for Visual Reasoning项目地址: https://gitcode.com/gh_mirrors/cl/clevr-iep

CLEVR-IEP（Inferring and Executing Programs for Visual Reasoning）是一款强大的视觉推理模型，能够通过推断和执行程序来解答复杂的视觉问题。本文将带你探索如何将CLEVR-IEP模型从CLEVR数据集迁移到CLEVR-Humans数据集，实现对人类自然语言问题的高效适配。

什么是CLEVR-IEP模型？

CLEVR-IEP模型采用了创新的"程序生成+执行引擎"架构，能够将视觉问题转化为可执行的程序，进而对图像内容进行推理。其核心优势在于能够处理需要多步逻辑推理的复杂问题，如"是否有比黄色物体更多的立方体？"这类涉及计数和比较的问题。

CLEVR-IEP模型架构展示了程序生成器如何将问题分解为可执行程序，以及执行引擎如何处理这些程序来得到答案

CLEVR与CLEVR-Humans数据集差异

CLEVR数据集包含合成图像和人工编写的问题，具有明确的逻辑结构和丰富的标注信息。而CLEVR-Humans数据集则包含人类自然语言提出的问题，这些问题更加多样化、口语化，且缺乏程序标注。这种差异使得直接应用在CLEVR上训练的模型到CLEVR-Humans上效果不佳，需要进行专门的迁移学习。

迁移学习准备工作

环境搭建

首先，克隆CLEVR-IEP项目仓库：

git clone https://gitcode.com/gh_mirrors/cl/clevr-iep cd clevr-iep

然后安装所需依赖：

pip install -r requirements.txt

数据准备

下载并预处理CLEVR-Humans数据集：

wget http://cs.stanford.edu/people/jcjohns/iep/CLEVR-Humans.zip -O data/CLEVR-Humans.zip unzip data/CLEVR-Humans.zip -d data

数据预处理关键步骤

CLEVR-Humans数据集的预处理是迁移学习的关键一步，因为它包含了CLEVR数据集中没有的词汇。项目提供了专门的预处理脚本scripts/preprocess_human.sh来处理这一问题：

python scripts/preprocess_questions.py \ --input_questions_json data/CLEVR_humans/CLEVR_humans_train.json \ --input_vocab_json data/input_vocab.json \ --output_h5_file data/train_human_questions.h5 \ --output_vocab_json data/human_vocab.json \ --expand_vocab 1 \ --unk_threshold 10 \ --encode_unk 1

这个脚本的主要功能是：

• 扩展词汇表以包含CLEVR-Humans特有的词汇
• 设置未知词阈值，将出现次数少于10次的词标记为未知
• 生成适用于模型训练的HDF5格式问题文件

模型迁移学习完整流程

1. 基础模型训练

首先在CLEVR数据集上训练基础模型，这一步会生成程序生成器和执行引擎的初始权重。

2. 迁移到CLEVR-Humans

CLEVR-Humans数据集没有提供真实的程序标注，因此需要使用REINFORCE算法来联合训练整个模型。项目提供了专门的训练脚本scripts/train_human.sh：

python scripts/train.py \ --train_question_h5 data/train_human_questions.h5 \ --train_features_h5 contenteditable="false">【免费下载链接】clevr-iepInferring and Executing Programs for Visual Reasoning项目地址: https://gitcode.com/gh_mirrors/cl/clevr-iep