HOI研究入门：如何利用HICO/HICO-Det的600类行为列表设计你的第一个模型

HOI研究实战：从HICO/HICO-Det数据集到模型设计的完整路径

当面对HICO/HICO-Det这样包含600种人-物交互行为的数据集时，许多研究者会陷入"数据丰富但无从下手"的困境。本文将带你跨越从原始标注到可训练模型的关键步骤，重点解决三个核心问题：如何定义模型任务框架、如何处理特殊标注情况、如何设计高效的样本构造策略。

1. 任务定义与模型架构选择

HICO数据集提供的600类HOI标注（117个动词+80个名词组合）本质上是一个多标签分类问题，而HICO-Det则进一步要求同时完成检测和交互识别。这两种不同的任务需求直接决定了模型架构的设计方向。

1.1 纯分类任务架构

对于仅使用HICO分类标签的情况，典型的模型结构包含：

class HOIClassifier(nn.Module): def __init__(self, backbone='resnet50'): super().__init__() self.backbone = timm.create_model(backbone, pretrained=True) self.head = nn.Linear(2048, 600) # 600维输出对应600个HOI类别 def forward(self, x): features = self.backbone.forward_features(x) return torch.sigmoid(self.head(features)) # 多标签分类使用sigmoid

关键设计要点：

• 输出层维度必须匹配list_action中的600个类别
• 损失函数建议使用BCEWithLogitsLoss处理多标签场景
• 样本权重可根据anno_train中的正负样本比例动态调整

1.2 检测+交互的联合任务

HICO-Det需要同时处理：

1. 人体检测框（bboxhuman）
2. 物体检测框（bboxobject）
3. 交互关系判定（connection）

一个可行的双分支架构设计如下：

def build_positive_pairs(bbox_human, bbox_object, connections): """根据connection字段构造正样本对""" pos_pairs = [] for conn in connections: # 每个conn是(h_idx, o_idx)元组 human_box = bbox_human[conn[0]] obj_box = bbox_object[conn[1]] pos_pairs.append((human_box, obj_box)) return pos_pairs

2. 特殊标注处理策略

HICO标注中的ambiguous(0)和no_annotation(NaN)标签需要特别处理：

2.1 模糊样本处理方案

推荐实现代码：

# 在损失函数中处理ambiguous标签 def adjusted_bce_loss(pred, target): ambiguous_mask = (target == 0) pos_neg_mask = (target != 0) # 常规样本使用标准BCE loss = F.binary_cross_entropy_with_logits( pred[pos_neg_mask], (target[pos_neg_mask] > 0).float() ) # ambiguous样本使用软化标签 if ambiguous_mask.any(): loss += 0.3 * F.binary_cross_entropy_with_logits( pred[ambiguous_mask], torch.sigmoid(pred[ambiguous_mask].detach()) # 自监督信号 ) return loss

2.2 未标注样本的利用技巧

虽然no_annotation样本没有明确标注，但可以通过以下方式利用：

1. 负样本挖掘：对非目标物体类别可视为负样本
2. 半监督学习：用模型预测生成伪标签
3. 对比学习：构建相似样本对

3. 样本构造与数据增强

3.1 正负样本平衡策略

HICO-Det的connection字段明确指出了有效的人-物交互对，但需要主动构造负样本：

def generate_negative_pairs(bbox_human, bbox_object, connections): """生成负样本对：同一图片中未连接的h-o对""" all_pairs = itertools.product(range(len(bbox_human)), range(len(bbox_object))) connected = set(connections) return [pair for pair in all_pairs if pair not in connected]

建议的负样本采样比例：

3.2 针对HOI的特殊数据增强

除常规图像变换外，HOI任务特有的增强方式：

1. 交互保持变换：

   • 同步平移人-物对
   • 同比例缩放交互双方
   • 保持相对位置的旋转

2. 语义一致合成：

   def synthesize_hoi(image, human_boxes, obj_boxes): """将其他图片中的有效h-o对移植到当前背景""" # 实现细节省略 return augmented_image, new_connections

3. 动词-名词解耦增强：

   • 保持动词不变替换物体（如"ride horse" → "ride bicycle"）
   • 保持物体不变替换动词（如"hold cup" → "drink_from cup"）

4. 评估与优化技巧

4.1 指标选择与解读

HICO标准评估协议包含：

• 场景分类评估：常规mAP计算
• 交互检测评估：需同时满足：
  1. 人体检测IoU > 0.5
  2. 物体检测IoU > 0.5
  3. 交互分类正确

关键指标解读陷阱：

• 某些类别（如"no_interaction"）的准确率虚高
• 动词泛化性（如"hold"）影响多类别表现

4.2 实际训练中的技巧

从项目实践中总结的有效经验：

1. 渐进式训练策略：

   • 阶段一：仅训练检测分支
   • 阶段二：冻结检测，训练交互头
   • 阶段三：联合微调全部参数

2. 基于语义的关系先验：

   # 构建动词-名词共现矩阵作为先验知识 co_occurrence = torch.zeros(117, 80) for hoi in list_action: verb_idx = hoi.verb_id noun_idx = hoi.noun_id co_occurrence[verb_idx, noun_idx] += 1

3. 困难样本重加权：

   • 对罕见HOI组合（如"hose elephant"）增加权重
   • 对易混淆动词（如"hold/carry"）增加惩罚项

在具体实现时，建议先用小规模数据验证管道可行性。例如检查anno_train与bbox_train的标注一致性时，可以可视化随机样本：

def visualize_hoi(image, human_boxes, obj_boxes, connections): fig = plt.figure(figsize=(12,6)) plt.imshow(image) ax = plt.gca() for h_box in human_boxes: ax.add_patch(plt.Rectangle((h_box[0],h_box[1]), h_box[2]-h_box[0], h_box[3]-h_box[1], fill=False, edgecolor='red', linewidth=2)) for o_box in obj_boxes: ax.add_patch(plt.Rectangle((o_box[0],o_box[1]), o_box[2]-o_box[0], o_box[3]-o_box[1], fill=False, edgecolor='blue', linewidth=2)) for (h_idx, o_idx) in connections: h_center = [(human_boxes[h_idx][0]+human_boxes[h_idx][2])/2, (human_boxes[h_idx][1]+human_boxes[h_idx][3])/2] o_center = [(obj_boxes[o_idx][0]+obj_boxes[o_idx][2])/2, (obj_boxes[o_idx][1]+obj_boxes[o_idx][3])/2] plt.plot([h_center[0], o_center[0]], [h_center[1], o_center[1]], color='green', linestyle='-', linewidth=1) plt.axis('off') return fig