Grounding DINO实战：开放词汇目标检测上手指南
Grounding DINO实战：开放词汇目标检测上手指南
适合人群：需要检测新类别但不想重新训练模型的工程师
阅读时间：约12分钟
代码环境：Python 3.10+，PyTorch 2.x，transformers 4.x
前言
传统目标检测有个痛点：想检测新类别就得重新标注、重新训练。工厂换了产品，以前检测螺丝的模型对垫圈完全没用。
Grounding DINO解决了这个问题——你只需要用文字描述你要检测什么，它就能检测出来，不需要任何训练数据。
这在工业场景非常有价值：产品线经常切换，维护多个专用模型成本太高。
项目链接见：https://github.com/IDEA-Research/GroundingDINO
一、什么是开放词汇检测
传统检测： 训练数据(螺丝标注) → 训练 → 只能检测螺丝 想检测垫圈？→ 重新标注 → 重新训练 → 部署 开放词汇检测： 输入：图片 + "screw, washer, nut" 输出：直接检测出螺丝、垫圈、螺母 不需要任何训练数据！但注意：开放词汇检测的精度通常比专用训练模型低10~15%。适合做初期验证或产品线切换过渡期使用，最终还是要用专用模型替换。
二、环境安装
# 安装依赖pipinstalltorch torchvision pipinstalltransformers>=4.35.0 pipinstalltimm# Grounding DINO依赖# 安装Grounding DINOpipinstallgroundingdino-py# 或者从源码安装# git clone https://github.com/IDEA-Research/GroundingDINO.git# cd GroundingDINO && pip install -e .三、快速上手
3.1 基本用法
importtorchimportnumpyasnpimportcv2fromPILimportImagefromgroundingdino.util.inferenceimportload_model,predictfromgroundingdino.util.utilsimportget_phrases_from_posmapclassGroundingDINO:"""Grounding DINO 快速上手封装"""def__init__(self,model_size="base",device="cuda"):""" model_size: "base" 或 "large" """self.device=deviceifmodel_size=="base":config="GroundingDINO_SwinT_OGC.py"weights="groundingdino_swint_ogc.pth"else:config="GroundingDINO_SwinB_cfg.py"weights="groundingdino_swinb_cogcoor.pth"self.model=load_model(config,weights,device=self.device)defdetect(self,image_path,text_prompt,box_threshold=0.25,text_threshold=0.2):""" 检测 image_path: 图片路径 text_prompt: 文字描述，用英文逗号分隔，如 "screw . washer . nut ." 注意：用句号 . 分隔不同类别（官方推荐格式） box_threshold: 检测框置信度阈值 text_threshold: 文字匹配阈值 """image=Image.open(image_path)image_np=np.array(image)# 运行检测boxes,logits,phrases=predict(model=self.model,image=image,caption=text_prompt,box_threshold=box_threshold,text_threshold=text_threshold,device=self.device)# 转换结果detections=[]h,w=image_np.shape[:2]forbox,logit,phraseinzip(boxes,logits,phrases):x1=int(box[0]*w)y1=int(box[1]*h)x2=int(box[2]*w)y2=int(box[3]*h)detections.append({"class":phrase.strip(),"confidence":float