[New Feature] MM Grounding DINO

[hhaAndroid]

https://github.com/open-mmlab/mmdetection/blob/dev-3.x/configs/mm_grounding_dino/README.md

[hhaAndroid]

#11321

[hhaAndroid]

#11326

[hhaAndroid]

#11322

[hhaAndroid]

#11342

[wu33learn]

#11342请请问训练自己数据集时，包含多个类别，报错，[data['category_id'] = self.cat_ids[label] IndexError: list index out of range]如何解决，另外，我训练好几轮，一直都是第一个epoch效果最好，但AP,AR都是-1。感谢！

[xuans29]

#11342请请问训练自己数据集时，包含多个类别，报错，[data['category_id'] = self.cat_ids[label] IndexError: list index out of range]如何解决，另外，我训练好几轮，一直都是第一个epoch效果最好，但AP,AR都是-1。感谢！
您好，请问您解决这个问题了吗，我也出现了这个情况

[wu33learn]

嗯，你看你数据集对不对，不能有subclass啥的，应该是数据集的问题，你找找mmdetection的文档有指定的标准数据集格式。他这个代码应该是都没错的，我是改了数据集json文件就好了。 吴国成 ***@***.*** 郑州大学 学生

…

---Original--- From: ***@***.***> Date: Sun, Oct 27, 2024 16:19 PM To: ***@***.***>; Cc: ***@***.******@***.***>; Subject: Re: [open-mmlab/mmdetection] [New Feature] MM Grounding DINO (Issue#11313) #11342请请问训练自己数据集时，包含多个类别，报错，[data['category_id'] = self.cat_ids[label] IndexError: list index out of range]如何解决，另外，我训练好几轮，一直都是第一个epoch效果最好，但AP,AR都是-1。感谢！ 您好，请问您解决这个问题了吗，我也出现了这个情况 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you commented.Message ID: ***@***.***>

[librety123z]

嗯，你看你数据集对不对，不能有subclass啥的，应该是数据集的问题，你找找mmdetection的文档有指定的标准数据集格式。他这个代码应该是都没错的，我是改了数据集json文件就好了。

吴国成
@.***

郑州大学
学生
…

请问您使用的是coco数据集格式还是ovdg数据集格式呢？我两种数据集格式都有使用，但是仍然出现这样的问题，我尝试使用了以下几种格式进行训练：
1、参考coco标注：
{
"images": [
{
"height": 4096,
"width": 2896,
"id": 0,
"file_name": "0002-2.png"
},
{
"height": 4096,
"width": 2896,
"id": 1,
"file_name": "0001-1.png"
}
// 更多图像...
],
"annotations": [
{
"iscrowd": 0,
"category_id": 0,
"id": 0,
"image_id": 0,
"bbox": [1818, 734, 1994, 797],
"area": 3792,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 1,
"image_id": 0,
"bbox": [1826, 1519, 2202, 1578],
"area": 1296,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 2,
"image_id": 0,
"bbox": [1777, 2288, 1889, 2558],
"area": 76710,
"segmentation": []
}
// 更多标注...
],
"categories": [
{
"id": 0,
"name": "cat"
},
{
"id": 1,
"name": "dog"
},
{
"id": 2,
"name": "mouse"
}
]
}
2、参考ovdg格式：
{
"filename": "20002-2.png",
"height": 4096,
"width": 2896,
"detection": {
"instances": [
{"bbox": [1818, 734, 1994, 797], "label": 0, "category": "cat"},
{"bbox": [1826, 1519, 2202, 1578], "label": 1, "category": "dog"},
{"bbox": [1777, 2288, 1889, 2558], "label": 2, "category": "mouse"}
// 更多实例...
]
}
}
{
"filename": "10001-1.png",
"height": 4096,
"width": 2896,
"detection": {
"instances": [
{"bbox": [1818, 734, 1994, 797], "label": 0, "category": "cat"},
{"bbox": [1826, 1519, 2202, 1578], "label": 1, "category": "dog"},
{"bbox": [1776, 2288, 1894, 2558], "label": 2, "category": "mouse"}
// 更多实例...
]
}
}
// 更多图像...
3、参考https://github.com/open-mmlab/mmdetection/blob/main/configs/mm_grounding_dino/usage_zh-CN.md链接中的cat数据集格式：
https://download.openmmlab.com/mmyolo/data/cat_dataset.zip
{
"images": [
{
"height": 4096,
"width": 2896,
"id": 0,
"file_name": "0002-2.png"
},
{
"height": 4096,
"width": 2896,
"id": 1,
"file_name": "0001-1.png"
}
// 更多图像...
],
"categories": [
{
"id": 0,
"name": "cat"
},
{
"id": 1,
"name": "dog"
},
{
"id": 2,
"name": "mouse"
}
],
"annotations": [
{
"iscrowd": 0,
"category_id": 0,
"id": 0,
"image_id": 0,
"bbox": [1818, 734, 1994, 797],
"area": 3792,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 1,
"image_id": 0,
"bbox": [1826, 1519, 2202, 1578],
"area": 1296,
"segmentation": []
},
{
"iscrowd": 0,
"category_id": 0,
"id": 2,
"image_id": 0,
"bbox": [1777, 2288, 1889, 2558],
"area": 76710,
"segmentation": []
}
// 更多标注...
]
}

[tswc]

grounding dino里面cat数据集的训练lr咋没看到，log里面可能为什么显示全是0呢？
2025/08/10 13:55:54 - mmengine - INFO - paramwise_options -- backbone.patch_embed.projection.weight:lr=0.0
2025/08/10 13:55:54 - mmengine - INFO - paramwise_options -- backbone.patch_embed.projection.weight:weight_decay=0.0001
2025/08/10 13:55:54 - mmengine - INFO - paramwise_options -- backbone.patch_embed.projection.weight:lr_mult=0.0

实际训练里面好像又不是，迷糊了

[flysssss]

嗯，你看你数据集对不对，不能有subclass啥的，应该是数据集的问题，你找找mmdetection的文档有指定的标准数据集格式。他这个代码应该是都没错的，我是改了数据集json文件就好了。
吴国成
@.***
郑州大学
学生
…

请问您使用的是coco数据集格式还是ovdg数据集格式呢？我两种数据集格式都有使用，但是仍然出现这样的问题，我尝试使用了以下几种格式进行训练： 1、参考coco标注： { "images": [ { "height": 4096, "width": 2896, "id": 0, "file_name": "0002-2.png" }, { "height": 4096, "width": 2896, "id": 1, "file_name": "0001-1.png" } // 更多图像... ], "annotations": [ { "iscrowd": 0, "category_id": 0, "id": 0, "image_id": 0, "bbox": [1818, 734, 1994, 797], "area": 3792, "segmentation": [] }, { "iscrowd": 0, "category_id": 0, "id": 1, "image_id": 0, "bbox": [1826, 1519, 2202, 1578], "area": 1296, "segmentation": [] }, { "iscrowd": 0, "category_id": 0, "id": 2, "image_id": 0, "bbox": [1777, 2288, 1889, 2558], "area": 76710, "segmentation": [] } // 更多标注... ], "categories": [ { "id": 0, "name": "cat" }, { "id": 1, "name": "dog" }, { "id": 2, "name": "mouse" } ] } 2、参考ovdg格式： { "filename": "20002-2.png", "height": 4096, "width": 2896, "detection": { "instances": [ {"bbox": [1818, 734, 1994, 797], "label": 0, "category": "cat"}, {"bbox": [1826, 1519, 2202, 1578], "label": 1, "category": "dog"}, {"bbox": [1777, 2288, 1889, 2558], "label": 2, "category": "mouse"} // 更多实例... ] } } { "filename": "10001-1.png", "height": 4096, "width": 2896, "detection": { "instances": [ {"bbox": [1818, 734, 1994, 797], "label": 0, "category": "cat"}, {"bbox": [1826, 1519, 2202, 1578], "label": 1, "category": "dog"}, {"bbox": [1776, 2288, 1894, 2558], "label": 2, "category": "mouse"} // 更多实例... ] } } // 更多图像... 3、参考https://github.com/open-mmlab/mmdetection/blob/main/configs/mm_grounding_dino/usage_zh-CN.md链接中的cat数据集格式： https://download.openmmlab.com/mmyolo/data/cat_dataset.zip { "images": [ { "height": 4096, "width": 2896, "id": 0, "file_name": "0002-2.png" }, { "height": 4096, "width": 2896, "id": 1, "file_name": "0001-1.png" } // 更多图像... ], "categories": [ { "id": 0, "name": "cat" }, { "id": 1, "name": "dog" }, { "id": 2, "name": "mouse" } ], "annotations": [ { "iscrowd": 0, "category_id": 0, "id": 0, "image_id": 0, "bbox": [1818, 734, 1994, 797], "area": 3792, "segmentation": [] }, { "iscrowd": 0, "category_id": 0, "id": 1, "image_id": 0, "bbox": [1826, 1519, 2202, 1578], "area": 1296, "segmentation": [] }, { "iscrowd": 0, "category_id": 0, "id": 2, "image_id": 0, "bbox": [1777, 2288, 1889, 2558], "area": 76710, "segmentation": [] } // 更多标注... ] }

一样的问题，怎么调整数据集格式，val的时候都是0。而且我自定义数据集有75类，按照coco格式训练，texts输入最大只支持65类，如果超出就不识别了。已经尝试了开放词汇训练，coco闭集训练，官方示例cat的配置文件训练。愁死了

[flysssss]

如果是闭集微调训练然后推理的话，必须输入完整的类别词汇列表？@hhaAndroid 。在推理config文件已经指明类别信息了。