YOLOV8如何处理不同尺寸的图片

Question

Yolov8 和我怀疑 Yolov5 可以很好地处理非方形图像。 我看不到任何裁剪输入图像的证据，即检测到最长边的长度似乎为 go。 它是否会调整为 640x604 的正方形，这会改变物体的纵横比，使它们更难被发现？

当从预训练的 model 开始训练自定义数据集时， imgsz （图像大小）参数实际上做了什么？

Answer 1

现代 Yolo 版本，从 v3 开始，只要两边都是 32 的倍数，就可以处理任意大小的图像。这是因为主干的最大步幅为 32，它是一个全卷积网络。

训练

一个例子。 假设您通过以下方式开始试用：

from ultralytics.yolo.engine.model import YOLO
  
model = YOLO("yolov8n.pt")
results = model.train(data="coco128.yaml", imgsz=512) 

通过在 trainer.py 中打印输入到 model (im) 的trainer.py ，您将获得以下 output：

Epoch    GPU_mem   box_loss   cls_loss   dfl_loss  Instances       Size
  0%|          | 0/8 [00:00<?, ?it/s]
 torch.Size([16, 3, 512, 512])
      1/100      1.67G      1.165      1.447      1.198        226        512:  12%|█▎        | 1/8 [00:01<00:08,  1.15s/it]
 torch.Size([16, 3, 512, 512])
      1/100      1.68G      1.144      1.511       1.22        165        512:  25%|██▌       | 2/8 [00:02<00:06,  1.10s/it]
 torch.Size([16, 3, 512, 512])

因此，在训练期间，必须将图像重塑为相同的形状才能创建小批量，因为您无法连接不同形状的张量。 imgsz选择要训练的图像的大小。

预言

现在，让我们看一下预测。 假设您 select assets 下的图像作为源和 imgsz 512

from ultralytics.yolo.engine.model import YOLO
  
model = YOLO("yolov8n.pt")
results = model.predict(stream=True, imgsz=512) # source already setup

通过在predictor.py中打印原始图像形状 (im0) 和馈送到 model (im) 的图像，您将获得以下 output：

(yolov8) ➜  ultralytics git:(main) ✗ python new.py 
Ultralytics YOLOv8.0.23 🚀 Python-3.8.15 torch-1.11.0+cu102 CUDA:0 (Quadro P2000, 4032MiB)
YOLOv8n summary (fused): 168 layers, 3151904 parameters, 0 gradients, 8.7 GFLOPs
im0s (1080, 810, 3)
im torch.Size([1, 3, 512, 384])
image 1/2 /home/mikel.brostrom/ultralytics/ultralytics/assets/bus.jpg: 512x384 4 persons, 1 bus, 7.4ms
im0s (720, 1280, 3)
im torch.Size([1, 3, 288, 512])
image 2/2 /home/mikel.brostrom/ultralytics/ultralytics/assets/zidane.jpg: 288x512 3 persons, 2 ties, 5.8ms
Speed: 0.4ms pre-process, 6.6ms inference, 1.5ms postprocess per image at shape (1, 3, 512, 512)

您可以看到最长的图像边被重塑为 512。短边被重塑为最接近 32 的倍数，同时保持纵横比。 由于您不会同时提供多个图像，因此您不需要将图像重塑为相同的形状并将它们堆叠起来，从而可以避免填充。