1.前言

前几篇文章使用了 ssd 进行了静态视频的输出，然后卡在了检测结果的输出上面了。使用 yolov8 的基本流程也类似

• 定义视频流地址，并使用FFmpeg启动一个进程来读取视频流，并将其转换为图像帧。
• 加载YOLOv8模型，并设置相关参数，如输入图像尺寸、阈值等。
• 循环读取每一帧图像，并将其输入到YOLOv8模型中进行目标检测。
• 处理检测结果，如筛选出置信度高的检测框、绘制边界框等。
• 可以将处理后的图像帧保存到视频文件中，也可以直接在屏幕上显示图像帧（使用OpenCV等库）

2.视频预测

使用官方默认的模型，对视频数据mp4进行标注，然后发布为 rtmp 。这里的 model 如果不在本地的话，会自动去网上下载，然后保存到本地。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69

import cv2
import subprocess
from ultralytics import YOLO

# 载入 YOLOv8 模型
model = YOLO('yolov8n.pt')

# 获取视频内容
cap = cv2.VideoCapture('./data/pedestrians.mp4')

# 获取原视频的宽度和高度
original_width = int(cap.get(cv2.CAP_PROP_FRAME_WIDTH))
original_height = int(cap.get(cv2.CAP_PROP_FRAME_HEIGHT))
fps = int(cap.get(cv2.CAP_PROP_FPS))

# 设置 FFmpeg 子进程，用于推流
rtmp_url = 'rtmp://xxx/live/test2'  # 修改为您的 NGINX RTMP 服务器地址
command = ['ffmpeg',
           '-y',
           '-f', 'rawvideo',
           '-vcodec', 'rawvideo',
           '-pix_fmt', 'bgr24',
           '-s', "{}x{}".format(original_width, original_height),
           '-r', str(fps),
           '-i', '-',
           '-c:v', 'libx264',
           '-pix_fmt', 'yuv420p',
           '-preset', 'ultrafast',
           '-f', 'flv',
           rtmp_url]

# 启动 FFmpeg 进程
proc = subprocess.Popen(command, stdin=subprocess.PIPE)

# 循环遍历视频帧
while cap.isOpened():
    # 从视频中读取一帧
    success, frame = cap.read()

    if success:
        # 对帧运行 YOLOv8 推理
        results = model(frame)
        # 获取检测结果，detections是一个包含物体坐标、类别和置信度的数组，可以根据需要进一步处理这些信息
        # detections=model.postprocess(results)

        # 在帧上可视化结果
        annotated_frame = results[0].plot()

        # 将处理后的帧写入 FFmpeg 进程
        proc.stdin.write(annotated_frame.tobytes())

        # 显示带有标注的帧
        cv2.imshow("YOLOv8 推理", annotated_frame)

        # 如果按下 'q' 键，则中断循环
        if cv2.waitKey(1) & 0xFF == ord("q"):
            break
    else:
        break

# 释放视频捕获对象
cap.release()

# 关闭 FFmpeg 进程
proc.stdin.close()
proc.wait()

# 关闭显示窗口
cv2.destroyAllWindows()

3.预测参数

model接口参数如下：

• source
  指定用于推理的数据源。可以是实时源的图像路径、视频文件、目录、URL 或设备 ID。支持多种格式和来源，可跨不同类型的输入灵活应用。默认：’ultralytics/assets’

• conf
  设置检测的最小置信度阈值。置信度低于此阈值的检测到的对象将被忽略。调整此值有助于减少误报。默认：0.25

• iou
  非极大值抑制 (NMS) 的交并集 (IoU) 阈值。较低的值会消除重叠框，从而减少检测次数，这对于减少重复项很有用。默认：0.7

• imgsz
  定义用于推理的图像大小。可以是用于调整正方形大小的单个整数 640 或（高度，宽度）元组。适当的尺寸可以提高检测精度和处理速度。默认：0.7

• half
  启用半精度 (FP16) 推理，这可以加快受支持 GPU 上的模型推理速度，同时对准确性的影响最小。默认：False

• device
  指定用于推理的设备（例如，cpu、cuda:0 或 0）。允许用户选择 CPU、特定 GPU 或其他计算设备来执行模型。默认：None

• max_det
  每个图像允许的最大检测数。限制模型在单次推理中可以检测到的对象总数，防止密集场景中的过多输出。默认：300

• vid_stride
  视频输入的帧步长。允许在视频中跳帧以加快处理速度，但会牺牲时间分辨率。值为 1 时处理每一帧，较高的值会跳过帧。默认：1

• stream_buffer
  确定是否对视频流的传入帧进行排队。如果为 False，旧帧将被丢弃以容纳新帧（针对实时应用程序进行了优化）。如果为“True”，则将新帧放入缓冲区中排队，确保不会跳过任何帧，但如果推理 FPS 低于流 FPS，则会导致延迟。默认：False

• visualize
  在推理过程中激活模型特征的可视化，提供对模型“看到”的内容的见解。对于调试和模型解释很有用。默认：False

• augment
  启用预测测试时间增强 (TTA)，可能会以推理速度为代价提高检测鲁棒性.默认：False

• agnostic_nms
  启用与类无关的非极大值抑制 (NMS)，它合并不同类的重叠框。在类重叠很常见的多类检测场景中很有用。默认：False

• classes
  将预测过滤为一组类 ID。仅返回属于指定类别的检测。对于在多类检测任务中关注相关对象很有用。按类别过滤结果。可以指定单个类别（例如class=0）或多个类别（例如class=[0,2,3]）。默认值为None，表示不进行类别过滤。默认：None

• retina_masks
  如果模型中可用，则使用高分辨率分割掩模。这可以提高分割任务的掩模质量，提供更精细的细节。默认：False

• embed
  指定从中提取特征向量或嵌入的图层。对于聚类或相似性搜索等下游任务很有用。默认：None

• show
  是否显示检测结果。如果设置为True，则会在屏幕上显示检测到的对象。默认值为False。

• save
  是否保存带有检测结果的图像。如果设置为True，则会将检测结果保存为图像文件。默认值为False。

• save_txt
  是否将检测结果保存为文本文件（.txt）。默认值为False。

• save_conf
  是否将检测结果与置信度分数一起保存。默认值为False。

• save_crop
  是否保存裁剪后的带有检测结果的图像。默认值为False。

• hide_labels
  是否隐藏标签。如果设置为True，则在显示检测结果时不显示对象标签。默认值为False。

• hide_conf
  是否隐藏置信度分数。如果设置为True，则在显示检测结果时不显示置信度分数。默认值为False。

• line_width
  边界框的线宽。如果设置为None，则根据图像大小进行自动缩放。默认值为None。

• visualize
  是否可视化模型特征。默认值为False。

• boxes
  在分割预测中显示边界框。默认值为True。

3.预测结果

通常使用 model 传入相关的参数，就可以得到一个 results 结果，其中包含了 boxes 属性，也包含了如 plot() 这样的方法。

1

results = model("bus.jpg")

Boxes object can be used to index, manipulate, and convert bounding boxes to different formats.