1.前言

做数据预测，首先要做的就是数据标注。

• VOC标签格式，保存为xml文件。
• yolo标签格式，保存为txt文件。
• createML标签格式，保存为json格式。

2.数据收集

1.工作目的：准备AI训练用的图片，后期还需要进行数据标注，主要就是画矩形框并标明类别。

2.工作目标：尽可能多的收集各种问题类型的图片，比如：秸秆焚烧、裸土未覆盖等。

3.数据来源：可以从网上下载，也可以从历史视频中截取。在使用历史视频中的图片的时候，可以借助播放器的连续快照功能进行截图。

4.数据说明：

• 一张图片上可以有一类或者多类问题；
• 视频截取图片应从不同角度截图，远景近景等；
• 每类图片最好有1000+张，多多益善；
• 图片后缀应为.jpg;
• 图片命名应为英文+数字，可用拼音代替，可按类别进行递增编号，方便查找；
• 数据尺寸暂时不做要求
• 图片中要包含多种要素，不能只有一个物体，比如整个框都是一个待检测的物体。

3.视频数据

如何从视频中获取大量数据，首先就要将视频转为图片，可以采用人工截图的方式，另外还可以使用程序自动处理。
（1）ffmpeg

1
2
3
4
5

## ffmpeg -i 视频 -r 每秒帧数 -q:v 图片质量参数 -f 图片命名格式
ffmpeg -i "video.mp4" -r 1 -q:v 2 -f image2 vid_%d.jpeg

# 保持宽高比
ffmpeg -i "video.mp4" -vf scale = 320：-1 output_320.png

（2）这里提供了一个视频文件抽帧的代码,

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

import cv2

def main(source: str, s: int = 60) -> None:
    """
    :param source:  视频文件
    :param s:       抽帧间隔, 默认每隔60帧保存一帧
    :return:
    """
    video = cv2.VideoCapture(source)
    frame_num = 0
    success, frame = video.read()
    while success:
        if frame_num % s == 0:
            cv2.imwrite(f"./images/{frame_num // s}.png", frame)
        success, frame = video.read()
        frame_num += 1
    video.release()
    cv2.destroyAllWindows()


if __name__ == '__main__':
    main('./videos/sample.mp4')

1

ffmpeg -i input.mp4 -an -vf select='eq(pict_type\,I)' -vsync 2 -s 720*480 -f image2  dstPath/image-%03d.jpg

【8】.FFmpeg 实用命令
【9】.ffmpeg缩放视频尺寸 这里使用 scale 进行了视频缩放。1.简单重新缩放，scale = 320：240。2.保持宽高比，scale = 320：-1。3.使用变量，scale = iw * 2：ih，iw =输入宽度，ih =输入高度。4.指定缩放算法，-sws_flags选项指定用于调整大小的算法。

4.建立文件夹

建立文件夹如下，images 文件夹下存放全部待标注图片，classes.txt里面写入需要进行标注的分类，一个行一个类，比如：汽车、狗、猫

1
2
3
4

labeldata
├─ images
├─ labels
├─ classes.txt

5.标注工具

借助于标注工具，可以进行图像标注，常用的标注工具有：labelimg、VoTT、Label Studio、Make Sense、CVAT，我分别使用了 labelimg、Label Studio和CVAT，解决了很多的问题，最后我选择了 Label Studio进行标注。

6.标注规范

• （1）标注框的形状和大小
  对于不同大小的物体，标注框应完全包含住物体。并且标注框的形状尽可能接近物体形状。

• （2）标注框的位置和方向
  标注框尽可能地包围目标物体，而且标注框的位置和方向应标与实际场景中的位置和方向一致。

• （3）标签的准确性和唯一性
  每个目标物体应尽可能地被正确地标注，并且标注的标签应该与目标物体相对应。

• （4）去除冗余信息
  在标注数据时，应该去除冗余的信息，例如背景重复的物体等，以提高目标检测算法的准确性和效率。

• （5）数据集的平衡和扩充
  对于不同类别的目标物体应该平衡数据集的数量和分布，避免出现类别不平衡的情况。同时，可以通过数据扩充技术，例如翻转、旋转等操作，增加数据集的数量和多样性。

• （6）人眼难以分辨的不要标
  对于人眼难以分辨的目标，可以不进行标注，避免误导模型

• （7）不框规则
  图像模糊不清、太暗、曝光过度或不符合项目特殊规则的不框

• （8）重叠规则
  当两个目标物体有重叠时，只要不是遮挡超过一半的就可以框。允许两个框有重叠的部分，这样模型可以学会处理重叠情况