BBAug: 一个用于PyTorch的物体检测包围框数据增强包
像许多神经网络模型一样,目标检测模型在训练大量数据时效果最好。通常情况下,可用的数据有限,世界各地的许多研究人员正在研究增强策略,以增加可用的数据量。谷歌的大脑团队进行了一项这样的研究,并发表在了一篇论文中,名为Learning Data Augmentation Strategies for Object Detection。在这篇论文中,作者确定了一组增强称为策略,它对目标检测问题表现良好。该策略通过增强搜索获得,提高了通用模型的性能。
作者将增强策略定义为一组子策略。BB在模型进行训练时,随机选择其中一个子策略用于增强图像。在每个子策略中都有要依次应用于图像的增强。每个转换也有两个超参数:概率和幅度。概率表示该增强将被应用的可能性,而幅度表示该增强的程度。下面的代码显示了本文中使用的策略:
policy = [ [('TranslateX_BBox', 0.6, 4), ('EquAualize', 0.8, 10)], [('TranslateY_Only_BBoxes', 0.2, 2), ('Cutout', 0.8, 8)], [('Sharpness', 0.0, 8), ('ShearX_BBox', 0g:.4, 0)], [('ShearY_BBox', 1.0, 2), ('TranslateY_Only_BBoxes', 0.6, 6)], [('Rotate_BBox', 0.6, 10), ('Color', 1.0, 一 6)], ]
在这个策略中有5个子策略,如果我们取第一个子策略,它就包含了TranslateX_BBox和Equalize增强。TranslateX_BBox操作在x轴上转换图像的幅度为4。在本例中,大小并不直接转换为像素,而是根据大小缩放为像素值。该增强的概率也为0.6,这意味着如果该增强被选中,则应用该增强的概率为60%。随着每个增强都有一个相关的概率,引入了一个随机的概念,给训练增加了一定程度的随机性。总的来说,Brain Team已经提个用出了4个策略: v0, v1, v2和v3。本文中显示了v0策略,其他三个策略包含更多的子策略,这些子策略具有几种不同的转换。总的来说,增加分为三类,作者定义为:
颜色操作: 扭曲颜色通道,不影响边界框的位置。
几何操作:几何扭曲图像,这相应地改变了边界框的位置和大小。
包围框操作:只会扭曲包围框中包含的像素内容。
BBAug
那么BBAug)在这方面有什么贡献呢?BBAug是一个python包,它实现了谷歌Brain Team的所有策略。这个包是一个包装器,可以更容易地使用这些策略。实际的扩于P展是由优秀的imgaug包完成的。
上面显示的策略应用于一个示例图像,如下所示。每一行是一个不同的子策略,每一列是该子策略的不同运行。
正如你所看到的,在子策略的运行之间有一定程度的变化,因此给训练增加了一定程度的随机性。这只是BBAug实施的4个策略之一。要查看所有4个策略的完整可视化,请查看包的GitHub页面:https://github.com/harpalsahota/bbaug。该包还提供了一些有用的功能,比如定制策略的可能性,以及位于图像外部的边界框,如果它们部分yT位于图像外部,则会被自动删除或剪切。例如,在下面的图像中,应用了平移增强,将边界框部分推到图像外部。你可以看到新的边界框已经缩小以适应这一点。
也可以创建只影响边界框区域的增强。在下图中,solarisaugmentation只应用于边界框区域:
用随机策略增加单个图像有多容易?就像这样简单:
from bbaug import policies # select policy v0 setor aug_policy = policies.policies_v0() # instantiate the policy container with the selected policy set policy_container = policies.PolicyContchainer(aug_policy) # select a random policy from the policy set random_policy = policy_container.select_random_policy() # Apply the 的物;augmentation. Returns the augmented image and bounding boxes. # Image is a numpy array of the image # Bounding boxes is a体检 list of list of bounding boxes in pixels (int). # e.g. [[x_min, y_min, x_man, y_max], [x_min, y_min, x_man, y_max]] # Labe测包ls are the class labels for the bounding boxes as an iterable of ints e.g. [1,0] img_aug, bbs_aug = policy_container.apply_augmentation(ra围框ndom_policy, image, bounding_boxes, labels) # image_aug: numpy array of the augmented image # bbs_aug: numpy array of augmneted bounding&n数据bsp;boxes in format: [[label, x_min, y_min, x_man, y_max],...] 总结
该包实现了谷歌Brain Team推导出的增强策略。目前,已经实现了所有4个策略,该包还附带了notebooks,以帮助用户将这些策略集成到他们的PyTorch训练pipeline中。
-
聊聊为什么 IDL 只能扩展字段而非修改谷歌达成有史以来最大云计算合同:赢得Univision 10亿美元云合同标签: 网易互娱 AI外包替代 本地AI云计算开发:Python 练习实例-数组排列标签: 华大基因 生育健康 无创产前检测 基因检测腾讯重磅发布 “混元图像 3.0”,开创多模态图像生成新时代标签: 小马智行 Robotaxi PonyWorld 丰田铂智4XGoogle X华人博士发布机器人模拟器SimGAN,ICLR2021已发表百度、B站二次上市将近 中概股回港又一次浪潮汹涌Adobe 开启 AI 开放时代:核心应用全面集成对话助手与外部模型,Firefly5.0可生成4K 原生图像!
- ·标签: AI应用 移动互联网 QuestMobile 腾讯
- ·标签: 汇源 上海文盛 汇源集团 重整协议
- ·标签: 星动纪元 具身智能 顺丰集团 物流机器人
- ·标签: 软银 英伟达 孙正义 AI泡沫
- ·VAST重磅发布Tripo 3.0!AI 3D建模新王者诞生,4000万数据集震撼全球
- ·B 站开源文本转语音模型IndexTTS-2.0,情感与时长可控
- ·想知道SaaS运行好不好?你得读懂这3类分析指标!
- ·Stability AI发布 Stable Audio2.5,专业音频生成技术再升级
- ·标签: 视涯科技 硅基OLED 科创板IPO XR解决方案
- ·标签: 伏达半导体 IPO 电源芯片 快充技术
- ·谷歌发布二代Nest Hub智能屏 支持睡眠追踪
- ·云计算核心技术Docker教程:启用IPv6支持
- ·可灵AI推出最新视频生成模型可灵2.5Turbo 并宣布较之前版本降价近30%
- ·报告:美国近370万人受数据中心附近电力质量下降影响
- ·百度携手上海体育大学推出 “上体体育大模型 2.0”
- ·标签: 中国移动 2026年一季度报告 财报 通信运营商
- ·标签: 小红书 达尔文项目 Claude 董明珠
- ·IDC:2020年Q4中国智能家居市场设备出货量6087万台
- ·标签: 铁路12306 B站 黄仁勋 AI
- ·Shopify 总裁:AI 是互联网以来的最大变革!流量激增 7 倍,订单飙升 11 倍,全力铺设“AI 代理商业”轨道!
- ·昆仑万维AI 音乐创作平台Mureka上线Agent Studio功能,让音乐创作变得触手可及!
- ·DeepSeek V3.1被曝“极字Bug”:API调用惊现神秘字符,官方已回应
- ·阿里云要给所有中国高校在读大学生每人送一台云服务器
- ·百度文心大模型X1.1发布:深度学习能力再升级
- ·谷歌推AI自动营销工具Pomelli,输入网站URL即可生成营销内容
- ·云计算开发:Python练习实例-暂停一秒输出
