PaddleHub 自动数据增强

本示例将展示如何使用PaddleHub搜索最适合数据的数据增强策略，并将其应用到模型训练中。

依赖

请预先从pip下载auto-augment软件包

pip install auto-augment

auto-augment简述

auto-augment软件包目前支持Paddle的图像分类任务和物体检测任务。

应用时分成搜索(search)和训练(train)两个阶段

搜索阶段在预置模型上对不同算子的组合进行策略搜索，输出最优数据增强调度策略组合

**训练阶段在特定模型上应用最优调度数据增强策略组合 **

详细关于auto-augment的使用及benchmark可参考auto_augment/doc里的readme

支持任务

目前auto-augment支持paddlhub的图像分类任务。

后续会扩充到其他任务

图像分类任务

参数配置

参数配置支持yaml格式描述及json格式描述，项目中仅提供yaml格式配置模板。模板统一于configs/路径下

用户可配置参数分为task_config(任务配置)，data_config(数据配置), resource_config(资源配置)，algo_config(算法配置)， search_space(搜索空间配置)。

task_config(任务配置)

​ 任务配置细节，包括任务类型及模型细节

​ 具体字段如下:

​ run_mode: ["ray", "automl_service"], #表示后端采用服务，目前支持单机ray框架

​ work_space: 用户工作空间

​ task_type： ["classifier"] #任务类型，目前PaddleHub支持图像分类单标签，需要请使用物体检测单标签任务的增强请参考auto_augment/doc

​ classifier: 具体任务类型的配置细节,

classifier任务配置细节

• model_name: paddlehub模型名称
• epochs: int, 任务搜索轮数， 必填 , 该参数需要特殊指定
• Input_size: 模型输入尺寸
• scale_size： 数据预处理尺寸
• no_cache_image: 不缓存数据， 默认False
• use_class_map: 使用label_list 映射

data_config(数据配置)

数据配置支持多种格式输入, 包括图像分类txt标注格式， 物体检测voc标注格式， 物体检测coco标注格式.

• train_img_prefix：str. 训练集数据路径前缀

• train_ann_file：str, 训练集数据描述文件，

• val_img_prefix：str, 验证集数据路径前缀

• val_ann_file：str,验证集数据描述文件

• label_list：str, 标签文件

• delimiter： "," 数据描述文件采用的分隔符

resource_config(资源配置)

• gpu：float, 表示每个搜索进程的gpu分配资源，run_mode=="ray"模式下支持小数分配

• cpu: float, 表示每个搜索进程的cpu分配资源，run_mode=="ray"模式下支持小数分配

algo_config(算法配置)

算法配置目前仅支持PBA，后续会进一步拓展。

PBA配置

• algo_name: str, ["PBA"], 搜索算法
• algo_param:
  • perturbation_interval: 搜索扰动周期
  • num_samples：搜索进程数

search_space(搜索空间配置)

搜索空间定义， 策略搜索阶段必填， 策略应用训练会忽略。

• operators_repeat： int，默认1， 表示搜索算子的重复次数。

• operator_space： 搜索的算子空间

  1. 自定义算子模式：

     htype: str, ["choice"] 超参类型，目前支持choice枚举

     value: list, [0,0.5,1] 枚举数据

     

  2. 缩略版算子模式:

     用户只需要指定需要搜索的算子，prob, magtitue搜索空间为系统默认配置，为0-1之间。

     

  支持1，2模式混合定议

图像分类算子

["Sharpness", "Rotate", "Invert", "Brightness", "Cutout", "Equalize","TranslateY", "AutoContrast", "Color","TranslateX", "Solarize", "ShearX","Contrast", "Posterize", "ShearY", "FlipLR"]

搜索阶段

用于数据增强策略的搜索

训练阶段

在训练中应用搜索出来的数据增强策略

示例demo

Flower数据组织

cd PaddleHub/demo/autaug/
mkdir -p ./dataset
cd dataset
wget https://bj.bcebos.com/paddlehub-dataset/flower_photos.tar.gz
tar -xvf flower_photos.tar.gz

搜索流程

cd PaddleHub/demo/autaug/
bash search.sh
# 结果会以json形式dump到workspace中，用户可利用这个json文件进行训练

训练阶段

cd PaddleHub/demo/autaug/
bash train.sh