CVFundamentals

CV核心基础WEEK1 :  基本图像处理
https://gitee.com/anjiang2020_admin/CVFundamentals
Pipeline:
0.职业规划
1.Computer Vision 的由来
2.计算机如何看到图像
3.计算机处理图像的方式，方法

作业：
   1 用滤波操作给图片去除噪声，
     选做：将自己的logo水印打到经过滤波后的照片上。
   目的：感受滤波操作的作用，用数字上的滤波操作模拟老照片真实镜头的滤波功能。
   参考步骤：
   1 拿到老师给定的图片：week1/week1_homework.png。
   2 对图片进行滤波操作。参考week1/week1_class_code_after_class.py
   3 修改滤波核的数值和滤波核的大小，调整出最好的效果。
   4 制作自己的logo水印的照片
   5 将水印添加到图片上。参考week1/week1_class_code_after_class.py

 CV核心基础WEEK2 ：认识计算机视觉
 Pipeline:
 1.    图像处理与计算机视觉
 2.    计算机视觉的输入与输出
 3.    如何解决计算机视觉的几个问题
 4.    计算机视觉第一步：图像描述子

 作业：
  
  编写计算机视觉的第0版程序。
  步骤
  1 生成10张图片，对应0,1,2,3,4,5,6,7,8,9.
  2 对这10张图片提取特征x。
  3 用一个判别器f(x)来决策输出结果y。
    这个判别器达到作用：
    当x是 “0”图片对应的特征时，y=f(x)=0
    当x是 “1”图片对应的特征时，y=f(x)=1
    当x是 “2”图片对应的特征时，y=f(x)=2
    当x是 “3”图片对应的特征时，y=f(x)=3
    当x是 “4”图片对应的特征时，y=f(x)=4
    当x是 “5”图片对应的特征时，y=f(x)=5
    当x是 “6”图片对应的特征时，y=f(x)=6
    当x是 “7”图片对应的特征时，y=f(x)=7
    当x是 “8”图片对应的特征时，y=f(x)=8
    当x是 “9”图片对应的特征时，y=f(x)=9
 4 参考代码:week2/recognize_computer_vision.py

CV核心基础WEEK3 ：经典机器学习（一）
Pipeline:
1    监督学习与非监督学习
2    第一个可训练的监督学习模型：线性回归模型的3类解法
3    使用线性模型，解决字符分类问题
4    逻辑回归模型


作业：
编写计算机视觉的第1版程序：用线性回归模型，解决数字图片分类问题，
要求：用pytorch 的auto_grad功能。

步骤：
  1 生成10张图片，对应0,1,2,3,4,5,6,7,8,9.
  2 对这10张图片提取特征x。
  3 用一个线性判别器f(x)来决策输出结果y。
  4 判别器的训练要使用梯度下降法，写代码的时候要用到pytorch 的auto_grad功能。
 达到作用：
    当x是 “0”图片对应的特征时，y=f(x)=0
    ...
    当x是 “9”图片对应的特征时，y=f(x)=9
可参考代码：
  /week3/recognize_computer_vision_linear_model.py,线性模型解决图片识别问题课程代码
  /week3/how_to_use_auto_grad.py,测试pytorch auto_grad使用方法
  /week3/data_display.ipynb 数据显示
  /week3/week2作业答案课堂讲解.ipynb
  /week3/auto_grad使用时的注意事项.ipynb
  /week3/auto_grad形式的梯度下降.ipynb
  /week3/running_jupyter.pdf,jupyter运行命令
  jupyter常用效率快捷键：https://zhuanlan.zhihu.com/p/143919082

CV核心基础WEEK4 ：经典机器学习（二）
Pipeline:
1    线性模型的局限性，以及改进方法 
2    用二分类来进行多分类：感知机
3    用逻辑回归进行多分类
4    神经网络：反向传播网络
5    【遗留】 欠拟合，过拟合与正则化
6    【遗留】 支持向量机SVM推导


作业：
已经刷爆hct66 dataset，这周就开始mnist数据集的挑战；
编写计算机视觉的的第2版程序：用3层反向传播网络来训练mnist中的100张图片。
要求：
   1 使用pytorch的auto_grad功能来编写
   2 要求随着epoch的增加，给出训练的准确度acc,和测试的准确度acc
步骤：
  1 下载并调用mnist数据集：https://github.com/anjiang2016/CVFundamentals/blob/master/week4/mnist/readme.md
  2 对mnist中的数据提取特征x。投影法可以用，但是效果不好，可以尝试用opencv 提取hog/lbp等特征
  3 用反向传播网络来决策输出结果y。
  4 反向传播网络的训练要使用梯度下降法，写代码的时候要用到pytorch 的auto_grad功能。
 期望达到精度：
    训练精度:60%
    测试精度:60%
可参考代码：
  /week4/assignment_week03_answer.py: week3作业参考答案
  /week4/recognize_computer_vision_nonlinear_model.py:用非线性模型来识别数字
  /week4/use_2class_on_multiclass.py:在htc66数据集上使用二分类进行多分类
  /week4/use_2class_on_multiclass_sigmoid.py:在htc66数据集上使用逻辑回归二分类进行多分类：w
  /week4/mnist/readme.md:mnist数据下载，读取，显示代码
  /week4/mnist_use_2class_on_multicalss.py:在mnist上使用二分类进行多分类
  /week4/mnist_bp.py:精度不好得一版bp代码
  /week4/homework_dataset: hct1000数据集【选用】

CV核心基础WEEK5 ：经典机器学习（三）
Pipeline:
5(week4遗留）欠拟合，过拟合与正则化
1    决策树中的Decision Tree,ID3,C4.5,CART 
2    无导师学习中的kmeans++

作业：
必做：使用kmeans++ 对hct66数据集聚三类
可选：使用kmeans++ 对mnist数据集聚10类，查看聚类效果。
要求：
   1 编写名字为keamspp.py的代码，实现hct66数据集三聚类。 
步骤：
  0 数据集hct66.py，可以用from hct66 import * 的方式使用
  1 先编写kmeans代码：kmeans.py，观察kmeans的结果
  2 在kmeans.py的基础上，将kmeans的算法的初始化部分做优化，按照kmeas++的理论思路进行编写
注意：kmeans原理比较清晰，没有提供参考例子，是首次需要大家把算法从原理落地到实际代码，意义非凡。自己编写的过程中，会遇到一些原理细节上实现问题，有的需要用近似得方法实现。不确定的地方要及时的提出来。

课程同步参考代码：
week5/__init__.py
week5/assignment04_code.py:week4参考作业
week5/decision_tree.py: 手动实现得决策树代码，可以看到决策树实现细节
week5/desition_tree.py: 编写decision_tree.py 的中间文件
week5/desition_tree_number.py :中间文件
week5/dt_for_num.py :临时中间文件
week5/dt_sk.py:使用sklearn库，调用数据集iris，并调用决策树工具包，实现分类。然后汇出决策树的图
week5/dt_sk_hct66.py:在hct66数据集上使用sklearn进行分类
week5/dt_sk_regressor.py :使用sklearn进行连续值预测（回归）
week5/dt_sk_regressor1.py:
week5/hct66.py :数据集hct66
week5/landmark_xgboost.py : 使用工具包xgboost完成简单人脸关键点回归
week5/load_mnist_use_xgboost.py: 使用xgboost实现mnist数据集的分类

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals/tree/一期]
CV核心基础WEEK6 ：神经网络的卷积化
Pipeline:
1    对客观世界的建模：卷积 
2    从感知机到卷积神经网络 
3    CNN:统一了题特征+决策
4。  如何加速CNN

作业：完成week6/mnist_lenet_homework.py代码的填空，采用Lenet结构的CNN对mnist数据集进行分类训练，并测试

要求：
   1 用pytorch中的nn来实现
   2 采用Lenet结构复现出结果
步骤：
  对week6/mnist_lenet_homework.py填空
  1 89行 完成lenet网络中的C1:第一个卷积层得声明
  2 94行 填入lenet网络中的C3:第二个卷积层得声明
  3 99行 填入lenet网络中的C5:第三个卷积层得声明
  4 25-29行 完成lenet的前向计算过程
  5 运行办法：python week6/mnist_lenet_homework.py 0.00001
其它参考代码：
  1 数据集mnist：参考代码:week6/conv.py 32行
  2 卷积层用nn.conv2d来实现，相关参考代码：week6/conv.py
  3 卷积的声明，更改默认weight，默认bias,对图片进行卷积，示例子代码在：week6/conv.py 的14行,27行,29行,55行
  4 图像滤波器：filter.py
  5 kmeans++资料：kmeans++.pdf
  6 kmeans参考代码1:kmeansAndkmeansPP.py
  7 kmeans参考代码2:kmeans_and_kmeansPlusPlus.py

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals/tree/一期]
CV核心基础WEEK7 ：Lenet之后的CNN优化之路
Pipeline:
1    关于优化方向的探讨
2    看看经典模型是如何做的 

作业：完成week7/week7_homework_mnist_alexnet.py代码的填空，主要为熟悉alexnet的网络结构，并掌握flops和参数量的计算方法。

要求：
   1 实现alexnet网络的正向计算过程
   2 实现参数量计算函数:print_params_num
   3 实现计算量flops计算函数:get_flops
步骤：
  对week7/week7_homework_mnist_alexnet.py填空
  1 184-209行 完成alexnet网络结构的构建
  2 162行完成一个层参数量的计算，注意区分卷积层与全连接层
  3 25行完成一个层的flops计算。
  5 运行办法：python week7/week7_homework_mnist_alexnet.py 0.00001
其它参考材料：
  1 week7/初探alexnet网络结构.pdf
  2 week7/Alexnet-imagenet2012.pdf
  3 conv2d的参数意义以及写法参考：week6/conv.py
  4 conv,pool 函数说明：week7/pytorch_api_conv_pool.pdf

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals/tree/一期]
CV核心基础WEEK8 ：Lenet之后的CNN优化之路（二）
Pipeline:
1  BGD/SGC/mini-batch GD
2  momentum/NAG
3  Ada-grad/RMS-Prop/Ada-delta
4  Ada-m

作业：比较几种optim方法：momentum,Adagrad,RMSRrop,Adadelta,Adam

要求：
   1 使用pytorch函数调用一上优化方法/或者自己按照原理实现
   2 要求，打印出loss,top1 acc，epoch，制作曲线进行比较，横轴eposh,纵轴loss&top1 acc
   3 数据使用 cifar10 dataset
建议步骤：
  1 Common_gradient_optimization_algorithms.py有比较完整的工程训练代码。
  2 参考Common_gradient_optimazation_algorithms.py 写出所需要的optim方法
  3 自己完成loss,top1_acc,epoch的记录并用matplotlib绘图
  4 cifar10的数据我传到baidudisk上了一份：链接:https://pan.baidu.com/s/1VFkX4YLiq4NmDi3hA62KVw  密码:hbr1

其它参考材料：
  1. 优化算法原理参考：An_overview_of_gradient_descent_optimization_algorithms.pdf
  2. 优化算法torch代码实现：torch.optm使用办法.pdf
  3. week7作业参考：week7_homework_mnist_alexnet_answer.py

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals/tree/一期]
CV核心基础WEEK9 ：依赖硬件算力提升模型性能：cuda编程
Pipeline:
1  Alexnet之后的积木模块 
2  GPU Schema
3  认识pycuda
4  pycuda实现矩阵乘法

作业：使用pycuda完成VGG模型的以下模块：
        1. [必做]conv
        2. pooling
        3. relu
        4. bn
        5. linear
        6. dropout
        7. backward

要求：
   1 要求用pycuda库利用gpu的多线程技术，完成卷积层的计算。
   2 可以用自己定义的kernel函数,也可以用pycuda提供的核函数
   3 自己定义核函数的时候，可以参考week9_pycuda_example_6.py来实现
   4 cifar10的数据我传到baidudisk上了一份：链接:https://pan.baidu.com/s/1VFkX4YLiq4NmDi3hA62KVw  密码:hbr1
其它参考材料：
    1. pycuda-master: pycuda源码
    2. week9_pe_5.py : 自定义核函数，打印出“hello world"
    3. week9_pe_4.py : 自定义核函数，掌握threadIdx,blockIdx等内置变量的意义。
    4. week9_pycuda_example_2.py ： 自定义加法核函数
    5. week9_pycuda_example_3.py :  自定义乘法核函数
    6. week9_pycuda_example_6.py :  自定义矩阵乘法核函数
    7. week9_pycude_example_1.py :  利用gpuarray来调用gpu进行计算。
    8. week9_cvf.py : pycuda 自带api使用,gpuarray,以及自带核函数的使用
    9. week8作业参考：cifar10/cifar10_alex.py,cifar10/cifar10_alex_.ipynb

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals]
CV核心基础WEEK10：图像分类决策层的设计总结与实践
Pipeline:
1  CNN提特征层的设计：搭积木 
2  决策功能的实现：output层的设计
3  边验证边搭建模型
4  生成output需要的groundtruth
5  经典模型Resnet/mobilenet

作业：自己完成一个分类项目：数据采集，标注，设计网络（可从头开始，也可fineturn).
       1. 每人提交10张矿泉水瓶\可乐瓶的图片到邮箱：471106585qq.com
            ![输入图片说明](https://images.gitee.com/uploads/images/2020/0715/135022_28d7b639_7401441.png "屏幕截图.png")
             ![输入图片说明](https://images.gitee.com/uploads/images/2020/0715/135042_997cd525_7401441.png "屏幕截图.png")
       2. 这次分类的图片由老师标注。统一传到modelarts标注平台标注。[检测类的项目时，老师会将图片统一传到modelarts标注平台，交给大家标注]
       3. 自行完成分类网络的决策层。体特征层可从零设计，也可使用其他网络。建议resnet18,在week10/resnet.py中有其实现，可参考
       4. 此次数据集明名为week10_dataset,永远开放的学习型数据集。

要求：
   1 提交作业时，需要提交代码，训练超参数（学习率策略，优化方法，优化epoch数，train acc,test acc)
  
其它参考材料：
    1. mobilenets论文：mobilenets_paper.pdf
    2. week9作业参考答案：pycuda_conv_week9_homework.py
    3. resnet网络搭建代码参考：resnet.py

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals]
CV核心基础WEEK11：图像检测决策层设计总结与实战(一)
Pipeline:
1  检测任务输出得数据表示 
2  用分类器做检测
3  用CNN直接回归出一个目标位置
4  用CNN直接回归出多个目标位置
5  去除冗余框：NMS
6  用CNN直接回归出多个不同种类的目标位置

作业：1 使用modelarts平台对week10-datasets进行标注，形成week10-datasets-detect 数据集.
     2 在分类模型的基础上，加上检测层，对week10-datasets进行回归检测
     说明：
       1. 检测类的项目时，老师会将图片统一传到modelarts标注平台，交给大家标注，大家需要提供一个跟modelarts平台绑定的邮箱给我，这个邮箱会是登录标注平台的账号。
       2. 自行完成检测层。自行决定：检测头的检测区域个数，每个检测区域内输出框数，类别数。
       3. 网络得backbone可以是你week10使用得网络，也可以与加载一些经典网络，也可以自行设计从头训练。
       4. IoU的实现可参考ppt.代码可自己写，网上有很多。
       5. NMS得实现可参考ppt.代码可自己写，网上代码一般含有IoU.
       4. 此次数据集明名为week10-dataset-detect ,永远开放的学习型数据集。

要求：
   1 提交作业时，需要提交代码，训练超参数（学习率策略，优化方法，优化epoch数，给出10张图片以及其对应检测结果。)
  
其它参考材料：
    1. week11/矿泉水瓶分类/bcnn_iccv15.pdf 
    2. 矿泉水瓶分类.ipynb 
    3. YOLO_V1论文：YOLO_V1.pdf 
    4. YOLO_V2论文：YOLO_V2.pdf 
    5. YOLO_V3论文：YOLO_V3.pdf 
    6. 2016CVPR会议上，作者的PPT:YOLO_CVPR_2016_ppt.pdf
    

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals]
CV核心基础WEEK12：YOLO之前：图像检测决策层设计总结与实战(二)
Pipeline:
1  如何评价检测器性能？ 
2  深度学习初次用于检测：RCNN
3  比CRNN快213倍：Fast RCNN
4  真正得端到端：Faster RCNN 
遗留问题：
        SSD得卷积层过程
        BCNN 
        week11课后作业数据处理部分代码

作业：
     1. 计算week11所设计检测器得mAP，先把每个子类别得AP算出来，然后计算mAP
     2. [选做]用region based得方法【rpn】,可能会更好  
要求：
   1. 提交作业时，需要与自己检测器相适配得mAP代码，以及总得mAP值，分类别得AP值。
  
其它参考材料：
   1. mAP 代码可参考https://github.com/Cartucho/mAP 
    

[gitee:https://gitee.com/anjiang2020_admin/CVFundamentals]
CV核心基础WEEK13：分割网络的设计
Pipeline:
1  Bilinear CNN: for fine classify
2  设计第一个深度学习分割器:FCN
3  经典分割模型
 
遗留问题：
        SSD得卷积层过程
        BCNN：双线性的意义 
        week11课后作业数据处理部分代码
        支持向量机SVM推导
        deconv
        week12作业

作业：编写一个语义分割器（建议FCN)，对图像进行分割

要求：
     1. week10_dataset标注，标注文件在https://gitee.com/anjiang2020_admin/week10-dataset
     2. dataloader的编写
     3. 按照Deeplab的思路，重新设计一个网络
FCN 参考步骤：
     1. 编写网络结构文件week13/homework_reference/fcn.py
          18行，补齐FCN32s网络各层得定义：
          [可选] 52行，补齐FCN8s各层得定义
          [可选] 71行，实现跳级结构

       2. 待准备pennfudan数据集https://www.cis.upenn.edu/~jshi/ped_html/
       车道线总体数据将会有16G,这个数据量太大，调错时间成本太高。
       所以，在一开始我们掌握模型原理阶段，需要一个小数据集
       pennfudan是一个只有52M的小型数据集，我们就用它的验证网络的有效性。尽快掌握FCN
       pennfudan数据下载地址:https://www.cis.upenn.edu/~jshi/ped_html/
       ![输入图片说明](https://images.gitee.com/uploads/images/2020/0706/195021_9b419532_7401441.png "屏幕截图.png")
       ![输入图片说明](https://images.gitee.com/uploads/images/2020/0706/200412_b841b066_7401441.png "屏幕截图.png")

       3. 预先训练好得模型:week13/homework_reference/models/文件夹下

CV核心基础WEEK14 :  计算机视觉之跟踪算法的设计
https://gitee.com/anjiang2020_admin/CVFundamentals
Pipeline:
0.week12作业
1.遗留问题处理
2.目标跟踪算法设计思路

作业：
   1 写一个tracker，跟踪水瓶（老师提供视频数据【已标注】：https://gitee.com/anjiang2020_admin/week10-dataset/blob/master/README.md#week14跟踪数据集）
     选做：MOSSE方法或者learning to track 100FPS using DNN。
   目的：掌握基于分类做跟踪的思路；掌握跟踪算法中，在线更新模型的的操作办法。
   其它文件：
        week14/CV_homework_week12
        week14/将相关滤波器跟踪算法的速度做到极致.pdf 
   视频：https://www.bilibili.com/video/BV1Y54y1273C/

CV核心基础WEEK15 :  项目研讨课
https://gitee.com/anjiang2020_admin/CVFundamentals
Pipeline:
1.week13分割项目讲解
2.week14:tracker[MOSSE]代码详解
3.week14:tracker[使用opencv]代码详解
4.dataloader的几种写法介绍

文件介绍：
  week13_segmentation,week13作业参考代码，内含数据处理，loss函数，模型等文件，直接python bottle_train.py即可完成训练。python bottle_train_gpu.py可完成gpu版本的训练。数据比较大，需要从week10-data工程上去下载:https://gitee.com/anjiang2020_admin/week10-dataset/tree/master	
  week14_tracker，week14的作业代码，内含mosse跟踪器的代码，含有使用opencv的几种跟踪器，以及跟踪所需要的数据集。