毕业设计任务书 - 无人飞行器的语义地图（Semantic Map for Unmanned Aerial Vehicle）
研究主要内容
人类的空间感知没有精确计算自己所在场景的位置信息，仅仅通过场景的相似性来进行定位，即通过目前看到的场景和之前走过的那个场景相似从而实现自身的定位。因此使用深度学习来对场景进行相似性判断，并和地图库中的场景进行比对，可以模拟人的认知过程，从而实现基于视觉（非几何计算）的定位。
本课题使用视觉相似性来进行定位，并构建无人飞行器的语义地图。主要的研究内容包括：
- 单张图像的相似性判断已经比较多，而序列化的图像的场景相似性判断相对较少。研究如何将多张图像所拍摄的场景进行建模，可以构建图，然后在地图（图网络）上进行子图匹配，找到最优的匹配点。
- 如何更好的生成场景中物体的特征，可以NetVLAD或FE-Net等。
- 如何构建图卷积神经网络(Graph Convolutional Networks)来计算相似性。
- 如何将所经过的场景提取特征并保存到一个图中，从而完成语义地图的构建。
本课题采用网络的方式保存相关的研究资料等，网址为： https://gitee.com/pi-lab/research_semantic_localization
更详细的研究参考资料、参考代码、研究思路等可以在上述地址的网站找到。研究过程中，可以将思路、进展、代码、实验结果等提交上去，以方便沟通。
主要技术指标
- 匹配精度,用来衡量图片匹配的精度。
- Precision-Recall 曲线,用来衡量检索相关地点的图片的相关性。
- 内存使用量、算法复杂度，用来衡量内存使用的效率，以及算法的性能。
- 针对先前工作存在的问题所做出的改善，包括提高视觉上相似但不是同一地点的错误匹配、场景建模的性能、子图匹配等。
5．网络设计的合理性和损失函数设计的合理性。
进度和要求
- 第 1 周～第 2 周: 课程设计
- 第 3 周～第 4 周: 撰写课程设计报告
- 第 5 周: 查阅与课题有关的文献资料，撰写开题报告和任务书
- 第 6 周～第 7 周: 根据要求，分析制定设计方案，划分程序基本功能模块
- 第 8 周～第11周: 究视觉算法、深度学习网络设计、程序构成等
- 第12周～第13周: 撰写毕业论文
- 第14周～第15周: 准备毕业答辩
主要参考书及参考资料
- Cascianelli S, Costante G, Bellocchio E, et al. Robust visual semi-semantic loop closure detection by a covisibility graph and CNN features[J]. Robotics and Autonomous Systems, 2017: 53-65.
- Stumm E, Mei C, Lacroix S, et al. Location graphs for visual place recognition[C]. international conference on robotics and automation, 2015: 5475-5480.
- Niepert M, Ahmed M H, Kutzkov K, et al. Learning Convolutional Neural Networks for Graphs[J]. arXiv: Learning, 2016.
- Arandjelovic R, Gronat P, Torii A, et al. NetVLAD: CNN Architecture for Weakly Supervised Place Recognition[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018, 40(6): 1437-1451.
- Sunderhauf N, Shirazi S, Jacobson A, et al. Place Recognition with ConvNet Landmarks: Viewpoint-Robust, Condition-Robust, Training-Free[C]. robotics science and systems, 2015.
- Hou Y, Zhang H, Zhou S, et al. Tree-based indexing for real-time ConvNet landmark-based visual place recognition[J]. International Journal of Advanced Robotic Systems, 2017, 14(1).
