Read Paper 《Playing for Benchmarks》

URL: http://openaccess.thecvf.com/content_ICCV_2017/papers/Richter_Playing_for_Benchmarks_ICCV_2017_paper.pdf

简介

ICCV 2017 从商业游戏GTAV中获取用于高级计算机视觉任务(语义分割、实例分割、光流、深度估计等)对评估标准数据集。

方法

1. 切分着色器 用于将素材ID和像素相关联，需要在字节码程度改动原有着色器。
2. 定义对象 根据素材ID和组合关系，在像素中分割每个实例，冲突和多样性需要投票完成。
3. 捕捉3D场景层 用于构建光流标签。
4. 追踪对象 考虑到相机和物体都会移动可能出现ID中断，这里用了一些复杂的方法保持一致性。
5. 密集映射 完成统一3D坐标和ID的建立和映射。
6. 转换着色器切片 为输出标注结果。

没有开源代码,不过也不太必要,绕过方法可以参考他们ECCV2016的论文代码

数据集

https://playing-for-benchmarks.org/download/

分析

思考

给出了商业游戏上的全面基准，可能更适合训练游戏AI。 对于真实场景，游戏中的环境毕竟是有限的组合。