原文 ：如何做一个“实用”的图像数据集 - 2018.04.24

作者：Original 贾梦雷

出处： 视觉求索

编者序：

大家都说这是一个大数据的年代，人工智能的落地需要数据， 深度学习更需要海量数据. 于是， 出现了一个流行的口号：“数据就是新的石油“（Data is the new oil）. 这个比喻很形象，但容易把问题简单化. 首先，对于人工智能的应用来说，数据顶多只是原油（ crude oil），就是那种黑糊糊的液体， 要变成可以用的汽油， 还需要复杂的取舍和提炼过程. 其次，汽油对各种汽车是通用的，而人工智能的需求非常广泛， 任务各异，往往根据不同任务，要精炼不同的汽油. 更复杂的是，对于一个行业或者产品来说， 它的任务定义往往是模糊的. 那么“数据”和“任务”需要一个长期的迭代过程，这个过程成本是相当高的.

本文作者贾梦雷是中科大毕业的，其带领的阿里巴巴“图像和美”团队开发计算机视觉在时尚领域的应用，花了7 年时间迭代数据与任务. 非常感谢他与我们分享他们在第一线“炼油”的心路历程， 以及各种洞见.

引言

近年来AI受到各界关注，公司、政府及民众对于AI落地都充满期待. 在媒体的描述中，各种AI落地的场景呼之欲出. 不过在我们看来，目前AI算法在很多数据集上的成功多是学术意义上的，距离商业落地还有一段较长的路要走. 如今众多科研人员从学术界走向工业界，大量在校学生投入AI领域. 当前正是时候和大家探讨AI落地中的数据挑战. 本文的目的在于分享经验与同行探讨.

我们在阿里巴巴图像和美团队探索将AI用于时尚领域，已经有七个年头. 我们希望开发的AI产品对衣服的理解不只限于照片和文字，而是可以理解衣服本身，进而理解时尚穿搭之道、理解流行风向；我们希望这样的理解可以作用在阿里巴巴数以亿计的商品上，从而影响大众、改变行业.

让AI懂得时尚，且不说商业落地，仅从技术上听起来，就有点天方夜谭：时尚是如此主观，人都很难理解，何况机器？其实，做时尚AI的魅力也就在此——“如何客观地看待主观世界”——需要我们把严谨的科研态度和行业洞察力、想象力结合在一起，才能为机器打造一颗“时尚之心”.

让机器理解衣服，核心是制作服饰图像数据集. 我们在本文分享“时尚之心”项目中最基础也最有挑战的部分：如何制作一个“实用”的图像数据集？这里的“实用”指的是能够达到商业落地的程度. 构建一个图像数据集，即是在一定的“用途”目的下，将“知识”与“图像”做关联，并给出评价算法的“指标”.

文章结构也是按照以上四个关键词来组织的：文章第一部分是对“用途”的探讨，第二、三、四部分围绕着“知识”、“数据”和“指标”来展开，最后是总结.

一. 探究数据的“用途”

十几年前我读研究生时，方向是机器人. 有朋友问起：“你做的机器人是干什么用的？”我一时语塞，还有点气愤. 那时我做机器人，硬件从零做起，用于研究探路算法、发表学术论文. 零基础、缺经费、加上学生的目标是纯粹做研究，我压根没想过自己的机器人真能派什么用. 做学问嘛，怎么能图“有用”呢？

一方面觉得被拷问“用途”是受辱，一方面又觉得朋友问得对. 后来我常拿“做什么用”来问自己，提醒自己这个世界另有期待. 毕业后我从事计算机视觉的工作. 做图像算法比研究机器人探路更接近现实应用. 要让算法走向实用，首先要让数据集走向实用. 图像数据集在计算机视觉研究中的的作用，好比实验对象在科研工作中的作用. 实验对象的采制是否严谨合理、距离实际有多远，直接决定了科研成果是否可靠、是否能用于实际. 可以说，实验对象在相当程度上决定了科研活动的水平.

计算机视觉发展的时间还不长，人们像呵护孩子一样，鼓励新想法、包容不完美. 过去学术界对图像数据集的要求实际是比较低的，数据量大一些大家就满意了. 如果按一个成熟的科研方向来要求的话，过去二十年业界所出现的数据集，远不能让人满意. 绝大部分数据集，内在结构松散，外在用途不明，距离指导算法落地还比较远.

在过去的几年，深度学习的兴起使得计算机视觉的工具有了长足进步. 随着媒体热炒、资本涌入、政府重视，人们对于AI落地有了热切的期望. AI算法要落地实用，首先是要数据集能达到落地实用. 目前学术界的论文和竞赛所依赖的数据集，距离其所宣称的作用和意义相去甚远. 这点也是业界心照不宣的共识.

中国古代用“性、相、用”来分析一个事物，即通过“性质、显现、用途”来认识一个事物. 套用在数据集上：“性”是制作数据集的方法和原则，“相”是数据集的具体内容，“用”是数据集的用途.

在过去，论文往往着重介绍数据集的“性”和“相”，即制作方法和具体内容，而对数据集的“用”描述过于简略. 也难怪，过去的数据集基本用来验证方法本身（如分类方法、检测方法），是从学者的视角出发，而不是从实际问题出发. 业界衡量一个数据集是否成功，往往只用被引用次数、影响力大小，而忽略数据集的内在逻辑结构和外在实用价值，有点像自说自话.

我们关心AI算法的落地，就必须关心数据集的用途. 图像中的内容，可分为两大类：“自然的”和“人造的”. 自然的如风景、动物，人造的如汽车、文字. 内容为自然事物的图像，例如人脸照片，是证件照还是监控摄像头拍照，差异巨大，这是由其使用场景——用途——直接决定的. 而对于人造事物，“用途”的重要性更甚：事物的形态往往是其功能的体现，人们是通过“用途”去认识这类东西的.

2017年我去UCLA拜访朱松纯老师时，聊起当年莲花山项目在图像标注上遇到的困难. 朱老师举例说，比如标注“杯子”，杯子形态各异、难以穷举，甚至聚拢手掌也可以是杯子：人是通过“盛水”这一功能去认识杯子的，而不是具体形象——“用途”先于“表相”；而同一个杯子，也可以有不同用途，在使用者眼中有不同的理解方式. 因此标注再多图像，识别效果也未必好. 称“用途”，是从工具角度来看；从使用者的角度来看，则称为“任务”. 人总是在一定任务背景下去理解事物、操作工具. 用途和任务，属于人的认知领域，这启发他，要解决视觉问题，先要去研究综合各种感官、心理、记忆在一起的认知问题.

可见，强调“用”不仅是出于实用价值，也是加深对研究对象的理解的内在需要. 在制作数据集的过程中，“用途”作为制作者做取舍的依据，其作用会体现在各个环节、不同层面上. 接下来我们首先看到的，就是重视“用途”对于数据集中“知识”的影响.

二. 梳理专业的“知识”

2.1. 忽视专业知识，无法做出有用的数据集

我们把一个特定场景下的经验和规则，称为专业知识. 制作一个实用的图像数据集，即是将特定场景下的知识与该场景下的图像做关联. 如同制作一个工具，制作人员事先对于工具的典型使用场景必须有所了解，设计上有对该场景的考虑. 如果缺乏特定场景的经验，数据集就无法指导实践.

例如，LFW Face Database[1]是一个知名的数据集，包括13000张标注好的人脸图像. 作者的目的是制作一个“非限制条件下”的数据集，用来评价模型的人脸识别能力. 实际上，这批图像主要是采集自网络的欧美名人的正面照片，与摄像头监控、证件识别等实际场景中的照片相去甚远. 很多技术团队在此数据集上做激烈的竞争，但这些数字指标对于揭示他们的模型是否能在实际场景中发挥作用，并无太大的参考价值. 要评价模型在实际场景中的能力，需要使用特定场景的数据和知识.

有的制作者虽然使用了特定领域的数据，但缺乏专业人士的指导，只是沿用学术界惯有的方法，想当然的把一些专有名词与图像做了关联. 这样制作出的数据集可能与实际情况有很大偏差.

例如，ChestX-ray8[2]是2017年发布的一个胸部X光数据集. 制作者使用自然语言处理的一些手段对X光图像的报告单进行了文本挖掘，得到一系列疾病标签，把这些标签和对应的图像关联起来. 专业人士LukeOakden-Rayner医生[3]指出：部分疾病标签并非通过观察医疗影像得出的，而是结合其他诊断信息综合得出的……实际上（报告单的内容是），观察影像的医生在通过影像回答另一位医生的问题，对同一张图像的不同提问，可能有不同、甚至相反的回答. 因此，疾病标签和图像的关联很可能不符合实际情况. 当然，数据集的制作者也充分认识到了这个局限性. 他们基于900张报告单做了一个专家对比实验，实验表明文本挖掘得到的疾病标签准确率远未达到100%.

再举一例. DeepFashion[4]是2016年发布的一个服饰图像数据集，包括了超过80万张时装照片，被归到50个类别里. 这50个类别标签来自制作者从两个服饰网站的查询词中抽取的名词，这些标签被声明是互斥的，但实际情况并非如此. 例如毛衣（Sweater）和龟领（Turtleneck）这两个标签，毛衣属于“材质”的范畴，而龟领属于“领子设计”的范畴，两个标签在概念上并非平行对等，不能并列作为服饰的两个类别. 如图1，“龟领”类别的衣服，同时也是“毛衣”. 这类错误在DeepFashion数据集中并不少见.

图1.DeepFashion中的“龟领”标签下服装

显而易见，如果用于指导标注的知识没有被很好的梳理，那么数据集必然质量不佳，很难期望能产出好的模型；即使模型在评测中表现良好，在实际中使用也会很糟糕.

2.2. 原有知识体系往往有局限

即使能获取到专门的数据，有专业人士的帮助，数据集制作者在“知识构建”上仍需付出巨大的努力. 这是因为，知识的“用途”发生了变化.

一个领域的专业知识，原本只在该领域的专业人士之间流通，是为了人和人的沟通的；而制作数据集的目的是把人的经验传递给机器. 直接把原有知识体系照搬到机器学习中来，往往行不通，主要问题就是“不完备”和“二义性”问题.

这里的“完备”，指的是上层概念所覆盖的范围，要能被下层概念完全覆盖. 例如“中国人”可以被“南方人”和“北方人”覆盖. 如果无法完全覆盖则称为“不完备”. 这里的“二义性”，指的是同层级的两个概念，覆盖的范围有一定的重合，例如会有一部分“中国人”归属到“南方人”或“北方人”都说得通，是模棱两可的. 专业知识往往来自于人的日常经验，天然具有一定的不完备和二义性. 例如医疗影像中的疾病种类，是无法完全枚举的.

人去处理沟通中的“不完备”和“二义性”，问题不大，因为人既有生活常识、也经过一定的背景训练，可以根据经验来纠错. 而机器不行，机器就如同白纸一张的婴幼儿，接收到的往往只有标注数据，告诉他什么就是什么，辨别能力或者说容错能力非常低. 当然我们可以像训练婴幼儿一样，用多种数据训练一个有一定推理纠错能力的模型，这属于探索性的尝试，对于当下绝大部分的商业应用来说并不现实. 因此，有必要对原有知识体系做出修正，减少不完备性和二义性，以适应机器当下的学习能力.

若观察原有知识体系，可以看出它们多是从一个个实例出发、自底向上构建的，因此难以避免不完备和二义性的缺陷. 如果换个方式，一开始就注意避免不完备和二义性，自顶向下构建知识体系，这可行吗？答案是否定的. 我们虽然可以从逻辑上规避二义性，但实际层面的二义性一点不少. 例如，我们把“商品图”分为“模特图”和“非模特图”，简单理解，就是有人的图，和没有人只有商品的图. 这在逻辑上没有二义性，但实际情况例如图2，图中是穿在脚上的一双鞋，这算是模特图还是非模特图呢？

图2.穿在脚上的一双鞋

遇到这种情况，需要拆分概念，将“模特图”拆分为“手模图、腿模图、假模图、半身模特图、全身模特图”等等，如图3所示，而拆分又必然导致不完备：这些分类能穷尽模特图的所有情况吗？显然不能. 但为了在实际中让标注人员容易理解，又不得不拆分. 我们只能根据实际情况，做一个权衡.

图3. 依次为：平铺图、假模图、手模图、腿模图、全身模特图

对于“不完备”，还有一类普遍情况，值得重视. 如图4所示，我们要标注裙长，但图中无法展现裙子的全长，这属于“无法判别”的情况.

图4. 裙子被截断的图片

学术界的通常做法是抛弃这类样本，数据集里只保留可以清晰判别的样本. 这种减少二义性的措施可以理解，不过，在实用中，这种例子是不能抛弃的. 因为在实际中模型必然会碰到这种不可判别情况，没有人会为你挡驾，模型需要具备对这类情况“说不”的能力，准确的说，是打上“无法判别”标签. 因此，制作数据集时，我们要保留这部分数据、设立为“无法判别”的分类，这个措施也可看作是为了知识的“完备性”而做的努力.

以上还是专业知识来自单一人群的情况，如果是多类人群对于同一知识点有不同理解，就更复杂了，需要做跨角色的知识重建.

2.3. 跨越多种角色的知识重建

在实际中，“专业人士”可能并非单一的人群，而是在一件事的不同环节上的多种角色，他们视角不同，使用的知识体系也不同.

例如，服装的“颜色”属性，就有“计算机的颜色空间”、“潘通色卡”、“服装营销色彩”等不同知识体系. 在计算机的颜色空间中，一个点可以代表一种颜色，如在“RGB空间”中，一个（R,G,B)三元组就对应一种颜色，这可被计算机理解，但无法用于日常沟通. “潘通色卡”是国际上通用的纺织、印刷、塑胶、绘图等领域的色彩标准语言，其中国际纺织服装的版本包括2310种颜色. 这么细的划分，很难被消费者理解，服装商通常会建立一套大众可以理解的颜色标签，即“服装营销色彩”，粗分有8到10种色系，细分有上百种颜色. 以“红色”为例，如图5所示. 要将算法模型付诸实用，我们就要打通这三套颜色体系、做知识连接.

图5. 红色在不同颜色体系中的值

以上是简单的例子，更复杂的例子是服饰的“风格”属性. 在电商服饰的生产流通中，有“生产商”、“电商平台”、“零售商”三个角色，三者各自有一套“女装风格”体系：

• 生产商的风格体系，是设计师和服饰企划人员用的，用的是工业设计语言，这个体系相对完备和稳定.
• 电商平台的风格体系，是平台运营人员用的，用的是运营语言，用于管理货品、组织卖场，体系的稳定性介于生产商和零售商之间，是二者的桥梁.
• 零售商面对消费者，用的是营销语言，风格体系要根据时尚趋势和消费热点而变化，特点是灵活发散，易于消费者理解和联想.

我们可以通过图6获取三者的直观印象.

图6. 三种角色各自的风格体系

生产商的风格体系，有四个相对独立的维度，每个维度用代表该维度两极的词汇来表示，例如“男性化，女性化”是其中一个维度，其他三个维度是“经典，前卫”、“民族，现代”、“活泼，优雅”，这构成一个四维的设计空间，在服装企划人员的眼里，每件衣服都对应着这个空间中的一个位置. 例如图6中的连衣裙将落在“女性化、现代、前卫、活泼”这个象限里，服装企划人员会给出一个具体的位置.

而在电商平台风格体系，是由“欧美”、“复古”等12种标签组成的一个平铺结构，我们依此训练了模型，来给任意一件女装打标. 当一件衣服来的时候，模型会判断衣服与这些标签的匹配程度，按概率大小取前三名（一件衣服可能兼容多种风格）. 例如图6中的连衣裙被判为“甜美”的概率为79.38%，其次是“田园”和“欧美”.

零售商的风格体系是在日积月累中形成的，主要出于营销目的. 假设最近市场上流行“波西米亚”风，营销人员就找一部分有相似理念的衣服，打上“波西米亚”的标签；过一段“小清新”风盛行，就给相似理念的衣服打上“小清新”标签. 这是一种打补丁的标签积累方式，不太注重标签之间的内在逻辑. 例如图6中的连衣裙，按营销知识体系会有“乡村”、“日系”、“小清新”等标签.

做一个实用的风格体系，意味着要能贯穿从生产到营销的全过程，我们要建立一个“层次式”的知识体系，如图7所示：以稳定的工业设计知识为基底、平台运营知识为桥梁、大众营销知识为上层，用技术将其打通，使得上层的任一概念可以在下层有投影. 这样的体系，对下连接到海量商品，对上承接消费者需求，把以前分散在各个环节的、主观的、零散的行为，转化为一件系统性的工作. 这是理想化的结构，我们也在探索中.

图7. 层次式的风格体系

综上所述，要制作一个实用的数据集，需要制作者在专业人士的指导下做知识重建，这是一个需要制作者亲力亲为、勇于付出的过程，难以讨巧、无法回避. 从更大的视角来看，AI落地的过程，实际是一个促使生产的各个环节加强沟通、重建知识体系的过程，是知识从各自的孤岛走向整体的过程. 这个过程需要所有环节的人一起努力，而当中AI从业者应肩负起主要责任.

三. 数据与知识“迭代”

3.1. 数据制作的流程

如上一章介绍，知识需要被重建，因为知识的用途发生了变化：从专业人士之间的沟通到人和机器的沟通. 同时，知识的载体——数据——也发生了变化：从日常经验的数据到有组织采集的大量数据. 例如，以前服装陈列师对风格的认识，是经年累月从门店、杂志的商品中得来的，而今天算法人员会通过搜索引擎定向收集成千上万的相关图片，这是服装陈列师所没见到过的.

将采集来的大量图像与知识做关联，就是图像数据标注. 知识和数据的关系是一体两面：知识是数据的抽象，数据是知识的载体. 这个关系反映在数据集制作过程中，就是：知识会指导数据的采集和标注，而在数据的采集和标注过程中，知识又会被修正，这是一个彼此影响、反复迭代的过程. 这个过程按次序可以大致分为四个步骤：

A. 算法人员和专业人士探讨学习，做知识的转译和重整.

B. 算法人员根据知识点采集图像.

C. 标注人员学习标注规则，对图像做标注.

D. 将标注好的图像输入机器，做训练和评测.

下面按顺序介绍每个步骤中的挑战和应对，我们将看到数据和知识是如何反复迭代的.

3.2. 第一步：知识的转译和重整

首先，算法人员要消化专业知识，在专业人士指导下整理出可以标注的规则和图例解释. 在这个阶段，挑战主要是：如何对知识点做取舍.

以“领型”为例，圆领的“颈线设计”分为四类，如图8所示.

图8. 四类领线设计

在专业人士眼中，这四类颈线区分很大，但是对算法人员以及标注人员（有时这两种角色是同一个人）来说，很难把握其间的差别. 在实际图片中，衣服颈线的圆弧形依照深度和宽度的不同有各种形态，我们看过大量图片也很难选出符合标准定义的样本. 考虑到这四类颈线设计对于衣服的整体设计风格影响不大，我们合并这四类颈线为“圆领”.

又如女装的“西装领”，如图9.

图9. 西装领的分类

“西装领”的子类从视觉上难以区分，标注人员即使努力学习，标注准确率也达不到50%. 同时9个子类也意味着，投给机器的训练样本量要增加9倍，一方面是标注成本会高很多，另一方面知识粒度过细还会导致采集不到足够多的图像样本. 由于女装样式丰富，视觉刺激点较多，“西装领”子类的差别不太影响整体效果，我们取消子类的划分，都归到“西装领”.

3.3. 第二步：根据知识点来收集图像

在上一步“确认知识点”的过程中，会先采集少量图像；当知识点确认后，就进入大规模的图像采集. 由算法人员采集到的大量图像，将用于第三步的标注. 标注好的图像将用于模型训练和评测. 要让模型达到识别效果，对每个标签都需要一个最少的训练样本量，例如2000张，这个量同任务和数据都有关系，可以由经验或实验来确定. 第二步图像采集的主要挑战是：样本稀缺，即某个标签下的图像过少.

图10是我们的采集流程. 以“深V领”为例，我们用初始查询词“深V领”搜索图片，再由人工筛选出符合标签描述的图像，即“深V领的衣服图片”. 如果经人工筛选后，样本充足，就完成“深V领”的采样. 如果样本不足，就使用同义词、近义词如“低V领”、“大V领”、“鸡心领”，继续搜索，直到样本充足，或者始终仍无法获取足够多的样本.

图10. 数据采集流程

在无法获取足够多样本的情况中，有一类是由于标签用语过于专业，不会出现在在图片的日常描述中，对这种情况我们使用“类似描述”来扩充查询词. 例如“鼓肩袖”是一个专业术语，在图片描述中很少见，我们会用“肩部折叠”、“袖子褶皱”、“肩部褶皱”、“肩部蓬松”等来发起查询.

如果始终采不到足够多的样本，可以考虑知识点合并或抛弃. 例如，淘宝后台的风格标签中曾有“宫廷风”一项，在实际中“宫廷风”的衣服极少；又如在设计师语言中，袖型有“郁金香袖”一项，实际商品过少，对这些情况我们都做了抛弃. 这即是对知识体系的略微修正.

如果某标签很重要，但专家认为不能抛弃，比如某些前瞻性的设计要素，我们还可以为该标签做“悬赏”：在众包平台发布付费任务，由大众来收集图像. 使用众包平台来完成数据标注和采集任务，近年来发展迅速，已逐步进入实用.

当引入各种手段来获取数据时，要警惕一种情况：结构化噪声.

什么是“结构化噪声”呢？要从数据采集说起. 数据采集都是“有组织”的获取数据，从信息论来说，“有组织”意味着系统性的引入了新的信号，这种信号可能是噪声. 例如某些网站的每张图片都有该网站的Logo，网站Logo对于数据集就是一种“结构化噪声”——称其为“噪声”，是因为这类信号与想要的知识无关；称其“结构化”，是因为噪声信号是由采样方式引入的，是一种带有结构的系统化引入. 将带有结构化噪声的数据投给机器，模型会学到错误的相关性，是我们要努力避免的.

例如，斯坦福大学的Novoa博士讨论过一个“肿瘤”和“尺子”的例子[5]，当皮肤科医生在怀疑一种病变是肿瘤时，会借助尺子来准确的测量大小，尺子会留在照片里，见图11；模型会学习到“尺子”和“肿瘤”具有相关性，而这种相关性在实际情况中显然是不存在的.

图11. 包含有尺子的皮肤病变照片（图片来自网络）

结构化噪声的引入并非都显而易见. 例如，在购物引擎里搜索“圆领”的衣服，夏天搜到的可能多是T恤，而在冬天搜索得到的多是毛衣，不留意的话，“圆领”标签下就都是同一季的衣服；又如，在使用众包收集图像时，贡献者可能偏向某个特定的网站，该网站图片的特定样式就被带进了数据库.

因此每当引入一种采集数据的手段时，都要小心观察所获取的图像的共性，分析这个共性部分与标签的相关性. 如果相关性很强，则不是噪声，例如采集“翻领”时使用“外套”做扩展，因为翻领是在衣服的开襟上设计的，而开襟的衣服一般都是外套，“翻领”和“外套”有强相关性，所以不是噪声. 如果相关性很小，例如网站Logo，则显然是噪声，我们可以对图像做处理，去掉Logo区域. 如果实在无法去除，可以考虑放弃这种采集方式.

此外，我们还会在第四步建模环节利用模型来检测结构化噪声，将在下文介绍.

样本稀缺还有一种典型的情况，例如文字识别领域的生僻字. 全体汉字超过一万个，常用字有3500个，其余的称为生僻字. 生僻字在普通语料中极少出现，如果对语料做均匀采样或随机采样，将出现样本量越大、生僻字比例越低的情况，用来训练模型，生僻字的识别能力反而下降. 在这种情况下，“采集”的方式已经失效，需要用“生成”的方式：用机器制作生僻字的“人工合成”图像. 我们用“生成”方式来制作样本始于三年多前，最初用规则式的生成，即把生僻字的各种形变写成规则由机器来模拟；后来在一年多前开始尝试“对抗生成”[6]. 这个方向称为“少样本学习”或“小数据学习”，最近一两年开始被普遍关注，这里不展开讨论.

3.4. 第三步：采集好的图像与知识点做关联

在第三步，标注人员学习规则，对采集好的数据进行标注. 如果资源有限，算法人员也往往就是标注人员. 对一些简单任务，上一步中图10里的“人工筛选”就已经完成了实质的标注工作.

这一步主要要考虑标注人员的学习成本和标注效率. 通过标注人员的反馈，算法人员一方面改进规则、补充图例，对标注人员反复出现疑问的地方，考虑知识修正；另一方面，改进标注工具，包括流程、交互、预处理等，以提高标注效率.

经过第一步和第二步，知识体系中不合理的地方已经大部分得到解决. 如果在第三步中标注人员仍有困扰，往往困扰的地方可以引发我们深入思考、产生对数据更深的理解.

例如，我们需要判别图12中这件毛衣是“七分袖”、“九分袖”还是“长袖”. 仅看最左的平铺图的话，只能得出衣长和袖子的比例，无法判断确切的袖长；而如果单看最右这张模特图，袖子是撸起来的（这在针织衫中常见），我们也无法判断袖长；直到看到中间这幅图的上身效果，我们才能判断是“长袖”.

图12. 毛衣的三种照片

这启发我们思考商家做如此拍摄的用意：拍摄平铺图是用来展示衣服的物理属性，而拍摄模特图是用来展示穿着方式和穿搭理念——这两方面的知识对于理解衣服都是必要的，模型都要学习到.

我们再审视袖长的命名方式：“七分”、“九分”都是相对胳膊说的，人体是天然的尺子，在人体上才能得到准确测量. 我们要给出成对模特图和平铺图，标注人员才能做准确标注. 回想上一节中“结构化噪声”的例子，活检照片中的尺子，在那里是噪声，而在这里是合理的：因为衣服是为人服务的.

再举一个例子，见图13，我们要标注这件衣服的“下摆左右端点”和“衣长”. 可这是“一件棕色针织衫内搭一件白色衬衣”呢，还是“一件有白色衬衣下摆的棕色针织衫”？

图13. 一件“假两件”的上衣

这种“假两件”衣服并不少见，一度是标注人员的困扰. 如上文所述，我们认识到衣服展示有“物理属性”和“穿搭理念”的差别，就“假两件”来说，经过仔细讨论，我们认为这类图片意在表现穿搭理念，应从整体视觉效果考虑，把“假两件”判为一件，衣服下摆的左右点在白色部分，而衣长是“正常”.

经过第三步，我们对知识和数据的理解更深了.

3.5. 第四步：利用模型做迭代

好消息是终于走到了最后一步，坏消息是还要走回头路.

在第四步，算法人员把标注好的数据投给机器，做模型的训练和评测. 假设算法人员的建模调参的手艺没问题，那模型就该在一定程度上反映数据集的质量好坏、哪里有缺陷，如同一面能隐约成像的镜子. 以模型为鉴，就可以迭代改进数据集. 如下图所示.

图14.四个步骤的迭代示意图

（1）从D到C的迭代，关键词是“校验”，校验的是标注人员的标注质量. 通常我们不会把所有数据都标注完才投给机器去训练，而是分批次标注. 假设有10000个样本，我们会分2000、3000、5000三个批次. 前一个批次的样本投入训练，如果模型的训练准确率达到满意，说明标注质量合格，才进行下一个批次的标注；否则要总结经验、重新标注. 这样可以减少标注的试错成本.

（2）如果标注质量始终不过关，要检查数据采集中的问题. 实际上，我们正是利用从D到C再到B的迭代，来应对数据采集中的“样本稀缺”和“结构化噪声”问题. 如下图所示.

图15. 利用建模来采集稀缺样本的流程图

我们会模拟真实使用场景，进行随机采样，这样得到的样本于环节A和B无关，我们称之为“真实场景采样”. 我们把“真实场景采样”放到训练好的模型中去运行一遍，这个过程称为“预测”. 预测结果经过人工审核后，如果效果达到满意，就说明模型被训练得不错（即训练数据不错），数据集的“结构化噪声”得到了较好的抑制；如果预测效果不佳，说明数据集中欠缺某方面的训练样本，那把错例补充回数据集，继续训练，并更新真实采样后再做预测，直到效果满意为止.

这个过程既是克服“结构化噪声”的过程，实际上也是一种补充稀缺样本的方法，已成为我们采集数据的常规手段之一.

（3）如果需要回溯到环节A，说明知识体系中的问题跨过了第二步“采集”和第三步“标注”，直到第四步“建模”才暴露出来，这即是人的隐藏很深的认知缺陷，由机器映照出来. 这种例子很少，我们在女装“风格”数据集的建设中遇到过.

“风格”是最重要的女装属性维度之一. 如上一章介绍，生产商、电商平台、零售商各有其风格体系. 我们最初拿到的是平台运营的风格体系，当时就认识到这套体系有诸多不合理、受主观因素和个人影响很大.

这体现在标注过程中，一位服饰专家在第一天标注1000张图，第二天再标注同样的1000张图，结果就差异很大：同一件衣服第一天标“欧美风”，第二天就标“高贵风”. 即使身为专家，她也从来没有集中式看过这么大规模有组织的数据；而前后结果的差异表明，当在数据的标注过程中，人的印象被重塑了.

但也没人能告诉我们，合理的风格体系应该长什么样子，只有以这套充满问题的风格体系为起点，采集、标注、建模，通过模型暴露问题，再反馈到专业人士，思考讨论、加深理解，修正体系甚至推倒重建.

从环节D回溯到环节A，这个过程很长，要几个月时间. 我们经过了三次大的迭代，花了一年半的时间，才得到一个勉强可用的风格体系. 而建设第二章中理想化的层次式风格体系，是大得多的挑战，我们才刚刚开始.

我们的体会是：知识并非生来严谨，而是从混乱中走来. 人的认知缺陷，可以通过机器映照出来、加以改正，人和机器在彼此学习，这是AI时代之前不曾见到过的.

四. 确定性能的“指标”

数据集是用来训练和评测模型的.

数据集标注好之后，还应有一套用来评测模型的方法，就是“指标”. 知识、数据、加上指标，才是一个完整的数据集. 好的指标也体现了对于“实用”数据集的追求.

最基础的指标是准确率（P）和召回率（R），常用在搜索和分类任务中. 假设模型找回的8个结果中有4个是正例，而数据集里总共有10个正例，则准确率P=4/8=50%,召回率R=4/10=40%. P和R是一对相互制约的指标，共同刻画模型的能力.

一对（P,R）值对应是模型在固定一组参数时的表现. 通过调整模型参数，可以得到一系列的点，就连成一条“P-R曲线”，该曲线可以更全面的体现模型能力，人们用一个值“AveP”来表征，可以把 AveP 简单理解为“在一个纵轴为P，横轴为R的坐标系里，P-R曲线下方的面积”，面积越大越好. 目标检测比赛VOC从2010年后采用的指标就是AveP.

在搜索和分类任务中，识别结果就是一个实例，正例就是识别的标签与标注的标签一致. 在有些任务中，如目标检测，识别对象是一个区域，这时要多一个指标IoU. IoU描绘了识别区域与标注区域的面积重合情况，数值上就是二者交集与并集的面积比. IoU高于一个阈值则是正例. 业界通常选取IoU>0.5，例如ImageNet比赛[7]就使用IoU>0.5. 在我们的一个商用的图像搜索系统中，选择的是IoU>0.7.

当识别对象是一个序列时，如字符串，由于次序本身也是信息的一部分，就需要更精巧的指标. 在文字识别和语音识别中，普遍采用“编辑距离”作为指标，即一个字符串经过多少次“增”、“删”、“改”的操作可以变化为另一个字符串. 例如，“aboc”和“obac”之间差距为2次“改”，编辑距离为2；“真图像和美”和“图像与美好棒”差距1次“删”、1次“改”、2次“增”，编辑距离为4. 如果简单统计字符出现次数的话，“aboc”和“obac”的准确率和召回率都是100%，显然和实际不符.

评测指标还有很多，例如搜索中的R@N，这里不赘述. 另一方面还要根据情况划分难度，例如目标检测中按照图像背景复杂度分档，文字识别按照拍照质量分档等. 业界在评测方法上有很多经验，也在寻求越来越贴近实际情况的做法. 在最近的比赛COCO[8]中，一方面会考察模型取不同IoU阈值时获得的AveP值，另一方面也会根据检测物体大小的不同而区别对待. 这些做法使数据集被更合理的结构化了，也可视为数据集建设的一部分.

这里补充一些我们的经验. 有的服饰属性维度如“领型”，包括“圆领”、“方领”等标签，识别结果的对和错，就是1和0的关系；而有的属性维度如“袖长”，从短到长有7个标签，加上前文提过的“不可判别”，一共8个标签：“不可见，杯袖，短袖，五分袖，七分袖，九分袖，长袖，超长袖”，如图16所示. 我们对“袖长”的评测方法做了两步细化.

图16.袖长的标注标准示意图

首先，在“是（Y）”和“否（N）”之外，还设立了“模糊（M）”. 如果一件衣服出现在图16中黑点的位置，那么对应上面的8个标签，标注结果会是（N,N,N,N,N,N,Y,M）. 这使得对边界点的判别更加合理.

进一步观察，把“九分袖”错判为“七分袖”，和错判为“短袖”，错误程度是不同的，应区别对待，我们就引入了 标签距离，把标注结果细化为（0,0,0,3,5,7,10,8），这样更贴近实际情况.

可以看出，指标体系的丰富和细化，其实是知识的一层更精细的表达，数据集要走向实用，要重视这些细节.

五. 总结

综上所述，我们介绍了如何做一个“实用”的图像数据集.

我们首先强调了“用途”的重要性：用途是看待事物的视角，是取舍的依据.

其次，我们讨论了数据集建设的三个方面：

• 知识：专业知识的引入是必要的；知识的用途发生了变化，制作者要和专业人士一起来重建知识.
• 数据：从知识到数据，是反复迭代的过程；知识重建贯穿到了采集、标注、建模等所有环节；机器参与到知识重建的过程中来，这是前所未有的新情况.
• 指标：指标可以承载知识的一些更精细的层面，好的指标应在细节上更贴近实际.

制作实用的数据集，不仅是为了AI走向落地，也是计算机视觉自身发展的需要. 以我曾接触过的图像技术领域，人们在很多有潜力的议题上浅尝辄止，这其中有工具不得力的原因，另一大原因是研究的基础——数据集——制作不严谨，基础不牢靠，让后来者难以为继. 也难怪，倒回去十年，从事计算机视觉的人，吃饭都困难，学生毕业后往往要转行，何谈做一个实用的数据集.

今天情况已经不同，工具发展了，资源丰富了，计算机视觉在走向一门成熟的学科. 科研无外乎两件事：1. 制备实验对象、做观测；2. 分析总结、抽象出理论. 计算机科学从诞生始，不被视为“科学”，而是“工程”. 今天计算机视觉火了，而工程的味道比过去更浓，因为现在正处于工具——深度学习——大发展的时代. 长远来看，学科要发展，制作数据集上必然走向更严谨，AI从业者应更有勇气、承担责任，才不负时代的期望.

六. 作者介绍&鸣谢

贾梦雷，1998年至2005年就读于中国科学技术大学，取得本科及硕士学位. 毕业后曾任职于微软亚洲研究院和搜狗. 于2008年加入淘宝，创立了阿里巴巴最早的图像技术团队，构建了阿里集团内部应用广泛的图像技术基础设施，外部知晓的产品有图片保护产品“八载”、文字识别产品“读光”、以及时尚与AI结合的 “时尚之心”（FashionAI）.

本文谈及的经验基本都来自 “时尚之心”. 大家在年内可以在手机淘宝上用到“时尚之心”支持的应用，并可以去线下体验FashionAI门店. FashionAI全球挑战赛也在如火如荼的举行中，大家可以从以下网址获取FashionAI数据集：

http://fashionai.alibaba.com/datasets

感谢阿里巴巴“图像和美”团队的全体成员，尤其是“时尚之心”项目的同学，包括段曼妮、孔祥衡、曹阳、石克阳、王从德、王永攀等，都参与了写作. 此外，感谢香港理工大学的黄伟强教授及邹星星同学，在时尚专业知识方面对项目及本文多有贡献.

七. 文献

[1] LFW人脸数据集：http://vis-www.cs.umass.edu/lfw/

[2] ChestX-ray8医疗影像数据集：https://arxiv.org/abs/1705.02315

[3] Luke Oakden-Rayner的博客：https://lukeoakdenrayner.wordpress.com/2017/12/18/the-chestxray14-dataset-problems/

[4] DeepFashion数据集：http://mmlab.ie.cuhk.edu.hk/projects/DeepFashion.html

[5] “肿瘤”和“尺子”的例子：https://amp.thedailybeast.com/why-doctors-arent-afraid-of-better-more-efficient-ai-diagnosing-cancer

[6] 对抗生成学习：https://arxiv.org/abs/1511.06434

[7] ImageNet数据集：http://www.image-net.org/

[8] MS COCO数据集：http://cocodataset.org/