饿了么端智能本地生活领域探索与实践

作者：蓝色风暴端识别团队（张昭宗、汪祖臣、菜叽、展义、王佳军）

1 背景

蜂鸟骑手在餐品配送过程中会经历以下五个主要阶段：接单、到店、取货、配送、送达。其中接单、到店与取货阶段主要涉及平台及店铺方面，而配送和送达阶段则直接与顾客息息相关。骑手将餐品交付顾客手中，因此需要与顾客电话沟通、面对面完成送餐流程。
对于配送服务来说，与顾客直接接触的过程对塑造品牌口碑尤其关键。其中有两大方面特别影响顾客对于品牌的印象：送餐时间及骑手的服务质量。送餐时间是相对明确的量化指标，而骑手的服务质量则是包括多方面的一项综合评断：与顾客沟通的话术（专业的话语，得体的态度等）、骑手本身的形象（专业的送餐装备，包括穿着和餐箱等）等。
为了提高蜂鸟骑手的服务质量、履行平台的监管职责、提高骑手在送餐过程中的安全性以及提高蜂鸟品牌形象，本地生活平台会对送餐过程中的骑手进行抽查，因此诞生了蓝色风暴的抽检业务。蓝色风暴抽检过程中，会对骑手是否佩戴头盔、工服、餐箱，是否是注册骑手本人送餐等进行检查，在特殊时期还包括是否佩戴口罩等。

2 现状分析

2.1 目前流程

由于蜂鸟骑手数量众多，没有办法做到实时监管；同时全量检测势必会影响骑手效率以及增大平台运营成本。因此当前采取的策略是对骑手进行抽检。
目前抽检由质控中心（QC）进行配置。考虑到抽检本身对骑手配送会有时间影响，因此如果骑手命中抽检计划，会在当前送完最后一单时进行抽检。骑手通过蜂鸟 App 在拍完自拍照（需包含头盔、工服、人脸等信息）后上传至审核台进行审核，审核后的结果会告知骑手并同步服务中心。若不符合要求，服务中心会作出扣款处罚并将账单信息发送给骑手平台。

图1 - 骑手抽检整体流程 图2 - 骑手通过蜂鸟 App 上传自拍照流程

整个抽检流程中，在骑手拍完照片上传至审核台后，审核台首先通过 AI 进行审核。AI 审核系统会通过骑手身份证件照，对骑手抽检过程中的照片进行人脸比对，识别照片中的骑手是否符合抽检要求（是否佩戴头盔，身穿工服等）。
当 AI 审核结果较为明确时直接给出结果（如确定着装不符合要求）；反之若审核的结果不确定，则审核单会流入到人工审核，由审核人员进行二次判定。

图3 - 抽检审核流程

2.2 现有问题

通过引入 AI 审核，相比最开始的全人工审核，人工审核单数量已经大大减少。但是通过审核台上的相关数据分析发现，目前AI审核所能处理的审核单数量只占总量较少一部分，大量审核单仍需要人工参与。这是因为很多线下骑手拍照的规范性、所处环境等原因，不能严格按照要求来进行。为了履行平台的监管职责，会将存在歧义的单子流入人工。
对人工审核来说，每年的人工审核预算是有限的。在目前的审核预算下，每年都会将预算全部用完，甚至需要找其他部门要预算。同时由于预算上的限制，也无法扩大审核量，提高抽检比率。这也近一步限制着骑手形象满意度。目前在对饿了么品牌形象减分的影响因素里面，骑手形象占据最多的比例。每个月用户对于骑手的着装不整洁等等的反馈量比较多。受制于抽检量不足的限制，骑手的着装规范无法得到明确落实，C端用户对骑士形象的差评率出现走高趋势。
因此我们可以看出，无论是为了降低成本还是扩大抽检量化，提高机审比例是一件亟待解决的事情。

3 端智能方案

为了降低人工审核比例，同时确保骑手能及时的感知着装是否符合要求，我们在与淘系技术部 - 端智能团队交流后，决定将 AI 识别放在端上进行：在骑手拍照过程中直接识别骑手的装备和人脸等并实时给出对应的提示。
整个项目过程中，基础设施方面我们直接借力集团成熟的端侧推理引擎 MNN 以及配套的一站式工具 MNN 工作台，业务则分为两个步骤进行：

• 第一期先在端上试水，在骑手拍照时，AI 识别骑手符合抽检要求时主动帮骑手拍照，在现有的抽检流程上做一个辅助类的工具。并利用这些数据来验证，在端上识别是否可行。

• 第二期完全端识别，在第一期验证阶段验证端上识别确实有效的前提下，我们将整个识别过程放在端上处理。骑手在相机页面，我们会根据骑手预览画面中的视频流来识别骑手装备，如果符合要求就直接透传抽检结果给后端，以替代后端 AI 识别和人工审核。

整体架构如下：

图4 - 蜂鸟 App 蓝色风暴项目端智能整体架构

3.1 第一期：端上预识别

3.1.1 端上预识别

端上预识别作为一个辅助工具，在骑手拍照预览时，端上 AI 会识别视频流中的帧，会和骑手进行视频的捕捉交互，每一刻实时给到骑手抽检状态的反馈，便于骑手实时调整（类似支付宝刷脸场景），如下图中淡黄色框选的区域；当未识别成功时，骑手也可以手动进行拍照。整体的抽检判定流程还是走以前服务端逻辑。

图5 - 端上预识别整体流程

3.1.2 算法设计

目前一期方案：主要进行人脸检测、头盔识别和工服识别。首先对输入图像进行人脸检测，如果检测到人脸，根据人脸位置，定位到人的头顶位置，对图像进行裁剪得到头顶图像，然后将其输入到头盔分类模型，进行头盔分类，同理根据人脸位置，定位到上半身位置，对图像进行裁剪得到上半身图像，然后将上半身图像输入到工服分类模型进行工服分类。算法流程如下：

图6 - 着装识别流程设计

在蜂鸟 App 开发和本地生活研究院同学的合理结合下，产生了非常显著的业务效果。这也证明只要明确业务场景，端侧 AI 可以有效地成为业务创新的源动力。

3.1.3 效果展示

图7 - 端智能着装识别实际演示

在经过一个版本的线上验证，通过统计分析审核台和端上预识别骑手抽检数据后（见下方表格），我们可以明显看出端上预识别的结果与最终审核结果保持高度一致，二者仅相差0.0292，误差为3.3%。与此同时，在骑手抽检过程中，端上预识别也能很好的节约骑手时间，减少骑手对抽检项目的抵触情绪。

备注：通过比例 = 符合审核要求的骑手数 / 总审核的骑手数

一期基于端上智能的预识别项目，在蜂鸟 App 团队和本地生活研究院的通力合作下，对业务产生了非常显著的效果。
相信蓝色风暴项目的成功开展，也可以为大家在非电商场景下使用端智能增加一些信心。

3.2 第二期：完全端识别

3.2.1 完全端识别

在统计一期识别数据后，可以看到目前端上预识别表现良好，无论是算法准确率还是识别结果都满足取代后端审核系统的设想。通过将识别过程提前到端上，骑手能实时感知抽检过程，抽检也极短时间内给出结果。

图8 - 二期完全端识别流程概述

在骑手抽检过程中，当骑手打开照相机后，通过预览画面，比对当前骑手的面部特征是否与注册信息中一致，并对其进行活体检测。根据抽检等级要求，识别骑手是否有佩戴头盔、身穿工服等等。当所有条件都满足时，识别通过，并将识别结果透传给后端。
在骑手抽检过程中，在装备符合抽检要求的情况下，如果端上识别通过则直接通过，如果端上识别失败，可提交人工审核。就目前的数据来看，提交人工审核的这部分并不会太多。
在装备不符合要求的情况下，如果端上识别不通过，则直接给出结果。如果识别通过，就目前数据来看，这部分量也不会太多。后面我们也会持续优化算法以及做好降级到人工审核的方案。

图9 - 二期完全端识别流程设计

3.2.2 算法设计

在二期方案中，我们在已有算法的基础上，增加了口罩识别，活体检测和人脸比对功能。我们对检测到人脸的图像，进行口罩分类，识别该骑手是否佩戴口罩；同时，对于检测到的人脸，进行人脸对齐，然后根据面部特征点位置采用交互式随机动作法（包括：眨眼、张嘴、摇头和点头）进行活体检测，如果输入图像来自真实骑手，那么将该人脸对齐到标准位置，并且提取特征，和已经提取好的注册人脸的特征进行余弦距离计算，如果得到的余弦距离小于指定的阈值，那么判断为同一个人，否则则认为不是同一个人，算法流程概要如下图所示：

图10 - 二期完全端识别算法设计

目前完全端识别正在进展中，业务数据敬请期待。

4 总结与展望

在即时配送领域，配送员在触达客户时候的着装、话术是消费者面对品牌的第一印象。为了提升饿了么的服务质量和品牌形象，本地生活相关团队开展了服务抽检项目，通过对骑手着装的自拍照进行审核来履行平台对于蜂鸟骑手的监管职责，确保送餐过程中的安全性及品牌形象。

但现有流程下的抽检方式已无法满足蜂鸟品牌更大规模下的应用与建设，因此我们通过与淘系技术部 - 端智能团队合作，借力于其优秀的端智能基础设施 MNN 以及 MNN 工作台，将端智能实时抽检运用到骑手抽检流程中。

通过开展端上预识别项目，一方面帮助骑手提高拍照体验，在手抽检流程中节省骑手20%~25%的操作时间；另一方面也大大节省了原先人工审核中的冗长流程和成本。一期项目的成功落地也为下一阶段端智能项目的全面开展打下了坚实的基础。

而借助蓝色风暴项目，我们切实地发现端智能在本地生活领域的应用，能够有效的降低抽检业务成本、扩大抽检量以及提高抽检体验；同时也通过这个项目，本地生活蜂鸟 App 团队沉淀了一系列端智能的能力和经验，后续也会和淘系技术部 - 端智能团队合作，将其赋能给集团更多的需求方。

“阿里本地生活技术”公众号已同步开通，欢迎关注

转载：https://blog.csdn.net/lpd_tech/article/details/111272785