人货场分别指的什么 腾讯优图吴运声：计算机视觉是建立人货场三者间联系的纽带

9月18日上午，2018世界人工智能大会腾讯分论坛在上海举行，主题为“ai没有边界，智慧面向未来”。在前一天的高峰论坛上，腾讯公司董事长兼CEO马表示，人工智能的发展将使人与物、人与服务更好地连接，引领“大社交”时代。作为“数字工具箱”中的制胜法宝，人工智能、大数据和云计算共同构成了新的基础设施。腾讯要借助人工智能继续发挥“连接器”和“生态共建者”的作用。

在腾讯AI分论坛上，腾讯公布了目前的AI技术和应用成果，围绕“基础研究-场景共建-AI开放”三层架构，腾讯在人工智能领域的战略布局将持续深化。在AI的应用上，腾讯将聚焦内容、社交、医疗、零售、游戏等领域实现技术落地。

基于腾讯商城智能零售系统，消费者将从到店、逛店到购买获得更好的新消费体验，而商家则可以通过VIP &定期客户到店识别、细粒度客流统计、客流轨迹统计，全面刻画现场用户行为，实现精准营销。目前，腾讯商城已与深圳百丽国际等商场达成合作。近日，腾讯优图联合腾讯云、每日优鲜推出了最新的智能货柜解决方案，该方案基于研究中心的商品识别技术，可实现自动生成订单结算、商品关闭后“取之不尽，用之不留”的流畅购物体验，准确率达99%以上。

武运生介绍，腾讯卓越商城和智能集装箱解决方案将在超市、家居、3C数码产品、化妆品等九大零售行业持续推广。

以下是武运生演讲的记录:

大家早上好。很高兴有机会与大家分享计算机视觉技术在智慧零售中的应用。在过去的一年多时间里，腾讯在智慧零售方面做了很多事情，也建立了一套完整的基础设施，帮助传统零售行业进行数字化转型。在这个过程中，Uto首先担任了腾讯内部的顶级AI实验室，我们也利用计算机视觉技术参与了这个过程。

首先，我们来看看日常理解中的零售是什么。从历史上看，我们认为零售实际上是一个不断让用户相互联系的过程，无论是通过区域代理还是线下开店。进一步在电商时代，商家在网上开店的时候，也是在网上联系用户，那么商家怎么联系用户呢？如何留住用户？这是他们非常关心的事情。

什么是智能零售？我们认为它是一个以人为中心，以用户为主体的数据系统，可以完成线上线下联动。在我们传统的线上平台中，我们知道用户的很多行为都可以被记录和存储，但事实上，直到今天，当我们去商场附近的商店时，用户线下的很多行为都无法被记录、识别和存储。智能零售是一件非常重要的事情。我们需要数字化线下场景。我们需要把一个线下用户从他带到一个商家，他是如何在商家购物的，他对商品有什么样的兴趣，直到他是否完成交易，直到他离开商店，我们需要记录整个数据，包括他最终是否进行了回购。

等我们有了线下场景数据，就可以组合了。如果有某种方法可以将离线数据行为和在线数据行为结合起来，那么整个数据就可以以网络化的方式呈现出来。因此，对我们来说，我们认为智能零售是线上和线下开放的过程。线下行为有三个层次，一是人，二是货，三是场。

人是我想在店里观察的人。他的分布是什么，一天有多少人进来，一天开店每小时有多少人进来，男女分布如何，年龄分布如何，这些人是怎么来的，他们的购物行为如何，店内形成了什么样的步行路线，他们在哪里停留的时间最长，哪些顾客完成了购买。说到底，重复购买的比例完全是人的维度。

就商品而言，这个商家可能有100种商品或200种商品。他应该怎么安排，哪些商品应该多放，哪些商品应该少放，哪些商品对用户停留时间最长，哪些商品用户不感兴趣？我也希望得到非常深刻的洞察。

就网站而言，整个零售网站的面积在100-500平方米，网站分为不同的区域，哪些区域最受用户关注，哪些区域停留时间最长，这些都是我们非常关注的情况。

我们相信计算机视觉技术可以更好的解决这个问题，因为计算机视觉真的可以捕捉到一个人从开店开始，到购物的全过程，到是否有交易，到离开后的全过程，而我们会有相应的计算机视觉技术的支持。那么接下来，我就给大家深入介绍一下腾讯优图在智能零售方面的情况，以及我们做了哪些技术研究。

这是一个比较完整的画面。首先是底层技术研究。经过多年的积累，腾讯优图实验室积累了大量关于人脸的研究，包括人脸检测、注册、跟踪、属性、1对1人脸比对、大脸检索等。

我们在人体上做了大量的积累，比如人体检测、人体头部检测、人体头部跟踪、人体流量密度分析等等。

除了这两个基础，我们的Reid技术还涉及人体对比、单摄像头和多摄像头跟踪。

除了计算机视觉，我们还做多传感器信息融合。在这些基础研究的基础上，我们还对零售行业做了专门具体的深入研究，比如人脸建档。我们希望用户，无论是小商店，都可以来到一个每天有两三百人或者几万人的大型商业综合体。我们都希望每个进来的人都给他建立一个档案，我可以在他下次回来的时候调出这个档案。

还有空之间的轨迹匹配。通过这些研究，我们做了整合，以满足最终上层和具体业务的需求，包括人脸支付、客流分析和动线分析。我们在整个过程中都有技术支持。刚开始的时候我们做的不是很好，我们会从一线得到相应的反馈来不断优化我们的算法。

大家都接触过的第一个人脸识别技术，也刷新了多项记录。在刷脸支付中，还结合了活体检测相关技术，推出了刷脸支付方案。这里难的是描绘用户画像的方案，因为用户在场景中浏览时不配合。其次，我们做了人脸属性的识别。我想通过脸来判断一个人的年龄，判断你是否留长发，戴眼镜和口罩，通过人体来判断你穿什么颜色的衣服，短袖还是长袖，裤子还是裙子。通过这些技术，我们可以构建用户进入体育场的整个文件。第三，我们刚刚提到了REID技术。在很多场景中，我们无法捕捉人脸。我们在商场入口处有一个摄像头，试图捕捉人脸，并建立一个种子库。商场内的摄像头不一定能捕捉到人脸。在这种情况下，我们将面部与姿势、穿着和行走的特征相匹配。

还有商品识别和人货匹配的技术。我们现在有1000多种商品识别，需要做细粒度的识别。货架上的商品排列紧密，如何准确识别？还有一个不错的手势识别技术。我想判断用户是否触摸并拿起了某个产品。我们对特定场景做了研究。在研究的基础上，我们要对整个研究做出一个完整实用的解决方案。

在研究的基础上，我们推出了什么样的解决方案？首先，我们有一个智能容器解决方案；第二，我们有一个面向商家的数字化整体解决方案，叫做腾讯商城，就是将线下零售场景完全数字化。用户到店后，我会创建ID，识别老客户和VIP，刻画客户特征，建立用户档案。常客应该观察他到达商店的频率。顾客到店后，我们还需要观察用户的整个动线。对于用户在哪个区域停留了多长时间，我们需要准确分析他的行为是否触及了某个商品或者是拿起了什么商品。在购买时，有一个面对面的支付解决方案。左边一块是通过计算机视觉获得的相关数据，我们内部还有其他相关数据，结合起来形成了线上线下访问的解决方案。

首先，会有贵宾顾客来店的标识。当他们去商店时，他们直接向导购推送信息，导购可以根据这些信息提供更好的服务。其次，我们有非常细粒度的客流统计，精确到每分钟每时，精确到男女服装区的客流分布，以及整个客流的走向。整个客流的轨迹，包括他在哪个区域，热图是什么，哪个区域很热，还有哪个区域没人离开，我们会有一个热图非常直观地呈现出来。在系统信息层面，实现了多店对比。比如我们的名品在国内有很多门店，我们会对同一城市不同门店之间的数据对比有一个非常直观的展示。最后我们会有一个完整的刷脸支付解决方案，和微信支付一起，所以这个整体就是我们完整的优秀商城解决方案。

这个解决方案也是如此，在一些业务上取得了非常成功的效果。例如，在深圳百丽国际的一家商店，我们首先部署了这个系统。一个月后，店长在这个数据中发现了一些有趣的现象，那就是我们的数据告诉他，这家店的女性用户流量占比比女性用户销售额占比高10%以上，这意味着大量的女性用户没有被挖掘出来。店长发现这一信息后，向总部申请，在自己的店里增加了女装产品的展示，并专门做了女装相关产品的展示。又过了一个月，发现女性品类的销量增长了40%以上，但其他品类的商品并没有下降。而且我们还对比了其他业务的同比，不是因为有限时促销或者放假，而是因为我们深挖了里面的女性用户，这是一个非常典型的案例。

我们的另一个解决方案是智能容器，它不同地使用计算机视觉技术，它的摄像头是从容器顶部拍摄的。商品种类繁多，有排列过密、遮挡、曝光不足等。如何用技术解决这些问题，对研究者来说是一个巨大的挑战。内部研究人员使用各种方法、许多数据增强方法和STN学习仿射矩阵来解决这些问题。最后的结果很好。5月，我们初步亮相了这样一款产品。当时我们每天下单240多单，识别率达到99.05%。8月在重庆展出，产品识别率达到99.72%。这是一个非常好的案例。

以上是腾讯商城和腾讯智能容器的解决方案。未来，在超市、家居、3C数码、化妆品等九大零售行业，我们商城持续推出腾讯优商城智慧零售解决方案。谢谢大家！