旅行汽车网2020年12月3日，由中国汽车工程研究院主办的第五届i-VISTA智能网联汽车国际研讨会隆重召开， 在自动驾驶测试评价关键技术环节，华为技术有限公司、智能汽车解决方案BU首席标准法规专家夏媛发表了“智能网联汽车产品测试评价体系研究”的主旨演讲。
华为技术有限公司、智能汽车解决方案BU首席标准法规专家夏媛
以下为演讲实录：
谢谢朱教授，感谢邀请。
很高兴和大家分享华为公司对于智能网联汽车产品如何进行测试评价相关研究和思考，希望对大家未来工作有所帮助。
首先，我们先说为什么要做这件事情？因为现在来说不管是调研也好还是市面很多分析也好，其实把自动驾驶分成L0到L5，这个观念大家比较深入人心，对于各种推衍的认证，在工程开发过程中都是连接在一起，但是运用到实际需要结合应用的时候要应用时候发现有一些问题，我们进行相应分析，首先这套分析机制是提供一个量化指标的，比如说什么样的车达到了L2这样的水平，至少这个分级里面应该有细化的规定，第二很多业界同事提到不同的等级对车辆的能力不是一一对应，比如L3可以在高速公路或者是城区拥堵的时候进行驾驶，但是实践起来非常困难，但是有的时候一辆L4的限制非常好的工业园区里面它可能相对来说实现要相对容易一些，所以L3和L4等级不是完全对应的关系，第三个即使对于同一个等级同一个功能而言差异化也非常大，举个例子，有AB两个车，提供高速场景的功能，我们A车可以在高速公路平直道路行驶，可以在隧道匝道行驶，B是高速平直道路，B车是60公里，A车可以超车，但是B车只能做到保持，这两辆车反映差异特别大，它只是同一个L级的水平，同样一个功能的名字。所以我们觉得要客观评价这样的智能网联汽车功能和性能的表现，实际上就成为我们智能网联汽车大规模落地之前需要思考的达成共识的一个问题。
我们又调研国内外汽车产品和测评的进展，目前来说ICD测评体系是实用L2以下，这是现有车辆的节奏是匹配，我们看看未来我们五年十年，我们发现从2020年可能是分水岭，但是欧盟联合国颁布第一个L3的法规，今年四月份法律法规进行解锁，本田也宣传自己生产L3车辆，今年L3是起飞的元年，我们看这张图，大量的公司从20年开始到25年之间，L3和L4有量产的许多，国家从18年6月份广州允许载人开始到现在，载人测试一直在开展，三部委有明确的规定了，我们觉得在现在这个时间点上启动这样的研究构建有区分度高起点的智能网联汽车产品的测试评价体系是非常有必要的。
基于这样的思考，我们提出来智能网联汽车产品可以根据这样的流程来进行验证，首先要确定这个产品的应用场景，因为一般来说除了L5都会通用，大家都会有ODD，我们分为比较常见场景，高速、室内泊车等等应用场景，对每个场景构建相应的测评场景，比如哪些场景是基础场景，我通过之后就认为它达到了一定程度的安全，在这个基础之上还有一些进阶场景，这个进阶类似于得分的牵引，这个车不但获60分还要获得100分，在中间量化，从60到100分进行量化，这是进阶场景的定义，第三个就是需要进行测试，包括仿真封闭道路测试，最重要第四步就是对这个车进行相应评价，目前主要从安全、体验、配置进行整体的思考，第五是评估之后就对这辆车进行比较客观的全面的认知了，我们后面就详细展开一下。
首先，当一辆车申明自己处于适用于高速公路一辆车或者城区的场景，就是有数据来源，大家认为是自然场景或者法规的认证场景，并且包括比较重要的是参数处理的场景，参数处理场景可能会以极端情况进行参考，然后按照大家比较常见的方法，首先我们需要的资料出据出来，把类别分别出来奠定一个功能场景，然后场景用功能进行标注，里面每个参数通过得失或者形成具体测试力，这种测试力非常非常多了，通过这种测试，这个测试力其他基础测试和进阶测试，通过测试相当于第二步要开始对这辆车进行测试了。
这辆车的测试方法就是现在国际上比较通用的是CICA的多支柱法，这个倒三角型就是可能和场景真正的包含的真正传播有关系，只有少数可以做场地测试，比较常见的场景可以做道路测试，我们刚刚说的情况和它发生的概率是左边这张图，横跨是危险程度和复杂程度，纵向是真实事件发生的概率，就是发生的概率越高，一般来说危险程度没有那么多，当你越复杂越危险这种发生不是那么常见，就是不常见所以大家忽略，或者设计的时候没有着重考虑，它分别需要用不同方法进行验证，比如行人横穿人行道，这个场景我们可以进行测试，第二比较危险，就是鬼探头这种，就是人行横穿马路而且有遮挡，最后还有一些场景很难突显出来，损失比较大，比如行人横穿还有自行车超车这种危险场景，可以通过虚拟加以测试，这是比较成熟的一些方法，就不用多说了。
刚刚三个场景流程我们简单归纳一下，首先选一辆测试车辆，我们根据它的ODD一些特性首先进行虚拟仿真验证，虚拟仿真以后给虚拟仿真有相应的评价，中间抽出比较特殊的场景进行测试，最后进行实际道路测试，首先需要获得测试道路的牌照，最后要根据ODD确定这样测试的地段，比如是申明高速路还是城区还是封闭道路，这个是不一样，在实际道路达到测试里程，附加一些功能，最后会给实际道路的测试评价，我们根据虚拟仿真就会给出这辆车的综合评价。
下面是比较重要的部分，当我们把它测完之后，场景做好了，车也做完，怎么进行评价呢？目前这个评价指数分两个块，上面是对于性能，性能由安全和体验两个维度组成，代表智能网联汽车现在所能达到的整体表现，第二个维度是配置，配置是作为性能评价的辅助评价，它的作用是用来表示这个系统和自动驾驶关键零部件硬件的水平，这个硬件水平也是代表了这个系统能够处理场景的上限，这个好理解，比如在电脑中手机中它CPU的能力代表它最高的处理能力上限，是否能够达到这个上限就和它的软件是有关系，但是硬件能力是基础能力，我们根据这样就形成三大的指标，安全、体验和配置。
先看安全评价的维度，这个维度是基于连接性的测试场景，从驾乘人员状态、自身操作，ODD、OER、行驶旅程几个方面进行评价的，驾乘人员我们都是要求驾驶员具备驾驶的条件，比如不分神，安全带系好等等，这是对人员状态的监控，第二是自身操作，就像两辆车的介绍，就是这辆车到底是能够在这个范围进行跟车还是超车可以换道这就是这辆车自己的能力，第三个是设计行驶范围，就是这辆车在怎样环境下进行操作，比如它可以走怎样的道路类型，道路的标志线是模糊还是清晰，可以看到路上出现不同的物体，是白天下安全运行还是在阴天雨天哪种条件下进行安全运行，OER是这辆车对动物或者货物，就是这辆车能够处理他们怎样的反映，当出现接管不成功或者出现这种状态汽车要有一定处理方法，比如你能够提前控制用户接管，或者在车道内停车，能够进行安全车道边停车，或者传感器失效有些车可以进行补偿，有什么进行处理，这安全性能的体现。
接下来，给大家介绍体验的维度，这个主要是分为主观评价和客观评价两个方面，有几个方面，一个是人机交互，主观就是看系统的应用，客观来说就是人机交互是否清晰，是否报警，是否清晰有效，对于舒适程度，就是乘坐的主观感受，包括减速度、变化率是否处于人比较舒适的范围之内，通行效率除了有人的主观评价，还有客观评价，监管一般是用户自己感受是否接受监管，也可以有脱离场景脱离率报警率进行反映，这是在体验维度的评价。
第三个是配置的维度，这个维度我们首先想给大家解释为什么出来配置问题，因为车辆这不是非常常见评价维度，左边是行业的分析和一些选择，我们可以看到虽然大家的自动驾驶的路线不一样，有的是视觉性，有的是其他的属性，虽然大家等级不一样，但是车辆的质量会有上升的趋势，第二个也是我们右上角一个研究报告，不同的级别驾驶和所需要的大脑算力是不一样，比如说小于L2以下可能只需要小于10％算力，我们可以从这个方面看出来，随着自动驾驶深入，各个传感器包括AI的是交互，对于大脑要求是越来越高，我们重点考察和智能网联汽车相关的关键点零部件的数量性能，这个配置最终反映处理复杂事物的上限，就像刚才举的例子，有人现在买一台电脑看它CPU的配置，买一台手机要看芯片的配置，等等的配置，像汽车要看马力的配置等等，引入智能网联汽车评价里面。
基于这样考虑，我们把配置分几个维度，第一是感知维度，这是汽车的眼睛，感知维度可以从传感器的性能对它进行评价，第二个是高清地图，主要从地图的精度和地图的更新时间，地图更新不及时对于应用来说比较滞后，第三个是车辆平台，就是汽车未来的大脑，这个脑子转得快不快，能效是多少，这是比较好的指标。
最后是对于联网的评价，现在有很多刚才的方式，这些网联数据我们拿来做什么，是做预警还是不同的车在不同的信号情况下它的性能表现也是不一样，这些方面也是可以进行评价指标。
基于刚才我们提出的三大评价指标，就是安全、体验和配置，我们做了这样的事例，这仅仅是一个例子，可以看到左边这个图把安全和性能分两个指标，刚刚给的指标都是平均权重，未来肯定不平衡，我们比较四辆车，这四辆车根据性能和配置定义出来他们属于评价图的四个象限，横轴是配置指标，纵轴是性能指标，第一辆车是高性能高配置指标，我们有一个高配置，比如传感器很多，MDC很厉害的时候希望追求得到高性能，第二辆车它位于高性能但是低配置的区间，这是非常厉害，这辆车用比较节省的配置但是居然能够达到比较好的性能，这个也是大家努力目标了，第三辆车处于高配置但是低性能区间，这个有两个原因造成，第一个我们有的人买了一个非常好的东西，但是软件做得不够好，第二个方面和策略有关系，有可能主机厂的硬件是一步到位，软件是逐渐解锁，在某一个阶段处在高性能低配置的区间，这个是为我们汽车持续升值提供指标，第四辆车，可能配置和性能都不是特别的优化，这可能也是销售人员的策略。
这个评价体系本身并不给出倾向性的推荐，但是是客观评价客观反映这辆车属于哪个水平，目前来说我们这个是第一阶段的研究，也是得到行业专家的讨论，后续我们会迭代进行研究，包括权重包括里面的参数，要进行这方面深化，我们希望对企业研发起到推动作用，第二方面对我们这样的机构提供对于智能网联汽车评价的思路，第三方面当我们评价完成之后，希望未来智能网联汽车消费者选车的时候提供依据，下阶段希望有机会带来更新的研究结果。
谢谢大家。
注：本文根据现场速记整理，未经演讲嘉宾审阅，仅作为参考资料，请勿转载！
