i-VISTA|清华大学车辆与运载学院副研究员王红：预期功能安全量化评价指标初探

2020年12月3日，由中国汽车工程研究院主办的第五届i-VISTA智能网联汽车国际研讨会隆重召开， 在中国智能网联汽车产业创新联盟CAICV-SOTIF工作组会议环节，清华大学车辆与运载学院副研究员、智能出行所副所长王红发表了“预期功能安全量化评价指标初探”的主旨演讲。

清华大学车辆与运载学院副研究员、智能出行所副所长王红

以下为演讲实录：

非常感谢陈老师前面对预期功能安全量化评价指标的这样一个详细的报告，研究得非常的深入，然后我的报告从更宏观的层面来给大家介绍一下我对预期功能安全量化评价指标的一个初步的想法，大家充分领域，然后后面我们看看具体是不是具有可实际的操作性。那么这个目录看上去很多内容，但实际上的话内容不是特别的多，总共是23页，第一个是预期功能安全问题及其关键的难点，那么这里就是预期功能安全定义的一个回数，预期功能安全主要关注的是功能不足，性能局限或者可合理预见的人员互用所引起的危害。

为什么加入这些内容？因为我发现今天在座的各位并不是所有的专家都对预期中完全有比较详细的了解，所以特意把这部分内容拿出来跟大家回顾一下。

那么这里道路环境包括随机的场景变换，非常规的交通参与度和交通的环境干扰。

另外自动驾驶系统的局限性，包括系统的功能局限，AR算法的局限的，另外驾驶员乘客的可合理运行的雇佣，包括事件的偏移，驾驶的疲劳以及人员的雇佣。那么这里是刚才陈老师也提到了一个典型的案例，大家都喜欢把它拿出来说事，开发这个车，把玉溪木板前面的白色卡车车厢识别为是一种白云，导致了这样一个一起事故，这就是预期功能安全一个典型的案例。

那么根据阿萨尔21448里面，我们可以看到预期功能安全最难攻克的部分其实就是阿诺阿c的位置的安全区域，这个产品部分。

另外我们在研究的过程当中，把预期功能安全分为了感知层、决策层和控制层三个层面，对预期工作安全进行研究、感知、决策控制它的划分，也对于后面我们提出预期功能安全的评价体系作为一个引述。那么当前预期工作安全的难题包括感知的不充分，这里主要是从感知层面，包括漏检和错检，另外就是度量的不准确性，这里主要是由场景的随机变换和人人工智能算法的这种不确定性，造成我们预期功能安全度量的不准确。

那么第三个就是验证不全面，测试里程长验证不全面的。那么下面就是我来跟大家探讨的重点是预期功能安全量化评价体系的一个整体的思路。下面跟大家说一下我们这样总结出来思路的一个心路历程。因为公共安全发展到后来发现很多问题，随着预期功能，随着通过智能算法的应用，它是覆盖不了所有关于预自动驾驶方面的所有的安全问题，所以才有了预期功能安全问题，也就是阿q21448的产生。

但是在现有的资料里面，就像我在前面介绍的过程当中，说的预期工作安全的评价体系，目前来看都是来自于硬件系统的功能安全评价体系，比如horror stpasmea目前上午公认的预期功能安全分析与评价方法。

在我做预期功能安全研究之初，也就是去年的7月份，在我刚研究的时候，我也跟张玉清老师交流过，我当时特别抵触功能安全的SS的评价方法，因为我认为那是对于功能安全功能失效造成的这样一个分析方法，而且它里面涉及的EMC都是零散的，我觉得并不适应我们预期功能安全的评价，但是在我后来了解的深入之后，我发现我们不能完全摒弃功能安全的评价的思路，只不过我们要在这个基础上进行放话，更适用于预期功能安全的一个评价思路。

那么在预期功能安全量化评价体系在了解的过程当中，我们会发现，因为它是伴随着人工智能的算法不确定性，我们这里面又调研了关于人工智能算法借鉴计算机系他们对于人工智能算法的不确定性的评价，因为不确定性目前来造成的就是我们预期功能安全的问题。

那么这里我们必须得跨学科跨领域交流，才能攻克我们预期功能安全。所以在感知方面和决策方面甚至预测方面，我们对预期功能安全的不确定性的评价方法进行了一个比较深入的调研。

例如在环境转移算法和不确定性评价这里，我们主要是发现了牛津大学一个叫延安盖奥的非常年轻的教授，他们提出用近似于b Bs推动的一个语义分割方法，利用它里面的MC job out，就是利用这种方法或者是公司training这两种比较典型的方法，提出了预测商和互信息，这个思路就比较贴合我们前期的就是商的概念，所以我没有追踪的他们就是1011这个团队的所有的研究，他们最初是研究人工智能算法的不确定性的，那么后来才有机会把这些不确定性方法做到我们的车辆领域。

这也就回答了刚才重庆大学王科老师的一个问题，就是预期工作安全它涉及的算法不确定性该如何进行评价，我认为这是一个非常值得有借鉴意义和学习的参考的资料。

另外在决策算法不确定性分析上，我们发现MIT和cmd他们都做了大量的工作，就是决策上所决策算法的前端就是预测算法，那么我们对预测算法对周围环境，由人和车辆他们的轨迹进行预测，如果他的预测不够准确的话，那么直接会影响到我们决策的安全。

那么这里主要是前期的研究，主要是针对于预测算法，对周围环境周围车辆和周围闲人他们预测的不确定性，如何引入到我们的决策模块里面，使得我们的决策具有预测的，这种不确定性敏感度的这样一个决策方法，那么这里面他们提出来，如果我对于周围的环境预测的不确定性高的情况下，应该采取一些降级或者是应急的处置方法，那么这里我认为也是对于预期功能安全的研究也是具有借鉴意义，所以综合前面大概是根据借鉴功能什么内容和计计算机领域对预期工作安全所有可能借鉴意义，对得出来了这样一个预期功能安全量化评价体系的一个整体的思路。

那么整体的思路可以就是说拿出来跟大家讨论一下，其实现在也是我的团队正在做的事情。

我们认为预期功能安全评价体系包括三个层面，第一个层面是系统层面，我们不管内部是什么样的构成，它的算法是具有不确定性还是怎么样，但是我们把它作为一个黑盒，我们来看它的表现在我们现有的场景这种测试场景的输入，包括功能场景逻辑场景和具体场景，另外就是建设我们预期功能安全的产品库，输入在这些场景的基础上，我们进行整体性能的一个评价，也就是结合系统级的评价，系统级的评价，我们现在就认为它必须得包括三个层面，也就是暴露度，还有严重度还有可控性，那么 exposure高度是必须要结合产品的分类评估的，估计贼的前他肯定不是离散的，不是说1234这么简单，而是通过我们可以实时的做出这样一个风险评估。

这里我们起了一个名字叫potential security combat index，也就是我们潜在的碰撞风险系数，potential security， price，index，我们可以实时的判断它的风险，那么很特别的可控性，我们是依据碰撞的一个评估，根据它的可能发生冲突的概率来定义我们可控性，所以在系统级的评价这一层，我们可以发现现在的存储是结合esc但是s和c都是跟传统的的功能安全是不一样的，进行了一个泛化。

然后这是第一层是系统层，那么第二层是构建层，这个部件就是把内部的系统打开成是一个百合，包括感知模块、预测模块、决策模块和执行模块。

那么这里面感知模块它的一个输出，也就是在我们来讲就是结构导向它的输出，包括风险率特点率，还有定位的误差等等，当然我们把定位涵盖在这模块里面，那么这里面就可以说它的根据它的结构性的导向，包括你对弱弱碱域抽检率和定位的精度等等，来评估你这一个模块它的表现怎么样。

另外同样的是决策预测模块、决策模块、执行模块等等，都是根据他们预测的结果来进行的一个评估，就是结果导向。

那么第三层要深入到算法本身，研究它的不确定性，这个也就是更适合我们公司的产品开发以及高效的这样理论的研究。比如说感知模块，它里面数据的确定性，算法的不确定性，这里面包括我们对于它是较为认知和偶然不确定性，那么这里面就通过这些不确定性，我们可以得出部件级感知的一个评价指标。

那么这也是一个例子，这个是三我们认为是第三层的一个评价，就是决策层和预测层其实也是这样，预测层是我们可以研究预测模型的不确定性，预测模型预测你是有精度的，它形成的轨迹预测出来的，它是有一个不确定性的。

另外还有决策模块，决策模块目前我们团队在研究的是决策模型的科技属性的研究，我们希望通过可解释性的研究来提出决策模块的一个评价指标，同样还有执行模块，所以这一幅图阐述了我们对预期功能安全量化评价体系的一个整体的思路，包括系统级的评价，esc部件级的评价，部件级的评价，包括结构导向的，也就是根据它输出的结果来判断，另外一部分是深入到算法本身，去研究它内部的不确定性，来进行一个评价指标的提出，整个这是三个层面。

那么这里面刚才我所说的系统级的评价指标，就是这里的一根据我们的场景出现的频度统计，既那么斯维尔写这里面提出的是潜在碰撞风险系数和潜在的一个financial field市场，另外可说value就是介绍我们可控性碰撞概率的预算，那么这里面通过通过我们整个EMC的计算来得出系统级的预期功能安全评价评价体系。

那么三第三块是感知层的预期功能安全评价体系，那么这里面是感知也是分了两块，一个是结果导向的，就是根据我数字的结果，包括我们的感知精度、漏检率、错检率等等这些来评价我们感知的结果是什么样的一个评价指标，而这里也得到了一个佐证，就是前两天跟特训李继明女博士沟通的时候，某激光雷达厂家对他们算法性能的衰退也是同样用到这样的一个方法，对于不同的检测距离，他们对未知因素的一个判断。

也就是说我们对于某某个模块的评价，不一定就是说非常复杂的算法，而是说用比较实用的，用比较大家容易理解容易接受的方法来对它进行评价。

另外就是内因导向的评价方法，内因就是评价我们算法的不确定性，而这里是我们对采用我们的卡罗州号的一个不确定性如何进行一个评价。

那么预测层的预期功能安全评价体系其实是根据预测的不确定性，把它其实也是用了MC周刊，我们基于贝叶斯推断的一个模型的不确定性分析的评估方法，然后来得出我们预测模块整个不确定性分析的一个评价指标，当然评价的指标可能会比较适用于高校做理论研究，那么也不排除应用在我们行业做预期的安全这样一个评价体系，对于预测层这块。

那么决策层这块其实主要是研究决策的可解释性和不确定性的一些评价指标，这里我们希望能够得到决策层的可解释性，还有它的不确定性的一些评价指标，这部分研究内容还是在进程当中才，所以具体的结果可能得到明年才能跟大家进行一个探讨，所以这里就是我介绍了一个评价体系的初步的思路，供大家参考，也欢迎大家就提出更多的宝贵意见。

注：本文根据现场速记整理，未经演讲嘉宾审阅，仅作为参考资料，请勿转载！