因为现今智能驾驶技术还处在发展过程，难以保证自动驾驶车在任何天气环境下和其他路面环境里都能够安全行车的。因而，应该根据此系统能力来提早设置好ODD，根据限定行车环境与行车方式，即将迎来可能出现的安全事故防患于未然。但是，对于此类软件环境初始条件来讲，一般会应该考虑怎样进行合理的检验呢？就是说，所提出的ODD针对无人驾驶开发设计来讲一定要能测的。
考虑到一些ODD所涉及到的气温似风、雨、雪、雨加雪、多少环境温度会极大的影响整个系统的控制力。例如车辆高速行驶在高速路上，毛毛雨或小倩可以使平均速率减少3%至13%；大暴雨会让平均速率减少3%到16%；在下雪中，高速公路的平均速率就会下降5%到40%；毛毛雨时随意流动速度能降低2% ~ 13%；暴雨时可减少6% ~ 17%；下雪将导致自由流速率减少5%至64%；可以说在降水期内，全部驾驶人员速度变化量类似也会减少25%。
现阶段知晓的，L2级自动驾驶在雨雪天气情况下的特性基本上无法满足预估，例如车道保持辅助作用在公路冰天雪地跑偏时车辆会转向过度。特斯拉Autopilot还可以在正常雨雪天气中导航栏，路牌清楚可见，但一些繁杂的情形下，如大暴雨或车道线发生遮住情况下依然无法安全驾驶。显而易见，极端的天气条件的限制了人们安全驾驶汽车方向盘，AVs依然无法完全坚信它会独自一人工作中。
因而，为了能让ADS再次向前推进到下一个时代，无人驾驶汽车需要更多时长来适应各种天气。
如下图所示是极端天气下自动驾驶的信息流图：
如上图所示，做为车辆传感器的信息特征，环境状态立即遭受气温要求的危害。这种变化增强了全部ADS系统软件用损伤数据信息进行目标检测、追踪和定位每日任务难度，因而计划和操纵都将有别于正常情况下。气温也可能会影响自车自身，从而产生额外危害，似风和道路情况。自车鉴别信息反馈全车后形成的车辆控制情况（如雨刮器是不是运行，除雾装置是不是开启等相关信息）都是能够做为环境数据判断的先验信息的，这将会进而影响对环境状态的分析，从而可以形成一个检验循环系统。
实际上，无论是从无人驾驶视角还是对于手动式安全驾驶角度来讲，针对自然环境的高效检验也将显得格外必需。例如以下几个自然条件来讲，大家能否通过一定的手段进行更为精准的检验呢？
风力大小：从横着车控角度而言，考虑到空气阻力对整个车体操纵产生的影响。
地理条件：考虑到眩目和夜里可视性功效的危害
雨量尺寸：根据视觉上的雨量传感器检测
地面坑坑洼洼：根据多目时觉得地面标准检验。
横纵斜坡检验：根据汽车底盘ESP和TCU的斜坡数据信息
汽车涉水路面检测：根据超音波数据信息
那样这种雨雪天将如何测量乃是我们应该探索的一个课题研究。基本的办法是根据相近雨量感应器那样装置进行检测，但这类装置在许多新车上并不是标准配置。如果考虑智能驾驶系统软件来讲，则有可能出现不能满足精确测量市场需求的状况。
本系列文章将目的性解读全部智能驾驶系统软件怎样利用本身感应器对环境数据开展初中级合理检测。无论是从智能驾驶自身角度考虑的识别与控制，或是从过去安全驾驶全过程对这样的探测能力都显得格外必需。
根据视觉上的降雨量预测分析
对自动驾驶来讲，一般会根据判断降水/降雪量来判断对整个系统是否可以激话的前提条件。一般来说，现阶段的检测方式要不是由雨刮刮速尺寸，要不是由雨量感应器一类去进行综合考量是不是碰触ODD界限。那样，从自车服务化与可应用领域的角度考虑，是否能利用自车传感器开发设计一种可响应式精确测量自然条件的软件模块呢？当然可以了。
文中明确提出一种基于视觉效果场景下的降雨量预测分析算法。其主要通过自车原先的监控摄像头收集雨量光源，进而测算雨量尺寸，转换成雨刷器可识别的指令数据信号发给车身控制器，车身控制器根据雨刮器数据信号命令自动控制系统雨刮器开展低速档、快速、间断性姿势。与此同时，系统软件能控制仪表盘显示雨刮器控制系统的有关零部件常见故障、以提醒用户立即维护和拆换等。
利用软件算法取代增加新的硬件配置（定做的雨刮器感应器或其它硬件配置）完成对雨刮器的控制功能，不但可以节省成本，手机软件还可以通过不断创新、迭代更新、更新来实现最佳的用户体验。除此之外，如果考虑根据利用智能驾驶域的感应器检测的算法来达到全部车身操纵（例如探测到雨量太大，也可通过算法算出雨量尺寸，自动控制系统车子雨刮器选用一定速度刮刷夹层玻璃，一方面可以为整个感应器检测开拓更强的实践探索安全通道，另一方面也能够提升用户安全驾驶的智能化感受）。
对应的完成基本原理如下所示：
总的来说，必须通过两个阶段算法来达到，完成根据视觉上的情景降雨量的智能分类，其类型包含：大晴天、毛毛雨、中到大雨、暴雨、大暴雨五种。其方法是什么利用智能驾驶汽车上搭载的监控摄像头拍的视频数据信息做为键入，纪录不同位置、不一样频域的降水数据信息。将视频数据传送“降雨量鉴别尺寸的种类算法控制模块”中。该算法控制模块涉及到对环境总体目标获取、分割、聚类算法、鉴别等子模块。分类下去，常见的算法包含根据超像素（Super-Pixel）领域两端对齐的降水分割算法（获得逐帧降水图分割结论）和根据ResNet的雨量归类算法（含有方差学习ResNet）的两阶段。
根据超像素领域两端对齐的降水/下雪检验算法
因为视频上对雨水分割是没有分割前景和背景区域内的，如果按逐像素进行识别解决，对整个算法来讲将显得非常的松垮。对于降水尺寸的识别必须从以下几方面下手：
指定的算法根据精确测量降雨量视频中不一样频域间像素系数的地区抗压强度转变，从而获得每一帧图像的降水分割结论，根据迭代优化练习，不断提升其鉴别精密度，进而达到预想的鉴别结论。
对应的平面图如下所示：
1）根据智能驾驶收集的一组降水视频，提取固定不动帧率做为视频键入算法控制模块。
2）帧内超像素块鉴别：
常见的算法包含利用SLIC算法（simple linear iterative cluster）形成每一帧图像的超像素（superpixel）块。相较于其他的超级像素分割方式，SLIC在启动速度、形成超像素的紧密度、轮廊维持诸多方面都比较理想。实际全过程包含：
利用像素中间特点相似度（如类似纹路、颜色亮度等特性）将像素分类，通过简单的线形迭代更新聚类算法，将数字图像转化为CIELAB颜色空间和XY座标中的5维矩阵的特征值，再对5维矩阵的特征值结构距离度量规范，对图象像素开展部分聚类算法。最后能形成紧密、类似均匀超像素，在计算速度、物件轮廊维持、超像素样子层面具有很高的特性。最后，用少量超像素取代大量像素来表达图片特点。
3）帧间超像素块区划：
选中中间帧为关键帧I0，并成为参考位置帧，与其说前后左右各两帧的超级像素块图组成一组区划地区。
4）结构交叉熵：
根据逐像素赋值的形式能够结构Loss交叉熵，进而考量每一个I0超像素块与其说前后左右两帧相匹配部位领域块差别尺寸。并把它差别最小领域块做为备选两端对齐地区，最终决定I0中每一个像素块4个备选超像素块地区。
5）降水鉴别：
因为降水一部分能增加像素强度值，因而能将带有I0的超级像素块与感兴趣区域的内容进行像素差异很大。若I0超像素块里的像素与每一个感兴趣区域所对应像素差别均超过所设置的降水像素的域值时，那就认为该像素为雨像素。
6）帧内迭代优化：
迭代更新I0中每一个超像素块，可以获得关键帧I0的降水二分割图。
7）帧间迭代优化：
迭代更新降雨量视频里的每一帧，获得所有帧的降水分割结论。
基于深度学习的降水/降雪量精确测量算法
如上所述，对雨/雪这种总体目标分割结束后，需重新利用一定高效的算法对降水/下雪大小进行预归类鉴别。与此同时，从频域的角度上将降水和下雪不久的将来一定时间内可能出现的情况及发展趋势进行合理预测分析，确保在局势战略上最好提前作出一定的判定和操纵。
如以上算法所表达的一部分，我们通过最先聚类算法超像素领域两端对齐的形式获得雨量情景分割结论，将这个结论做为数据传送到深度神经网络神经元网络中从而得到准确的雨量归类结论。常见的神经网络实体模型涉及到ResNet，由于其引进了深层方差学习培训算法，能够有效的处理互联网衰退问题。在包含图象互联网ImageNet的好几个大中型分类数据集上能够很好的完成出色的归类精密度。
对其降水/下雪这种情景的测量能够利用ResNet网络架构通过不同的分层次ResNet18、ResNet34、ResNet50、ResNet101及其ResNet152来达到分层次练习。各种各样互联网深度是指“必须通过练习升级主要参数”的叠加层数，如卷积层，池化层等。与此同时，为了实现轻量规定，一般能选ResNet18做为分层次规范进行练习。主要包含17个卷积和一个池化层开展权重值学习培训，接着根据2个池化层解决。
依据超像素临域两端对齐的雨量分割算法能从情景视频中获取情景视频的雨/雪分割结论做为录入数据。挑选深度学习方法，获得清晰地雨量/降雪量分割结论。
基于深度学习的降雨量预测分析算法
文中这儿所提到的有关完成雨量检测与预测算法包括两阶段，考虑到针对智能驾驶自动控制系统全过程高速逻辑推理和实体模型轻量特性，选用超像素的雨/雪分割再加上利用经典神经元网络算法ResNet开展雨量预测分析。在ResNet明确提出以前，每一个神经元网络也是通过卷积层和池化层的累加所组成的。卷积层和池化层的叠加层数越大，获得到的图片特征信息越全，学习效率也越好。
CNN主要参数数量 = 全连接层规格×全连接层深层 × 全连接层个数 = 全连接层规格 × 键入特征矩阵深层 × 导出特征矩阵深层
常规神经元网络随着网络加重，其对应的准确度随着降低。应用ResNet神经元网络人为地让神经网络一些层绕过下一层神经元的联接，夹层相接，减弱各层间的强联络，能够更加精准的预测到自然环境雨量分割和预测分析。
将该算法打配备到这些车载设备上，根据对深度网络开展真实身份投射（identity mapping，IM）和方差投射（residual mapping，RM）优化系统，伴随着不断迭代更新，其方差投射将逐渐趋向0，最后仅剩真实身份投射。从而，能够更加即时且精确的预测分析自然环境降水/降雪量。
考虑到本算法的ResNet整个算法逻辑性如下所示：
1）视频收集：
根据智能驾驶车子前视、侧视图监控摄像头收集情景视频做为初始视频键入。该视频帧必须在监控摄像头前面开展包括ISP有关的数字图像处理；
2）视频帧提取：
考虑到算法处理能力对整个处理器可能产生较大的负担，因此，同需要对视频帧按照每隔一定时间抽取固定帧数的视频，采用“超像素邻域对齐雨量分割算法”进行雨量分割，并得到相应的雨水分割结果；
3）感兴趣区域选择：
对于环境降雨量这类过程处理，因为感兴趣的部分是雨水，且分布没有特定的规律。因此，可以固定的选取每一帧的中间区域作为该视频帧中感兴趣区域（ROI，Region of Interest）；
4）视频张量输入ResNet模型
对于ResNet网络就是要构造观测值与估计值之间的差，也可以用残差映射函数，也就是F(x)，其中F(x) = H(x)-x。这里H(x)就是观测值，x就是估计值（也就是上一层ResNet输出的特征映射）。
residual结构使用了一种shortcut的连接方式，也可理解为捷径。让特征矩阵隔层相加，注意F(X)和X形状要相同，所谓相加是特征矩阵相同位置上的数字进行相加。
将其按照通道进行拼接，合并为固定通道的张量，并输入到ResNet模型，预测不同降雨量的概率值；
5）根据概率值在分类区间的位置，确定最终的降雨量预测结果
实验证明，ResNet残差网络更容易优化，并且加深的网络层数有助于提高正确率。所以在加深网络深度的同时，需要使用残差学习的结构来减轻深层网络训练的难度。过程中，需要重新构建优化的网络以便学习到包含已经推理过的残差函数，而不是学习未经过推理过的函数。
总结
本文从一些环境设置条件出发考虑如何通过最大化的利用自车配置的软硬件单元模块进行有效的ODD设置和检测，详细讲述如何利用摄像头传感器对环境降雨/降雪量进行有效检测的算法逻辑。
同时，本文就自动驾驶系统设置的ODD边界中的其中一个要素检测考虑通过智驾系统自身搭载的传感器进行实时检测从而获取一定的控制输入源。对于诸如雨量、雪量的检测结果不仅可以完全用于自动驾驶系统自身的边界条件控制，也可以作为在车辆未开启自动驾驶时自动检测雨量、雪量等环境条件，自适应的控制车辆进行雨刮开启、增加刮速，如果有类似自动除霜等功能，也可以控制自动开启自动除霜、除雾等功能。
还木有评论哦，快来抢沙发吧~