自动驾驶场景里有着四类状态估计问题，即“我在哪”“我周围有什么”“接下来会发生什么”“我应该怎么做”

我在哪？——定位依靠高精地图以及SLAM同时定位与建图，将车辆所在附近静态环境进行描述，作为定位方案的锚定物，对自身的位置进行定位与校准。

我周围有什么？——同时，车辆的感知系统将通过传感器和算法将周围的障碍物位置、大小、状态、类别等标识出来。

接下来会发生什么？——车辆知道周围动态物体后，还需要能够尽可能的预测这些物体的走向，包括行为预测和速度预测。

我该怎么做？——最后是决策、规划、控制，即根据综上信息选择最合适的方式达到目的地。还需考虑行车的体感、安全和快捷等因素，通过多种算法来得到驾驶行为。

针对前言所述的四类状态估计问题，寅家科技在感知、定位、规控环节使用了全栈自研算法解决方案。

感知定位：包含环境感知和车辆定位，使用深度神经网络以及传感器融合定位算法，负责定位以及提供行车泊车所需的语义信息。

轨迹规划：轨迹规划的任务是计算出一个无碰撞、可执行、高效并充分考虑乘车舒适度的轨迹，保证车辆从起点安全的到达目的地。

车辆控制：车辆控制是指由车载中央处理器发出指令，控制方向盘，油门和刹车将车开到目的地。车辆控制算法一般称为控制器，通常使用MPC模型和PID控制器使车辆跟随轨迹。 

接下来，我们将以泊车场景（AVP/APA）为主要场景，详细展开寅家科技是如何通过深度学习算法，获得精确与高效的环境感知和场景表示结果，以及我们基于深度学习的自动驾驶算法设计实践。 

一、关于深度学习

深度学习是数据驱动的建模算法，与传统机器学习的最大差别及优势在于模型参数结构的体量与复杂性，可以在大量数据驱动下优化建模产生具备执行某项特定任务的功能的大型非线性函数。深度学习的核心竞争力在于优异的模型结构和优质的海量标签化数据和训练数据。

（1） 寅家科技使用深度神经网络进行图像语义分割、目标检测、深度估计以及目标跟踪：对马路，可行驶区域，路沿，车道等图像语义信息以及地面标志进行分割；对交通标识，障碍物、人、车、骑士进行目标检测和深度估计，针对人、车和骑士等移动物体更进一步进行跟踪。输出感知结果给规划，避障， 定位等模块进行下一步处理， 并且进行可视化输出。

（2）在深度神经网络监督学习中，通过数据标记识别原始数据，并添加一个或多个有意义且信息丰富的标签以提供上下文。通过高性能的自动标注工具以及后期仔细的人工检验，对海量的车厂数据进行标签化，以便深度神经网络模型从中学习和推断。

（3）获得更大的优质数据集是提高深度学习算法性能可靠的方法之一 ，寅家科技深度学习采用监督学习和无监督学习相结合，在模拟训练中以大量的实车数据与GAN网络虚拟集相结合，进行大规模训练，强化神经网络模型性能。 

二、基于深度学习的感知融合算法

环境感知负责检测各种移动和静止的障碍物（比如车辆，行人，建筑物等），以及收集道路上的各种信息（比如可行驶区域，车道线，交通标志，红绿灯等），这里需要用到的主要是各种传感器（比如摄像头，激光雷达，毫米波雷达等），那寅家科技是如何通过深度学习算法让传感器协同工作的呢？

（1）前融合+后融合：大多数进行传感器融合的公司要么使用前融合，融合来自不同传感器的原始数据；要么使用后融合，并在此后使用卡尔曼滤波器融合对象。

寅家科技采用的是前融合+后融合，对融合后的结果进行检测等操作，多重过滤机制确保检测可信度；空间融合结合精确的定位信息进行时间上的融合，提升算法的准确性，实现多种动态目标、静态目标以及障碍物的识别。

其中，动态目标包括：成年人、儿童、骑行者等行人，轿车、SUV、面包车、卡车、客车、摩托车以及代步车等车辆；静态目标包括车位、车位号数字、车道线、红绿灯以及多种交通标识；障碍物包括地锁、锥形障碍物、限位杠、路沿以及非典型障碍物（垃圾、沙堆、塑料袋等）。

（2）感知算法复杂度处理：寅家科技在感知方面，大中小型网络分别可达到92-99%检出率以及低于1%的误检率；针对车载芯片算力限制，计算复杂度太高的情况，对网络进行了稀疏剪枝，将模型缩小10倍，性能保持不变，并且使用了硬件加速，将fps从15增加到60；并改进算法，增加小目标检测的效果，使得网络能够支持更远距离小目标但不会使算法变得过于复杂。

（3）恶劣天况处理：面对下大雨、下雪、夜色等天气时或特别拥挤的交通状况下，会导致要素不可见、不清晰而降低感知能力。此种情况下可采取增加其他特征的识别，以保证结果的准确性，比如，在车道线检测中，参考广义的路沿的识别；汽车无法识别判断，可识别车灯、车尾灯，从而判定为汽车。

（4） 性能提升：针对摄像头畸变造成的目标检测率下降问题，修改了网络结构调整了卷积神经网络感受野效果，将网络性能提升了 8.5%。

（5）适配不同硬件平台：使用ipm逆变换的方法和多种深度学习网络进行深度估计，可以根据不同的硬件资源（国产或进口），在不升级硬件或者不使用低功耗芯片的情况下，灵活地选取深度方法来进行落地，算力覆盖4TOPs～200TOPs。

（6）同时定位和建图：是自动驾驶的关键技术之一。寅家科技在定位常用的两种解决方案：可通过视觉SLAM+轮数计实现15CM定位误差，优势在于计算量少；或是视觉+IMU+GPS融合SLAM算法，可实现5MM定位误差，多模态融合是未来SLAM发展的必然趋势。

三、轨迹规划与控制车辆

轨迹规划主要的优化目标是保证车辆行驶过程中的安全性、稳定性、舒适性和驾驶效率。寅家科技采用语义格栅地图自动驾驶车辆路径规划方法，进行粗轨迹+数值优化进行泊车规划，保证行车规划速度平滑。通过行为规划管理，进行规划阶段管理、重规划、轨迹切割、不同工况管理等，实时碰撞估计轨迹修正。

车辆控制是驱使车辆按照给定路线行驶。对于汽车而言，透过控制方向盘转角、油门及刹车控制转向和加速度。控制器的任务是使用控制输入让车辆跟随轨迹。常用的LQR+PID控制基于输入输出变量的各种约束透过求解LQR优化问题得到油门、方向盘的最优解。优点在于模型简单、计算量小、速度较快；而学术常用的MPC控制，相对于LQR+PID控制而言，更多的考虑空间状态变量的各种约束。

结语：

寅家科技自主开发全栈式软件算法，准确性和反应速度行业领先，具有多种网络配置，可部署在不同计算能力的硬件平台上，适配各车厂不同的需求。现有产品大量出货以及自研的数据平台大数据处理，为后续产品研发和更新、性能优化奠定了坚实的基础。

接下来，寅家科技将推出“VT-Pilot2.0自动驾驶辅助系统”， 覆盖感知、融合、规控到域内集成、跨域联合多模态行泊一体等多项智能技术，通过持续提升产品研发创新能力，充分发挥算法的独特优势，与客户伙伴携手共推高阶智能驾驶方案落地。