L5 完全自动驾驶前沿
大学前沿课程。从 L4 到 L5 的技术挑战、端到端自动驾驶、世界模型、车路协同，以及 Robotaxi 商业化最新进展。
第一章 从 L4 到 L5 的鸿沟
1.1 L4 与 L5 的本质区别
| 维度 | L4（高度自动化） | L5（完全自动化） |
| 运行范围 | 限定区域（ODD） | 任何道路、任何条件 |
| 天气限制 | 通常限于良好天气 | 暴雨、大雪、大雾 |
| 地理限制 | 高精地图覆盖区域 | 全球任意道路 |
| 人类介入 | 极端情况需接管 | 完全无需人类 |
| 当前状态 | Waymo/Cruise 运营中 | 尚无商业化系统 |
1.2 L5 的核心挑战
- 长尾问题（Long Tail）：罕见但危险的场景无限多
- 极端天气感知：暴雨/大雪中传感器性能骤降
- 非结构化道路：乡村土路、施工区域、临时路障
- 社会交互：与人类驾驶员的眼神交流、手势理解
- 伦理决策：不可避免的碰撞中如何选择
第二章 端到端自动驾驶
2.1 传统模块化架构的瓶颈
传统方案：感知 → 预测 → 规划 → 控制
- 每个模块独立优化，误差累积
- 模块间接口设计困难
- 难以处理复杂场景的长尾分布
2.2 端到端方案
核心思想： 从传感器输入直接到控制输出，用一个神经网络完成全部决策。
摄像头/雷达/LiDAR → 神经网络 → 方向盘/油门/刹车
代表方案：
| 方案 | 公司 | 特点 |
| FSD v12 | Tesla | 纯视觉端到端，神经网络替代 30 万行 C++ 代码 |
| UniAD | 上海 AI Lab | 统一感知预测规划，CVPR 2023 最佳论文 |
| DriveVLM | 多个研究组 | 视觉语言模型辅助驾驶决策 |
| OccNet | 多个研究组 | 占用网络替代传统 3D 检测 |
2.3 占用网络（Occupancy Network）
替代传统的目标检测 + 跟踪方案：
- 将 3D 空间划分为体素（voxel）
- 预测每个体素是否被占用及语义类别
- 能处理任意形状的障碍物（不需要预定义类别）
第三章 世界模型与自动驾驶
3.1 什么是世界模型
世界模型（World Model）让 AI 理解物理世界的运行规律，能预测"如果我这样做，世界会怎样变化"。
在自动驾驶中的应用：
- 预测其他车辆/行人的未来轨迹
- 模拟不同驾驶策略的结果
- 在"想象"中训练，减少对真实数据的依赖
3.2 生成式世界模型
Sora / Gen-3 等视频生成模型的启示：
- 能生成物理上合理的视频
- 理解物体持久性、重力、碰撞等物理规律
- 未来可能用于自动驾驶的场景生成和仿真
自动驾驶专用世界模型：
- GAIA-1（Wayve）：生成驾驶场景视频
- DriveDreamer：可控驾驶场景生成
- Cosmos（NVIDIA）：物理世界基础模型
3.3 仿真到现实（Sim2Real）
挑战： 仿真中训练的策略在真实世界中表现差
解决方案：
- 域随机化：在仿真中随机化光照、纹理、物理参数
- 域适应：用少量真实数据微调仿真训练的模型
- 数字孪生：高精度重建真实道路环境
第四章 车路协同与 V2X
4.1 单车智能的局限
- 感知范围受限于车载传感器（通常 < 200m）
- 无法看到遮挡物后面的情况
- 每个车独立决策，缺乏全局协调
4.2 V2X 通信
V2X（Vehicle to Everything）：
| 类型 | 说明 | 应用 |
| V2V | 车对车 | 碰撞预警、编队行驶 |
| V2I | 车对基础设施 | 红绿灯信息、路况广播 |
| V2P | 车对行人 | 行人手机预警 |
| V2N | 车对网络 | 云端路径规划、OTA 更新 |
4.3 中国车路协同路线
中国采用"车路协同"路线，与美国的"单车智能"路线不同：
- 国家级测试区：北京亦庄、上海嘉定、长沙等
- 5G + C-V2X：低延迟通信支持实时协同
- 智慧道路：路侧感知设备（摄像头 + 雷达）补充车载感知
- 政策推动：多城市开放 Robotaxi 商业化运营
第五章 Robotaxi 商业化
5.1 全球进展
| 公司 | 城市 | 状态 |
| Waymo | 旧金山/凤凰城/洛杉矶 | 全无人商业运营 |
| Cruise（GM） | 旧金山 | 暂停后重新部署 |
| 百度 Apollo | 北京/武汉/重庆 | 全无人商业运营 |
| 小马智行 | 北京/广州 | 商业化试点 |
| 文远知行 | 广州/深圳 | Robotaxi + Robobus |
| Tesla | 奥斯汀 | FSD 测试中 |
5.2 商业模式
- 按里程计费：与网约车价格竞争
- 订阅制：每月固定费用无限乘坐
- 混合模式：Robotaxi + 有人驾驶混合调度
- 专用场景：机场接送、园区通勤、夜间服务
5.3 技术经济分析
成本结构：
- 传感器套件：LiDAR（$500-$5000）+ 摄像头 + 雷达
- 计算平台：NVIDIA Orin/Thor（$500-$2000）
- 车辆成本：$30,000-$50,000
- 运营成本：充电、维护、远程监控、清洁
盈利关键：
- 车辆利用率 > 60%
- 每公里成本 < 有人驾驶网约车
- 安全记录优于人类驾驶员
第六章 研究前沿
6.1 大模型 + 自动驾驶
- 语言模型辅助驾驶：用 LLM 理解交通场景、解释驾驶决策
- 视觉语言模型：GPT-4V 理解交通标志、场景描述
- 多模态融合：文本指令 + 视觉感知 + 地图信息
6.2 神经辐射场（NeRF）+ 自动驾驶
- 用 NeRF/3DGS 重建高精度 3D 场景
- 生成任意视角的训练数据
- 解决长尾场景数据不足问题
6.3 自动驾驶安全验证
- 形式化验证：数学证明系统安全性
- 场景库：构建覆盖长尾场景的测试集
- 影子模式：AI 与人类驾驶员并行运行，比较决策
- 安全指标：MPI（Miles Per Intervention）、事故率
推荐资源
- 课程：Stanford CS231A（自动驾驶）、MIT 6.S094（深度学习与自动驾驶）
- 开源：OpenPilot（comma.ai）、Autoware（自动驾驶开源平台）
- 仿真：CARLA、NVIDIA DRIVE Sim、LGSVL
- 数据集：nuScenes、Waymo Open Dataset、KITTI
- 竞赛：ApolloScape、Argoverse、Waymo Open Dataset Challenge