近日，ZJUI副院长、浙江大学智能交通研究所所长陈喜群教授课题组在Cell Press期刊Patterns上发表了题为“Understanding common human driving semantics for autonomous vehicles”的研究论文，通过解析与类比人脑驾驶行为背后的神经机制，建立了人类共性驾驶行为的语义表达模型，为类人自主驾驶系统设计提供了仿生学依据与方法支持。

研究亮点

1.揭示人类驾驶行为对于大脑听觉皮层的激活过程

2.发现人脑对于驾驶行为理解的层次化抽象结构

3.提出“神经启发—语义驱动”的驾驶行为理解仿生计算模型

4.解决驾驶行为理解过程中的长期情境依赖问题

论文简介

在自主驾驶车辆推广与普及过程中，其与周围人类驾驶车辆的相互理解和合理交互是亟待解决的难题。当前自主驾驶车辆的行为学习规则与决策方式主要采用机器学习框架或数据驱动方法，不符合人类驾驶员的思考方式及行为习惯，难以被周围人工驾驶车辆所理解和接受，容易干扰交通流运行，增加交通事故风险。

图1 驾驶行为的不同理解阶段

在驾驶过程中，驾驶人的语言行为会严重分散其注意力，这一现象揭示了语言和驾驶这两种行为对于大脑颞叶资源的潜在竞争关系。本研究以此为出发点，对比了人脑颞叶在执行驾驶、语言任务及静息状态下脑电波（electroencephalogram，EEG）θ波段的能量频谱关系，发现了人类驾驶行为激活大脑颞叶的生理过程。

图2 驾驶及语言行为的大脑颞叶激活对比

对语义的高层次抽象是人脑在语言理解过程中的关键功能，例如利用单词—短语—句子的层次结构来获取抽象语义知识。为研究驾驶行为理解的层次化结构，作者合成了帧率为4 Hz的序贯/随机驾驶视频，记录大脑在分析这些低帧率视频时的事件关联频谱扰动（event-related spectral perturbation，ESRP）。通过分析EEG频谱中的节律模式，发现了人脑驾驶行为理解过程中的层次化抽象结构，验证了人脑对于驾驶行为与语言行为理解的相似性，进而建立了“神经启发—语义驱动”的人类驾驶行为仿生理解框架。

图3 基于脑启发的人类共性驾驶行为语义理解框架

该框架可通过对人类驾驶行为的共性部分进行层次化语义编码、主题抽象和引入类脑推断模型，得到人类共性驾驶行为语义化理解仿生计算模型。

图4 人类共性驾驶行为语义化理解仿生计算模型

在Ubiquitous Traffic Eyes（UTE）自然驾驶轨迹集上进行了语义化理解仿生计算模型测试验证，相比于深度学习等方法，本文模型利用车辆驾驶语义的演化规律对其速度及轨迹进行了精准预测，成功解决了对于驾驶行为序列的长期依赖问题，实现了对于人类驾驶行为及主题演化的类脑理解。研究成果可为类人自主驾驶系统设计提供生物学及类脑理论基础，进而可为自主驾驶车辆与人类驾驶车辆的合理交互提供有力保障。

图5 驾驶行为语义理解的预测效果及对比

作者介绍

夏英集

博士后

夏英集，论文第一作者，浙江大学建筑工程学院智能交通研究所博士后，合作导师陈喜群教授。主要研究方向为自主驾驶车辆的感知与决策。在Patterns、IEEE VT、Optics & Lasers in Engineering等杂志发表论文多篇，获授权发明专利多项。获中国博士后基金面上项目 “基于共性驾驶语义的自主驾驶车辆驾驶主题建模与行为预测”项目支持。

陈喜群

长聘教授

陈喜群，论文通信作者，浙江大学长聘教授，建筑工程学院智能交通研究所所长，浙江大学伊利诺伊大学厄巴纳香槟校区联合学院副院长，智慧交通浙江省工程研究中心副主任。曾先后在清华大学土木工程系交通研究所、美国加州大学伯克利分校PATH研究所、美国马里兰大学土木与环境工程系、美国马里兰国家交通中心学习和工作。荣获国家优秀青年基金、中国科协“青年人才托举工程”、浙江省杰出青年基金、浙江省特聘专家。主要研究方向为交通运输管理、共享出行、交通流建模与仿真优化、智能交通系统，在Patterns、MS、M&SOM、TS、TRB、TRC、TRE、IEEE TITS等期刊发表SCI/SSCI论文百余篇，由Springer出版英文专著1部，参编3部，授权国家发明专利9项。获首届中国交通运输协会科技创新青年奖、IEEE国际智能交通学会最佳博士论文奖、国内外学术会议最佳论文奖6项、中国智能交通协会科技奖二等奖1项（排名第1）。

相关论文信息

论文标题：Understanding common human driving semantics for autonomous vehicles