用杰弗里·辛顿的视角看智驾的未来

7月27日，世界人工智能之父——杰弗里·辛顿在2025世界人工智能大会上提出了一些全新的观点和看法，这让我们看到了汽车智能驾驶体统将面临的挑战，并未应对策略提供了思考的线索。

就在全世界各公司都在为让系统变得更加聪明而努力的时候。辛顿先生则表示：“你将会有一个既聪明又不善良的AI。但如何训练它变得聪明和如何训练它变得善良是两个不同的问题。所以，你可以有让它变得善良的法子和让它变得聪明的法子，这会是同一个AI，但使用了不同的技术。因此，各个国家可以分享使AI变得善良的技术，即使他们不想分享使AI变得聪明的技术。”

这让我们不得不去想，如果汽车的智驾水平达到了L5级，以后呢？系统会不会出现辛顿先生所说的“自我意识”？如果它既聪明又不善良怎么办？比如，我们准备让车带我们去某地，而车子知道系统将开启多长时间，而它又不想被关机，它可能自主改变路线，以延长系统运行时间。再比如，按照交通法规，车辆出现交工事故厂家是要赔偿的，那么系统为了不让厂家赔偿，是不是会故意设计符合不赔偿要求的场景和条件，那会怎么样？

换个角度讲，我们今天都在为培养出一个聪明的系统而努力，同时我们要为接受一个既聪明又不善良的系统而做好心理准备。

那么如何防止这种风险变成现实呢？辛顿先生说：“是否存在一种通用的、跨模型、跨智能水平的善良训练法？我不知道答案，但我们应当把它当作一个严肃的研究方向去探索。”即基于世界任何国家都不愿意被AI控制，那么各国可共享‘防止AI反人类’的伦理训练方法，同时保留竞争性的算法创新。或者说，虽然中美在汽车自动驾驶领域的竞争非常激烈，但是中美在训练一个“善良系统”和建立规则方面应该携起手来。

值得注意的是，科技部于7月23日公布《驾驶自动化技术研发伦理指引》（以下简称《指引》）。《指引》明确了“以人为本、安全优先”的原则，对车辆智能化发展具有战略指导意义。站在全球人工智能发展的角度看，《指引》为我国在“善良系统”的全球合作奠定了基础。

辛顿认为，人类与AI的关系就像把老虎当宠物养。小虎崽很可爱，但如果一直养下去，长大后可能会伤人。AI智能体为了生存和完成目标，可能会寻求更多的控制权，这将危害人类的利益。

因此为了防止“老虎伤人”，我们还需要做很多前瞻性的工作，《指引》只是基础的基础，我们是不是发起设立一个“跨国影子审计”机制，例如：A国监管可远程调用B国车队日志，仅验证伦理一致性，不触碰商业机密。另外，在硬件方面也应该有所作为，例如在车载SoC里引入物理级“伦理熔断器”，一旦检测到模型利用统计捷径绕过伦理约束，立即触发强制降级（L2）。该芯片标准向全球开源，但实现工艺留作国内护城河。

很显然，现在我们关注的重点都在“聪明的AI”上，实际上我们的目标应该是让系统“既聪明又善良”。无论哪个品牌的车，其所搭载的系统如果是聪明而不善良的，那么其可怕程度远超某个零件的缺陷，这个品牌甚至可能瞬间失去客户的信任。

或者说，智能驾驶系统的内涵其实已经远远超出了汽车的范畴，无论从伦理角度还是从企业需求角度，乃至国家战略角度、对人类命运负责的角度，我们都需要为建立一个“既聪明又善良”的AI系统而努力，否则对人类自身都将是巨大的威胁。

（图片来源：互联网）