Les causes de l’accident du taxi autonome Uber qui a coûté la vie à Elaine Herzberg sur une route de l’Arizona en mars 2018 sont désormais identifiées.
Un enchaînement d’événements dus à une « culture inadéquate de la sécurité », c’est ce que dénonce l’agence américaine chargée de la sécurité des transports (NTSB) (1).
Les constats de la NTSB sur le « crash » du taxi autonome Uber
Parmi les conclusions des enquêteurs du NTSB figurent les constats suivants :
- Une IA faible : Le système de conduite automatisée d’Uber ATG (Advanced Technologies Group, ATG) a détecté la piétonne 5,6 secondes avant l’impact. Bien que le système ait continué à la surveiller jusqu’au moment de la collision, il n’a jamais identifié « l’objet » qui traversait la route comme étant un piéton – ni prédit sa trajectoire.
- Le manque d’attention du conducteur du taxi autonome Uber : Si l’opératrice à bord du véhicule avait été attentive, elle aurait probablement eu suffisamment de temps pour détecter la piétonne et réagir afin d’éviter l’accident ou d’en atténuer l’impact.
- Une supervision inefficace des opérateurs : Alors que les responsables d’Uber ATG avaient la possibilité de contrôler rétroactivement le comportement de leurs opérateurs, ils l’ont rarement fait. L’inefficacité de la supervision exercée par la société Uber a été exacerbée par sa décision de retirer le second opérateur qui se trouvait auparavant à bord des véhicules lors les tests réalisés sur la voie publique.
- Le freinage d’urgence désactivé. La société de transport a apporté plusieurs modifications à son système de conduite autonome pour éviter les freinages intempestifs (« faux positifs »), notamment la désactivation du système de freinage d’urgence installé de série par Volvo, lorsque le véhicule de test est utilisé en mode autonome.
Dans un pré-rapport de plus de 460 pages publié avant l’audition du 19 novembre visant à déterminer la cause probable de l’accident, le NTSB a constaté que la technologie d’Uber « ne prenait pas en compte l’éventualité de piétons traversant hors des clous » (NTSB, Accident Report, Nov 19, 2019).
Une IA « faible »
Dans ce drame, on est bien loin du dilemme moral de la voiture autonome confrontée à deux options de conduite présentant toutes deux un risque pour la vie humaine (2). Ici, l’IA n’a pas eu à choisir de renverser un piéton pour épargner d’autres vies. Elle n’a pas d’avantage renversé volontairement le piéton. Elle ne l’a tout simplement pas détecté.
Cet accident dramatique est le résultat de l’exécution d’un algorithme qui n’a pas envisagé le comportement dangereux d’un piéton évoluant dans un lieu dépourvu de passage pour traverser.
Dans le rapport du NTSB, on peut y lire que « Bien que le SDS [Self-Driving System] ait détecté le piéton près de 6 secondes avant l’impact, le système ne l’a jamais répertorié comme piéton – ni n’a prédit correctement sa trajectoire en tant que piéton traversant en dehors des clous ou cycliste » (3).
De l’aveux du transporteur, le système de conduite automatisé « n’avait pas la capacité de classer un objet comme piéton à moins que cet objet ne se trouve à proximité d’un passage pour piétons ». N’étant pas en mesure de classer correctement le piéton, il était également dans l’incapacité de prédire sa trajectoire et sa vitesse sur la chaussée.
En fait, la conception du système de conduite automatisé n’incluait pas la prise en compte des piétons traversant hors des clous. Au lieu de cela, le système l’avait initialement classée comme un « autre objet », c’est-à-dire un objet inconnu auquel aucun objectif n’était assigné. Comme le système a changé plusieurs fois la classification de l’objet (alternant entre véhicule, vélo et autre) durant les 5 secondes qui ont précédées l’impact, il n’a pas été en mesure de prédire correctement sa trajectoire.
L’incapacité du système à classer correctement le piéton en tant que personne physique a affecté sa capacité à lui attribuer avec précision une trajectoire et une vitesse. En conséquence, il ne pouvait pas prévoir que le piéton pourrait entrer dans la trajectoire du 4×4.
L’intelligence du système de conduite automatisé est donc toute relative. Elle dépend de scénarios calculés par des algorithmes. Plus ils sont capables de prédire des situations dans tout type de contexte, plus l’IA est considérée comme forte.
Le rapport d’enquête du NTSB ne s’étend pas les capacités d’apprentissage et le niveau d’autonomie décisionnelle de l’IA du véhicule. On peut néanmoins en déduire qu’il s’agit d’une IA « faible » dès lors que les algorithmes ont été incapables d’anticiper et de réagir face à un événement « hors scénario », comme celui d’un piéton imprudent.
Le freinage d’urgence désactivé en conduite autonome
Lorsqu’il a déterminé qu’une collision était imminente, environ une seconde et deux centièmes avant l’impact, le systèmes anticollision équipant en série les véhicules Volvo n’a pas été déclenché.
Selon Uber, les manœuvres de freinage d’urgence ne sont pas activées lorsque le véhicule est sous le contrôle de l’ordinateur afin de réduire le risque de « comportement erratique du véhicule ».
Le fonctionnement simultané des systèmes anticollision de Volvo n’était en effet pas compatible avec l’ADS d’Uber.
En situation d’extrême urgence, il est fait confiance au conducteur du véhicule pour intervenir. De fait, une alerte sonore a été envoyé à la conductrice 1,2 seconde avant l’impact, pour qu’elle reprenne le contrôle du véhicule. Or cette dernière était occupée à visionner une vidéo en streaming et n’a relevé les yeux qu’une seconde avant l’impact, beaucoup trop tard pour éviter la piétonne…
Une culture « inadéquate » de la sécurité
« La sécurité commence au sommet», a déclaré le président du NTSB, Robert L. Sumwalt. « La collision a été le dernier maillon d’une longue chaîne d’actions et de décisions prises par une organisation qui, malheureusement, n’a pas fait de la sécurité sa priorité absolue » (Communiqué du NTSB du 19-11-2019).
Le rapport du NTSB pointe l’insuffisance des procédures d’évaluation des risques de sécurité d’Uber ATG, l’inefficacité de la surveillance des opérateurs à bord des véhicules et l’absence de mécanismes adéquats pour remédier à la confiance des opérateurs en matière d’automatisation qui ont contribué à l’accident ; « toutes étant des conséquences d’une culture de la sécurité inadéquate au sein du groupe ».
L’agence américaine a émis un certain nombre de recommandations à l’attention du régulateur américain des transports (NHTSA), de l’État de l’Arizona, de l’Association américaine des administrateurs de véhicules automobiles (AAMA) et d’Uber ATG.
Uber a depuis lors modifié les fréquences auxquelles les radars qui supportent l’ADS fonctionnent, afin qu’elles n’interfèrent pas avec les radars de Volvo. Il a ainsi rendus disponibles les systèmes d’alerte de collision frontale et de freinage d’urgence Volvo pendant la conduite automatisée.
Le transporteur a également modifié sa programmation pour inclure des piétons traversant hors des clous parmi ses objets reconnus ; de même qu’il a programmé le système pour qu’il ralentisse dans les situations où l’objet ne peut pas être classé avec assurance.
Isabelle Pottier
Avocat, Lexing Alain Bensoussan Avocats
Directeur du département Etudes et publications
(1) Pour rappel, une femme de 49 ans qui marchait de nuit à côté de son vélo a traversé la chaussée en dehors des clous, hypothèse de comportement non envisagée par le programme. Elle a été mortellement renversée par un taxi autonome d’Uber (un SUV Volvo XC90 modifié) en phase de test sur les routes de l’Arizona.
(2) Voir A. Bensoussan, J. Bensoussan, IA, robots et droit, Ed. Larcier, Juillet 2019.
(3) Le rapport du NTSB a retracé la chronologie seconde par seconde montrant ce que l’algorithme a détecté :
– à 5,2 secondes avant l’impact, le système l’a classée comme « autre objet ».
– à 4,2 secondes avant l’impact, elle a été reclassée comme « véhicule ».
– entre 3,8 et 2,7 secondes avant l’impact, le classement a alterné plusieurs fois entre « véhicule » et « autre objet ».
– à 2,6 secondes avant l’impact, le système a classé Elaine Herzberg et son vélo dans la catégorie « bicyclette ».
– à 1,5 seconde avant l’impact, elle est devenue un objet inconnu rentrant dans la catégorie « autre objet ».
– à 1,2 seconde avant l’impact, elle est redevenue une « bicyclette » se trouvant sur la trajectoire du véhicule Uber.