BSG Geekeries Informatique Non classé Sciences

L’éthique de la robotique

Asimov détestait les histoires de science-fiction basées sur une « révolte des robots ». Ne croyant pas à ce qu’il appelait « le complexe de Frankenstein », il prétendait que l’homme aurait l’intelligence d’implanter dans l’esprit des robots les trois lois de la robotique :

* Première Loi : Un robot ne peut porter atteinte à un être humain ni, restant passif, laisser cet être humain exposé au danger

* Deuxième Loi : Un robot doit obéir aux ordres donnés par les êtres humains, sauf si de tels ordres sont en contradiction avec la Première Loi.

* Troisième Loi : Un robot doit protéger son existence dans la mesure où cette protection n’est pas en contradiction avec la Première ou la Deuxième Loi.


R. Daneel Olivaw
et R. Giskard Reventlov y ajouteront une loi Zéro, plus fondamentale :

Loi Zéro : Un robot ne peut nuire à l’humanité ni, restant passif, laisser l’humanité exposée au danger.

Le moins qu’on puisse dire, c’est qu’ Asimov n’a pas été écouté. Le thème de la créature se retournant contre le créateur est toujours vendeur, et la science-fiction moderne (notamment audiovisuelle) regorge de robots assassins de 2001 l’Odyssée de l’espace à Terminator, en passant par Battlestar Galactica [Spoiler 1]. Paradoxe ultime, même l’adaptation ciné des romans d’Asimov, « I, robot » ne déroge pas à la règle et met en scène des robots violents .

Alors, la science-fiction devrait elle réviser ses fondamentaux ? Rien n’est moins sûr : le magazine Science est revenu récemment sur les progrès de la robotique et ses aspects « éthiques ». Où il apparaît que les avancées de la robotique sont motivées par deux domaines :

  • les services à la personne, et notamment le fait de s’occuper des jeunes enfants et des personnes âgées
  • la guerre

Et oui, les drones et autres appareils semi automatisés sont déjà légion, mais l’industrie de la défense recherche bel et bien l’arme ultime, le robot capable de tuer sans aucune intervention humaine :

Currently, all these weapons have a human in the loop to decide when to apply lethal force. However, there are plans to create robots that can autonomously locate targets and destroy them without human intervention –a high-priority agenda item for all the U.S. armed services

Science cite notamment les efforts du DARPA pour fabriquer des robots autonomes : par exemple les petites voitures dont nous parlait N. Holzschuh sont la face plus présentable de ce genre de véhicule poétiquement appelé « crusher ».

(brrr… les espèces de petites caméras de l’engin qu’on voit autour d’1:30 et 5:00 font vraiment penser aux cylons je trouve)

Heureusement, l’homme pense à tout et essaie d’implanter dans le cerveau de ses créatures l’équivalent d’une première loi de la robotique. Mais une première loi sélective; il s’agit de faire en sorte qu’un robot sache distinguer ses alliés de ses ennemis, et surtout les combattants des non combattants pour respecter la convention de Genève :

The ethical problems arise because no computational system can discriminate between combatants and innocents in a close-contact encounter. Computer programs require a clear definition of a noncombatant, but none is available. The 1944 Geneva Convention suggests common sense, while the 1977 Protocol 1 update defines a civilian as someone who is not a combatant. Even with a definition, sensing systems are inadequate for the discrimination challenge, particularly in urban insurgency warfare. These complexities are difficult to resolve even for experienced troops in the field. No computational inference systems yet exist that could deal with the huge number of circumstances where lethal force is inappropriate.

On est rassuré : les robots sont trop rudimentaires pour distinguer les civils des combattants, on peut donc continuer à se reposer sur le bon sens humain pour éviter les bavures. Et vous savez ce qu’il vous reste à faire pour ne pas subir un jour une riposte des robots : ne prenez jamais les armes contre eux, vous risqueriez d’être pris pour un combattant. C’est bien le « I, robot », version Will Smith plutôt qu’Asimov, qui était le plus visionnaire [Spoiler 2] .

PS : comme Hugues Serraf il y a quelques jours, 500ième billet…

[Spoiler 1] Dans la saison 2, il y a une sorte d’hommages à l’envers à Asimov : Gina Inviere réussit l’exploit de violer les 4 lois en simultané lors de son suicide à la bombe atomique après avoir menti au Président élu Baltar.
[Spoiler 2] Dans ce film, les robots prennent les armes pour protéger l’humanité d’elle-même, et n’agressent que ceux qui menacent ce projet. Au bout du compte on retrouve d’ailleurs une certaine cohérence avec l’oeuvre Asimov si on invoque la Loi zéro.

About the author

Tom Roud

Blogger scientifique zombie

1 Comment

  • Intéressant ! mais je suis justement en train de lire une nouvelle d’Asimov où le robot prend le pas sur les hommes, leur disant que leur seul aspect physique prouve à quel point ils sont inférieurs aux robots.
    Refusant de croire qu’il a été créé par les hommes, il commence à se faire une idée de Dieu, qu’il nomme Le Maître ! Bon, il faut que je finisse l’histoire quand même 🙂

Leave a Comment