En la ficción de David Cage, los algoritmos se basan en un modelo de razonamiento que elimina cualquier principio democrático. En caso de accidente fatal, aquel en el que sí o sí han de morir algunas personas, el cerebro informático del coche autónomo en esta ficción asignaba, en nanosegundos, un sistema de valoración a todas las posibles víctimas.
No contaba lo mismo un parado que un asalariado. Ni un viejo que un niño. Ni un médico que una cajera. Ni un sano que un enfermo. A la hora de decidir, el algoritmo era capaz de evaluar en un frío número el valor social de cada individuo, atendiendo a las tareas desempeñadas, su rigor con Hacienda, su edad y su historial médico. a
Imagino que es casi inevitable, salvo que uno sea un poco psicópata, sentir el escalofrío ante semejante cálculo. ¿Cómo evaluar el peso de la vida humana? En uno de esos diálogos brillantes que atesora El señor de los anillos, Gandalf alecciona a un Frodo enfadadísimo por sus cuitas, que lamenta que Bilbo no matara al vil Gollum cuando tuvo ocasión. Gandalf reprueba así al hobbit: “Muchos que viven merecen la muerte. Y algunos que mueren merecerían la vida. ¿Podrías devolvérsela? Pues entonces no seas tan displicente despachando ajusticiamientos”. Y sin embargo… Y sin embargo el abismo entre lo teórico y lo real está presente. Pongámonos, lector, en la desagradable y extrema situación. Alguien va a morir en un accidente en el que intervienen vehículos conectados.
¿Cómo evaluamos quién debe hacerlo?
Este debate, que yo les llevo ahora a estas páginas, lleva circulando un par de años por lo más selecto de la prensa anglosajona con titulares semejantes al mío. Wired titulaba, con macabra capacidad profética: Los coches autotripulados matarán. ¿Quién decide quién muere? Se trataba de una tribuna del abogado experto en datos y tecnología Jay Donde en el que se abordaba frontalmente la cuestión valiéndose de un problema ético famoso: el dilema del tranvía, creado por la filósofa británica Philippa Ruth Foot en 1967.
Vamos a dar un pequeño rodeo para refrescar la memoria de dicho dilema.
Usted, lector, está en un puente. Desde él divisa el cruce de dos vías de tren. En la ruta principal, cinco personas están atadas a los raíles. En la secundaria, solo una. Al fondo se aprecia, directo hacia la ruta principal, a un tranvía a plena velocidad. Frente a usted, en el puente, hay una palanca que cambia el curso de las vías. La pregunta es: ¿pulsa usted la palanca? La respuesta más común a esta pregunta es que sí, que la pulsamos. Pero lo que Foot, como Gandalf, quería atacar es precisamente este acto reflejo que nos lleva a reducir las vidas humanas a números.
¿Es mesurable lo que pesa una vida humana respecto a otras cinco? ¿Se puede hacer aritmética de almas?
Y, ya si nos quisiéramos poner verdaderamente éticos. ¿Tenemos el derecho de decidir en términos de utilidad sobre cualquier vida en general? Lo hacemos constantemente, pero, ¿es lo correcto?
Es inevitable sentir un escalofrío ante semejante cálculo. ¿Cómo evaluar el peso de la vida humana?
En el artículo de Donde, particularmente brillante, se profundiza sobre este problema con reflexiones que perturban el ánimo ante el muy cercano futuro de vehículos autotripulados. Donde recuerda la Regla de la Mano, una fórmula matemática aplicada por los jueces en Estados Unidos para estimar si las acciones de un acusado, en términos de costes —de todo tipo, económicos y humanos— fueron razonables.
Pero Donde también recuerda que se dan casos en que la estimación habitual de esta regla, grosso modo funcional, produce resultados jurídicos atroces. Es entonces cuando un jurado civil, en base al sentido común de los ciudadanos, debe balancear esta regla con un veredicto que atienda a más factores que los fríos números.
Tras esta explicación, Donde da un mazazo demoledor: “Con los coches autónomos, no puede haber sala de deliberación. Como cualquier ordenador, un coche autónomo no hará nada salvo que se le dé una instrucción. Un programador no puede simplemente dar instrucciones para los casos más generales y no tener en cuenta los más raros y peligrosos.
Al mismo tiempo, un coche autónomo debe tomar sus decisiones en fracciones de segundo. No hay posibilidad de presentar las circunstancias a un jurado humano para que las evalúe. En consecuencia, estas instrucciones han de alzarse sobre sus propios méritos”.
Y es en este último apunte donde me quiero detener para hacer lo que siempre hago en esta sección: tirarme a la piscina. Si queremos que los algoritmos que regirán nuestras vidas cuando viajemos a bordo de máquinas autotripuladas “se alcen sobre sus propios méritos”, el diseño de tales razonamientos informáticos no puede recaer en absoluto en el sector privado y sus ingenieros.
El diseño de este tipo de herramientas informáticas debe ser realizado, aunque lleve mucho más tiempo, por un equipo independiente e interdisciplinar que evalúe un protocolo general de actuación a nivel nacional o incluso supranacional. Deben de ser psicólogos, filósofos, sociólogos, políticos y, por supuesto, la sociedad civil —de manera directa o mediada a través de sus gobernantes— los que creen estas restricciones en colaboración con los ingenieros.
Y tales algoritmos han de ser presentados a la sociedad civil para su conocimiento e incluso aprobación.
Estamos hablando de algo tan crucial como el transporte, el pilar básico que hace posible la sociedad moderna. No se puede delegar a mera burocracia o protocolos de calidad un asunto tan grave.
Al menos, esto opina desde esta humilde tribuna su Gadgetrón. Porque lo que está claro es que a las víctimas de Uber o Tesla ya no las podemos salvar.
Pero sí podemos asegurarnos de que las futuras víctimas, en el lamentable caso de que sea inevitable su muerte, sufran las consecuencias de un sistema reglado por sus conciudadanos y no por los intereses de una empresa.
