La IA y el peligro de crear un nuevo Chernobyl

El  26 de abril de 1986 el mundo se  estremeció por una explosión con efectos  que perduran al día de hoy: la del reactor número 4 de la central nuclear de Chernobyl. 

Con 31 muertes directas y entre 9.000 y 16.000 indirectas, según la OMS y hasta 200.000 según cálculos de ONGs como  Greenpeace, además de unos 150.000 km2 contaminados y un daño ecológico inestimable.

El motivo fue que la plana política desoyó la infinidad de advertencias por parte de los científicos, para cumplir con esquemas productivos y no mostrar debilidad frente a occidente. Chernobyl se convirtió en una tragedia emblemática de cómo la arrogancia del poder o la ignorancia de aquellos que toman decisiones, llevan a la subestimación de los riesgos y eso a peligros sin precedentes.

Ese mismo año, el sociólogo alemán Ulrich Beck publicó lo que fue su tesis fundamental “La sociedad de Riesgo: Hacia una nueva modernidad”. En la misma argumenta que, en la modernidad avanzada, la producción de riqueza ahora coexiste con la creación sistemática de peligros tecnológicos e industriales. A diferencia de las carencias materiales del pasado, estos nuevos riesgos son a menudo invisibles, globales y se basan en interpretaciones científicas más que en la percepción directa. 

Y es que, en términos históricos, si trazamos una línea desde los albores de la humanidad, cuando se descubrió cómo producir fuego, hasta el día de hoy, que estamos siendo revolucionados por la invención de la IA, podemos ver que existe una correlación directa entre la complejidad y beneficio del descubrimiento o invención y la complejidad y peligro de sus riesgos inherentes.

Es decir, el fuego servía para calefaccionar o cocinar y  el riesgo era quemarse o provocar un incendio. El riesgo es claro y el daño se puede ver y mensurar.

El motor a combustión interna, aceleró el transporte, la logística y el comercio, pero con riesgo de contaminación ambiental. En este caso, es más difícil llegar a medir ese daño, por lo que el riesgo es más difuso. 

Otro ejemplo en esa línea es el de los antibióticos que, claramente, salvan vidas, pero su mal uso puede generar resistencia bacteriana.

O la energía nuclear, que bien manejada es la forma más limpia y eficiente de energía, pero con el riesgo de contaminación radioactiva catastrófica, como lo fue Chernobyl.

Hoy la IA le plantea a la humanidad nuevas oportunidades y también nuevos riesgos. Y tal como ha quedado claro, a más compleja la tecnología, más opacos son los riesgos. Si bien en el imaginario social, el peligro más asociado a las máquinas inteligentes es el  popularizado por Terminator, y que los científicos también evalúan, lo cierto es que existen estudios que alertan sobre otros menos cinematográficos pero más plausibles.

El peligro del reemplazo no planificado

Mucho se ha hablado de que la sustitución de mano de obra humana por IA trae aparejado un costo social y económico inmediato. Sin embargo, un estudio recientemente publicado de investigadores del MIT, UCLA y la Washington University de St. Louis  alertó sobre el riesgo del “efecto del aprendiz ausente”.

El paper llamado “Some Simple Economics of AGI” resalta la brecha que se está formando entre la capacidad de ejecución de tareas por parte de las máquinas y la capacidad humana de verificación del resultado de las mismas. Es que el reemplazo y automatización del trabajo inicial, destruye la formación de futuros expertos.

En  el caso de los programadores, miles de empresas en el mundo están optando por despedir a sus equipos de programación, dado que la tarea la puede resolver la IA. Mantienen en el puesto (si acaso lo hacen) solo a personal cualificado que pueda verificar y corregir la labor de la IA.  Pero esa cualificación no es sólo resultado de un título, sino también de la experiencia. Un junior de ayer, es un senior de hoy. Pero si hoy las empresas están despidiendo a sus juniors, ¿quiénes serán los seniors del mañana? Esta problemática, tan evidente en el campo de la programación, no solo es exclusiva de esa industria. El diagnóstico por imágenes, los servicios financieros, la ingeniería civil o las asesorías legales son otros ejemplos donde el mismo desafío se vislumbra a futuro.

A medida que los puestos son automatizados y reemplazados por la IA los roles que quedan, según ese estudio son tres. Por un lado, el de verificador y garante; al médico, al juez o al ingeniero no les pagan por una respuesta sino por poner su reputación en juego detrás de un diagnóstico, fallo o proyecto. Pero esa capacidad de auditar no viene con el título, viene de haber visto miles de casos reales y de discernir entre datos que podrían parecer contradictorios. Algo tan valioso como la experiencia. Un radiólogo que nunca leyó placas a mano no puede detectar lo que el algoritmo diagnostica mal. Si hoy no hay juniors leyendo placas, en diez años no habrá seniors capaces de verificar.

Por otro lado están los árbitros de intención. Detrás de cada IA debe haber alguien que determine que queremos que haga el sistema y con qué criterios. Esa tarea, nuevamente requiere de experiencia. De discernir sobre la lógica necesaria para que el sistema funcione.

Y finalmente, el último rol que plantea el estudio es el de los constructores de consenso social, creadores de sentido o artistas, cuyo valor intrínseco está ligado a su prestigio personal.

Por lo que, dejando de lado a los artistas, los dos primeros grupos están en riesgo de extinción según la lógica actual de reemplazo por IA.

Y esa pérdida de verificadores no es un problema sectorial sino sistémico, los investigadores advierten que este proceso nos lleva a lo que definen como una “economía hueca” en la que la IA genera una producción masiva en cuanto a su volumen pero que a raíz de ese cuello de botella que se genera al tener cada vez menos humanos verificando el resultado de la misma, carece de utilidad real lo que llevaría a un colapso del sistema.

Volvamos por un momento a Beck. Él destacaba que existe un efecto bumerán, donde los riesgos devenidos de las nuevas tecnologías terminan afectando también a las clases altas que las crearon y originalmente se beneficiaron de ellas. En su tesis, sostiene que esta realidad exige una modernización reflexiva para gestionar las consecuencias imprevistas del progreso técnico.  ¿Acaso quienes están implementando estos cambios masivos, despidiendo a su planta de personal junior por la automatización en manos de IA, contemplan los riesgos que a futuro traen sus decisiones? ¿Serán como los comisarios políticos que silenciaron las alarmas previas al desastre de Chernobyl? ¿Tendrán conciencia de la advertencia de Beck y que si el sistema colapsa, se verán golpeados por el búmeran?

Todo parece indicar que no, pero aún hay tiempo de remediarlo.

La IA es una herramienta muy valiosa que sin dudas puede ayudar al progreso, de la misma forma que el fuego, el motor o la energía nuclear. Pero que conlleva riesgos que merecen ser atendidos y no subestimados.

Beck también decía que la lógica del reparto de riesgos está sustituyendo a la distribución de la riqueza como el eje principal del conflicto social y político. Lo cual brindaría un nuevo enfoque para el análisis, “si todos somos socios en el riesgo, ¿por qué no en las ganancias?”,aunque en un mundo donde aún no se tiene en claro el riesgo de la automatización de todas las tareas, eso parece material para otro debate.