Lado oscuro del transformador GPT-3

2021/03/11 Roa Zubia, Guillermo - Elhuyar Zientzia

• Teknologia
• Adimen artifiziala
• Berdintasuna
• Programazioa
• Robotika

Vivimos en una revolución de la inteligencia artificial, sea consciente o no. Y por eso es imprescindible hablar del funcionamiento y beneficio de la inteligencia artificial (ejemplo claro es la traducción automática a través de redes neuronales). Pero al igual que se mencionan los beneficios, hay que mencionar los riesgos.

En el campo de la inteligencia artificial, últimamente se está cumpliendo una idea ancestral. La ciencia ficción del siglo XX ha propuesto con frecuencia que las máquinas llegarían a realizar trabajos creativos. Llama robot, llama tu ordenador… lo que quieras. Hoy en día son muchas las máquinas capaces de escribir literatura o componer música, por ejemplo. Mejor o peor. Pero es capaz, en cierto modo, de ser creativo. El escritor Isaac Asimov fue llamado una vez “una máquina no inteligente” porque “no es capaz de escribir una sinfonía”. Y Asimov preguntó de vuelta “¿Tú eres capaz de escribir una sinfonía?”.

Lo cierto es que hoy en día la inteligencia artificial cada vez hace mejor esas cosas. Un ejemplo llamativo es el programa GPT-3. Escribe. Y bien, muy bien. Hace literatura, y seguramente ni tú ni yo, no somos capaces de distinguir entre la literatura hecha por un hombre y el GPT-3.

Sin embargo, no es perfecto. Débiles en la escritura. Lo dice el propio jefe de la OpenAI, que ha hecho GPT-3. De vez en cuando comete errores locos (¡y quién no! ). Sin embargo, es sorprendente cómo escribe GPT-3.

La idea es que han formado el programa (en realidad, el algoritmo del GPT-3 es secreto, pero su funcionamiento básico es habitual). Está capacitado para adivinar cuál es, por decirlo de alguna manera, la siguiente palabra que va a encontrar a medida que se va formando un texto. Así aprende a imitar estilos. En 2017, los informáticos inventaron una técnica denominada Trasformer para aumentar la eficiencia en este aprendizaje. Son varios los procesadores que utilizan en paralelo para aumentar la rapidez (en realidad es más complicado). El nombre GPT significa aproximadamente “Transformador formado-3” (del inglés Generative Pretrained Transformer) y GTP-3 es la tercera versión.

¿Dónde está el riesgo? Pues su riesgo es el mismo que la inteligencia artificial en casi cualquier ámbito. Si está formado con textos que no son muy apropiados en origen (por ejemplo, textos racistas), el GPT-3 tenderá a producir este tipo de textos. Entonces, está claro que hay que mirar con qué texto se forma, pero para tener un buen programa tiene que utilizar miles de millones de textos en la formación y no todos pueden ser supervisados previamente. Asumirá y asumirá, por tanto, los beneficios y perjuicios de todo lo que “devora”. Por lo tanto, los programadores deben buscar formas para encauzar en parte ese aprendizaje éticamente. Y eso no es fácil. Es un gran reto para los informáticos.