Mi postura ante la IA
Chomsky derided researchers in machine learning who use purely statistical methods to produce behavior that mimics something in the world, but who don’t try to understand the meaning of that behavior. Chomsky compared such researchers to scientists who might study the dance made by a bee returning to the hive, and who could produce a statistically based simulation of such a dance without attempting to understand why the bee behaved that way
No suelo escribir sobre cosas relacionadas con mi trabajo en los ratos libres. Para eso ya está la jornada laboral. Pero me viene pasando últimamente algo bastante curioso, y es que cada poco tiempo me encuentro matizando mi postura sobre las (mal llamadas) IAs y su papel en nuestra sociedad. Bien en el trabajo, bien en una tertulia regada con cerveza, no es raro que surja el tema o que alguien quiera discutir conmigo sobre ello.
El otro día, tras otra de esas conversaciones, me acordé de las sabias palabras de mi amigo Jesús, una de las personas más inteligentes que conozco. En una de las últimas veces que coincidimos me contó que se había hecho un blog precisamente para no estar exponiendo su opinión sobre el mismo tema una y otra vez. Pensé entonces: ¿Por qué no? Y he aquí que me encuentro en este lío.
En primer lugar, toca algo de contexto profesional. Mi trabajo actual es el de científico de datos (sea lo que sea eso), y llevo dedicándome al tema de la Inteligencia Artificial (bien llamada esta vez) y Aprendizaje Automático desde principios de los dos mil. Tengo un doctorado y he dedicado parte de mi carrera profesional a analizar datos -o mirar fijamente numerinchis– en uno u otro ámbito.
Lo raro es que me hayáis visto u oído en algún sitio, porque suelo ser bastante introvertido y escapar de networkings, datathones, y demás ceremonias de medida de genitales y celebraciones en LinkedIn. Eso no significa que no me guste mi trabajo, y he acudido a congresos donde he escuchado fascinado a gente mucho más lista que yo y aprendido montones de cosas. También he publicado cosas interesantes, pero casi siempre ha sido porque estaba rodeado de gente muy competente (mi autoestima habitual me impide pensar que yo pueda haber hecho algo bien. Acostumbraos, porque es lo que hay).
Después de más de veinte años de carrera profesional, con muchas más canas y menos paciencia, he desarrollado un cierto escepticismo ante algunas tecnologías y/o modas que lo están petando últimamente (todos sabemos de lo que estoy hablando, ¿verdad?). Y a veces me cuesta explicarlo o posicionarme, porque tiendo a dar la razón a todo el mundo a poco que me insistan. Así de blando soy. Tomad, entonces, estas palabras como una gran hazaña, pues ni estoy muy seguro de nada, ni me es fácil exponerme así, a pecho descubierto.
El término IA es una usurpación por motivos comerciales
Los que sean de mi quinta, y hayan estudiado informática o cualquier cosa relacionada con las ciencias de la computación, recordarán que bajo el paraguas del término IA se estudiaban muchas cosas. Sólo mirando el índice del famoso clásico de Russell y Norvig, podemos encontrar cosas tan heterogéneas como algoritmos de búsqueda, programación lógica, problemas de satisfacción de restricciones, robótica, aprendizaje por refuerzo, etc.
Lo que la mayor parte de la sociedad conoce hoy en día como IA no es más que un tipo en concreto de tecnologías. Vamos, un subconjunto del aprendizaje automático, y a su vez del aprendizaje profundo (que es lo anterior pero a cañonazos), aplicado al procesamiento del lenguaje natural a una escala no vista hasta ahora.
Creo que detrás de esta ¿confusión? no hay más que el interés comercial, ya que no podemos negar que el término IA, y los debates sobre la AGI (el Skynet de Terminator, para entendernos), tienen mucho tirón. Todo vende más si lleva una ración extra de IA. Para entendernos a partir de ahora, que quede claro que a lo que me refiero en este texto es a los LLM (Large Language Models, o modelos grandes de lenguaje), que es a lo que se refiere tu cuñado Paco cuando te dice que le pide a ChatGPT que le escriba la felicitación de Año Nuevo para el WhatsApp.
Estamos en medio de una burbuja de los LLM
No me considero el más listo de la clase. Ni siquiera se me da bien predecir el futuro. Para que os hagáis una idea, en su día no fui capaz de verle el sex appeal a Internet, ni pensaba que iba a servir para ganar dinero (tened piedad, pues era joven e inexperto en la tecnología y en el amor).
Pero lo que sí tengo son años. Unos cuantos ya. Y me ha tocado vivir varias burbujas. Mi primer trabajo fue un chanchullo en medio de la burbuja de las “punto com”. Sí, aquella burbuja que al reventar se llevó los ahorros de mucha gente (Terra, te estoy mirando a ti). En los últimos años ha habido burbujas de muchos tipos (web3, blockchain, etc.), casi siempre siguiendo el mismo esquema: aparece una tecnología útil y, acto seguido, te viene el capital riesgo y te obliga a tragar toda la papilla hasta que te atragantas.
Así, estamos forzando la maquinaria y metiendo LLMs hasta en la sopa. No nos paramos a plantearnos si tiene sentido o no. Es lo que dice el mercado, y éste nunca se equivoca (ejem). Insisto: la tecnología subyacente es en muchas ocasiones muy interesante desde el punto de vista técnico, pero eso al capital riesgo ni le importa. Sólo busca crear expectación, una falsa necesidad y su consiguiente demanda irracional.
Los LLM son como la heroína, pero para directivos
Me acuerdo mucho estos días de un jefe que tuve hace tiempo, cuyo cometido y funciones nunca tuve demasiado claros, pero que estaba muy bien considerado dentro de la profesión (por otros jefes y palmeros). Es de esas personas que medran muy bien en este nuestro sistema, que se sabe mover con soltura y que está destinado a seguir mostrando su falta de empatía e incompetencia desde cimas cada vez más elevadas.
Pues bien, me acuerdo de él porque siempre tenía en la boca la expresión “vendor lock-in”. Esto es, la dependencia de un proveedor específico. Era su excusa favorita para boicotear cualquier petición de mejora en un proyecto. Usando este comodín, era capaz de frenar cualquier iniciativa que no fuera gratis.
Pero, mira tú por donde, esta persona ahora está entusiasmada con los LLMs, predicando sus bondades y tratando de meterlos hasta en la sopa. ¿Que los modelos que está proponiendo son más cerrados que un convento de clausura? Da igual, no me seas retrógrado. ¿Que estamos insuflando la dependencia de un servicio que posiblemente suba de precio a corto o medio plazo? No te motives, viejales alarmista. ¿Que algunas de estas grandes empresas están ahora mismo a pérdidas y van a jugar a recuperar la inversión utilizando las tácticas trileras habituales? ¡Ludita!
Dada la respuesta del directivo medio, parecemos estar rodeados de auténticos yonquis de los LLM, adictos al subidón dulce, rápido e intenso. Pero luego, los más cercanos y los últimos monos, como siempre, seremos los que suframos las consecuencias de sus excesos.
Los LLM tienen sus cositas buenas
Creo que a estas alturas del texto me toca aparcar el vinagre un poco, y tratar de conciliar posturas. No todo va a consistir en mi famosa interpretación de “señor mayor le grita a una nube”. Además, de esta manera, puedo ponerme más gruñón todavía en lo que queda de texto y usar lo que voy a decir ahora como excusa.
Para mí, la mayor ventaja de los LLM es que nos permiten trabajar con datos no estructurados con una eficacia nunca vista. ¿Qué son datos no estructurados? Aquellos que no se pueden representar sin algo de esfuerzo como la clásica tabla en estadística. Para entendernos, estoy hablando de imágenes, sonido, textos, etc. Para las imágenes y el sonido ya habíamos tenido éxito con modelos de aprendizaje profundo, pero los LLM han sido una auténtica revolución en el campo del procesamiento del lenguaje natural.
Tradicionalmente, trabajar con textos ha sido siempre una pesadilla. Y una de las cosas que estos modelos hacen muy bien es extraer información importante de un texto y estructurarla siguiendo nuestras instrucciones. No hay nada más aterrador para un desarrollador que un campo de entrada que permita texto libre. Y es que los usuarios somos muy imaginativos a la hora de encontrar formas más o menos poéticas de expresar lo que queremos.
También lo están petando fuerte a la hora de generar datos artificiales. En algunos problemas, es complicado (o costoso) conseguir datos. En estos casos, nos pueden servir para generar datos fake que nos permitan ajustar algún modelo y así obtener algún tipo de información con la que decidir si seguimos adelante o no. Aquí podríamos debatir sobre la idoneidad de entrenar con dato artificial o sobre los posibles sesgos que introducimos. Pero bueno, ya sabemos que este tipo de comentarios es lo que hace que alguien te llame “purista” o “excesivamente académico”.
Personalmente, miro de reojo el desarrollo de los LLM open source, ya que creo que para muchos problemas nos pueden valer de sobra, y no presentan los problemas éticos que muchos vemos en los modelos comerciales más conocidos de Google u OpenAI. Sin embargo, la definición de open source en estos casos se queda un poco coja, y es necesario actualizarla para acomodar las características de estos modelos (No sólo soy ludita, sino que además voy a empezar a dar la turra con la ética).
Los LLM tienen un impacto ecológico
Leí el otro día a un tech-bro argumentar que esto era mentira. Que decirlo equivalía a admitir que no se tenía ni idea de cómo funcionaban estos modelos. Todo ello basado en el argumento de que los modelos se entrenan una única vez y luego la inferencia no es tan costosa en términos ambientales. Sólo le faltó decir que los centros de proceso de datos no existen y que los Gradient Boosted Trees son woke.
En fin. ¿Se entrenan una única vez? Ni de coña. Estas empresas quieren tener sus modelos actualizados, y por lo tanto los re-entrenan de vez en cuando. ¿La inferencia no es costosa? Pues menos que el entrenamiento, sí señor, pero si estos servicios están recibiendo millones de peticiones por minuto, igual empieza a subir la factura. ¿Y el coste económico y de recursos computacionales que implica la red de crawlers que utilizan para fusilar todo el contenido de Internet? Ahora resultará que el robots.txt es woke también.
¿Y qué decir del consumo de agua de los centros de proceso de datos? Es verdad que no sólo se usan para los LLM, pero el aumento exponencial de usuarios de estas tecnologías está propiciando un salto de escala considerable. Y todo ello, recordemos, para que tu cuñado le pida a ChatGPT que le escriba la felicitación de fin de año. Porque no nos engañemos, la mayoría no están usando GPTs y demás para curar el cáncer o descubrir un nuevo antibiótico, sino para hacer chatbots (tan necesarios para despedir a gente en atención al cliente) o generar contenido en páginas de Internet (con la consiguiente enmierdificación).
Los LLM están sesgados
Todos los modelos están sesgados. Y nuestro ideal, como trabajadores del dato, es entender las relaciones entre las variables y la distribución de nuestras observaciones con el fin de eliminar o controlar todo aquello que no hace más que confundir. De hecho, esa me parece una de las tareas más importantes dentro de mi trabajo. Casualmente, en el mundo empresarial de hoy en día, es una de las tareas que menos atención recibe.
Los LLM están siendo entrenados con bases documentales gigantescas. Una escala no vista antes en la historia de las ciencias de la computación. Hablamos de modelos con billones de parámetros como si fueran pequeños árboles de decisión sobre cuatro variables sueltas. Trabajando a esta escala, es difícil verificar los sesgos de los que antes hablaba, o tratar de corregirlos. Sobre todo, sabiendo que la recopilación de datos se está haciendo de forma masiva y descontrolada.
Tristemente, el contenido basura es mayoritario en Internet. Por cada artículo interesante sobre una dolencia en PubMed o Cochrane, existen cientos o miles de sitios recomendando rezar el rosario o caerse de un balcón como métodos infalibles para curar un resfriado. Luego no nos extrañemos si el GPT de turno nos escupe cualquier anormalidad, eso sí, con mucha autoridad y empatía. Nuestros sesgos y vergüenzas son el alimento de futuras decisiones. Miedo.
Los conjuntos de entrenamiento se van degradando
El basurero que es Internet hoy en día, descrito en el punto anterior, no es estático. Cada vez hay más sitios generados automáticamente usando estos mismos modelos. Prueba si no a buscar el típico artículo de “los mejores teléfonos del año 2024”, o cualquier comparativa entre productos.
La basura regurgitada por los LLM está volviendo al punto de origen. Y, por lo tanto, está siendo usada como ejemplos de entrenamiento para las futuras versiones. Esto también está ocurriendo a menor escala en modelos de este tipo desplegados en producción en algunos sectores, y está relacionado con la capacidad de los mismos para la generación de conjuntos de datos artificiales.
Estamos cambiando nuestra forma de trabajar
Hace ya unos cuantos años que vengo observando un fenómeno que siempre me ha llamado la atención. Gente más joven que yo, al acudir a las reuniones en la empresa, siempre va con el portátil. De ahí pasé a fijarme en que las nuevas generaciones también toman apuntes en clase usando su ordenador.
Superado el shock inicial, o crisis de los casi 50, y acompañado en las reuniones por mi libreta y mi bolígrafo, me dio por divagar sobre el tema. Está claro que ha habido un cambio de paradigma. Y reconozco que tiene sus ventajas. Pero, ¿qué hay de la parte intangible del proceso de escuchar, entender, resumir y contextualizar que un recurso limitado como el papel nos obliga a realizar? ¿Puede ser que estemos perdiendo algo en el camino?
Pero vayamos un poco más allá. Hoy en día, la gente joven que entra a trabajar conmigo son ávidos usuarios de ChatGPT. A la hora de hacer algo, evitan la tediosa etapa inicial (que consiste en pensar y organizar, casi nada) y se arrojan directamente a los brazos de los LLM. A veces esto sale bien, y consiguen el resultado deseado. A veces no. Otras veces, las más peligrosas, creen que lo han conseguido pero en realidad no es así.
Parece ser que hoy en día lo único que importa es ser el primero o el mejor. La retórica neoliberal consistente en tomárselo todo como una carrera de velocidad, y no de fondo, ha calado de tal forma en nuestra sociedad que ha afectado hasta a nuestras formas de trabajar.
Yo siempre he disfrutado más del viaje que del destino. Del mero hecho de aprender, antes que del resultado. Soy un paria en esta nueva sociedad de la velocidad, porque me gusta saber las razones que hay detrás de cada paso que damos. Porque me siento responsable de las cosas que construyo o diseño, y no las veo como hitos o indicadores de mi productividad.
Hablemos de ética. ¿Es que nadie va a pensar en les niñes?
Hace unos años, todavía tuve la oportunidad de ir a algún congreso relevante dentro de mi campo. Yo me saturo con facilidad en estos saraos, pero es verdad que siempre puedes sacar algo interesante, o conocer a gente relevante del mundillo.
En esos mis últimos congresos, uno de los temas más de moda era el de la ética en la IA. Muchos talleres mostraban nombres como “Ethical AI”, “AI for good”, “Fairness in AI”, “Explainability & accountability of AI”, etc. Para mí, estas áreas representan conceptos muy importantes ya que las herramientas con las que trabajamos tienen la capacidad de influir en la sociedad y, como tales, no deben perder de vista la perspectiva ética y política de nuestras contribuciones.
Sin embargo, desde la irrupción de los LLM, todos estos temas han pasado al segundo plano informativo. ¿Casualidad? Yo creo que no. Preguntarse por los sesgos de un modelo, asegurarse de que hace lo que promete, estudiar bien las consecuencias de su aplicación en la sociedad, etc., es poner hoy en día el dedo en la llaga y visibilizar las prácticas deshonestas que muchos de los gigantes tecnológicos están llevando a cabo delante de nuestras narices.
Los LLM están quitando ya puestos de trabajo
Lo sé. Suena alarmista. Pero es algo que poco a poco nos está calando cual lluvia fina. Sólo hay que mirar a sectores como el periodismo, la proliferación de libros infantiles con el mismo sospechoso estilo o el aumento exponencial de escritores de novelas románticas (les ha costado superar la productividad en libros/mes de mucho escritor franquista revisionista, eso es cierto).
Es verdad que los que están cayendo son sectores que ya estaban muy precarizados. Pero eso no es lo más importante. Para mí, la clave del asunto está en que cualquiera se considera capacitado para hacer cualquier cosa, aunque no tenga la formación o la experiencia adecuada para ello. El proceso natural de aprendizaje por ensayo y error se ve suplantado por un mercado ultra-liberal donde todos podemos llegar a ser lo que queramos. ¿Acaso hay algo más americano (y por consiguiente molón) que esa libertad? (Bueno sí, el morirse porque tu seguro médico se niega a pagarte el tratamiento para tu cáncer).
No veo ningún LLM usurpando auténticos trabajos innecesarios, como los de muchos jefecillos que lo único que saben hacer es montar reuniones y micro-gestionarte a base de sanas puñaladas por la espalda. ¿Por qué pueden sustituir a esos profesionales que citaba antes? Fácil. Porque ya antes habían precarizado y ridiculizado sus profesiones hasta convertirlas en caricaturas.
Vete despacio y cuida de tu jardín
Es fácil darse cuenta de que todo el texto anterior huele a algo reconocible. El aroma dulzón del neoliberalismo desenfrenado impregna todos mis pensamientos sobre el tema. “Muévete rápido y rompe cosas”, dijeron, pero ninguno pensamos en su día que para los enunciantes de dicha máxima, nosotros, los últimos monos, pertenecemos al reino de las “cosas”, así en general. Y vaya si nos han roto.
Llevamos ya unos cuantos años sucumbiendo al encanto de lo inmediato. En el trabajo, competimos por ser los primeros en llevar el modelo a producción. Que el modelo no sea el adecuado, o que no haya sido suficientemente probado, es lo de menos. Lo que importa es la POLE. ¿Para qué hacer pruebas sobre un subconjunto de usuarios seleccionados e informados y recoger su experiencia, pudiendo soltar una bomba de neutrones y reventar todo lo reventable sin mirar atrás?
Hacer las cosas bien y con calma está infravalorado. Huele a naftalina y a rancio. Es algo que decimos los boomers para defender nuestros puestos de trabajo, y resistir la asimilación por parte de las máquinas. O eso es lo que entiendo. Cada vez que abro LinkedIn (morboso que es uno), me encuentro con la amenaza de la extinción. De mi extinción.
Tengo casi 50 años y tres hijos adolescentes, y no tengo tiempo para estar al día de todos los LLMs que salen a la semana. Culpable. Los fanáticos de los LLMs, ¿no recuerdan un poco a esos colegas que todos tenemos que se sabían las especificaciones de todas las tarjetas gráficas a partir de su número de serie? Gente obsesionada en almacenar conocimiento con fecha de caducidad, y que desprecia lo esencial, lo clásico, por viejo y no por diablo.
Quien hace el KPI/OKR hace la trampa
Claro que no toda la culpa la van a tener los LLM. Los pobres modelos del lenguaje, maravilla tecnológica de nuestro tiempo y auténtica revolución en el campo del Procesamiento del Lenguaje Natural, no tienen responsabilidad ni voto en el hecho de ser el capricho actual de los tech-bros, paladines que pasaron del pañal a la defensa de la libertad en menos tiempo del que tarda OpenAI en sacar un nuevo modelo.
Vivimos en una sociedad orientada a la maximización de objetivos. Nuestras vidas son problemas de optimización. En el trabajo buscamos maximizar los beneficios. En nuestra vida buscamos minimizar el tiempo desocupado o maximizar nuestra felicidad, como si eso fuera tan fácil.
Maximizar una única variable no es complicado. En el caso de las empresas, el único límite que yo veo es el de la ética. Y la ética puede venir de dentro (los valores del empresario) o de fuera (la regulación). Siempre he comentado con mis amigos que el tráfico de armas o la trata de blancas son negocios muy lucrativos, pero que los valores compartidos por la mayoría nos impiden dedicarnos a esos negocios.
Donde de verdad empieza lo duro es en la optimización multi-objetivo. Cuando queremos hacer algo lo suficientemente flexible que gane dinero, pero que no deje de lado otras cuestiones, todo se convierte en un problema de equilibrio. ¿Qué es más importante? ¿A qué le doy más peso?
Pongo un ejemplo tonto. Tenemos dos fábricas, A y B. Las dos producen anchoas (es mi ejemplo y me gustan mucho). La fábrica A produce 1000 tarros al día y la B, 500. A priori, apostaríamos todo nuestro dinero a la fábrica A. Pero pongamos que la fábrica B tiene un diseño modular que le permite adaptarse a fabricar más cosas, por un coste despreciable. Pues llega una pandemia (es un decir, son cosas que sólo pasan en el cine), y resulta que la fábrica A se come una mierda, porque no puede hacer nada. Y la fábrica B la podemos convertir a fábrica de frascos de gel hidroalcohólico o mascarillas.
¿Adonde quiero llegar con el ejemplo tonto? A que maximizar un objetivo a muerte no es más que el ya manido “pan para hoy, hambre para mañana”. Y que una cierta flexibilidad nos convierte en un jugador polivalente, que puede adaptarse a circunstancias no previstas. Apostar todo nuestro futuro a tecnologías como las LLM, por buenas que sean, no es más que un regreso a la optimización del “objetivo único”.
La deuda técnica es invisible
Imposible cerrar este monólogo sin hablar del vibe coding. Reconozco que yo, que siempre he sido desarrollador de los de mirar muchas veces el código, y que encuentro mucho placer en pensar sobre lo que estoy haciendo, por mecánico que pueda llegar a parecer, me siento amenazado por la plaga de desarrolladores “asistidos” que inunda nuestras redes con obras “maestras” de la arquitectura de software.
Yo soy lento. Me gusta pensar en las implicaciones de mi código, y en el lugar que ocupa el mismo dentro de un sistema complejo. Soy un dinosaurio para toda esta generación de cyborgs del desarrollo. Puede que esté equivocado, por supuesto, y estas líneas no sean más que mi testimonio final. “Aquí yace el último boomer que programaba a mano, sin usar Copilot, Cursor, o lo que toque cuando leas esto”.
Volvemos a hablar de rapidez. Pero nadie está hablando de la gran olvidada de nuestra industria: la deuda técnica. Estas prácticas tan molonas tienen un coste. Pero éste -piensan muchos gestores de proyectos- no es de los nuestros. Es un problema que ya pagarán nuestros nietos, es decir, los últimos mindundis que tendrán que resolver las chapuzas y agujeros de seguridad creados por un ejército de monos que trata de escribir una obra de Shakespeare pero acaba vomitando un libro de Ana Rosa Quintana.
¿Realmente nos merece la pena ir tan rápido? Que cada uno mire dentro de sí, sea sincero y ponga todas estas reflexiones en contexto. Yo estoy mayor para este ritmo y sólo aspiro a tratar de poner un poco de cordura en los proyectos en los que me quieran escuchar.
Yo no quiero ser una máquina en una cadena de montaje. No quiero que me juzguen por la rapidez con la que pongo modelos en producción. Quiero ser un artesano y que cada uno de mis modelos sea único, fruto de su momento y de las condiciones particulares de cada proyecto y equipo.
Si te ha gustado esta entrada, puedes enviarme tus comentarios en Mastodon: @keyeoh@qoto.org