Publicado: 2025-03-18
Buenos días, tardes o noches:
Hace unas semanas terminé de leer el libro Prompt Engineering for LLMs: The Art and Science of Building Large Language Model-Based Applications de John Berryman y Albert Ziegler. Se publicó en noviembre en inglés y, por lo que he visto, este mes sale la versión en castellano.
El libro se enfoca principalmente en crear aplicaciones en las que parte de la lógica requiere utilizar un LLM. Es decir, trata de prompts pero enfocada a automatizar, no a conversar con una IA como ChatGPT. Aún así tiene un breve introducción a las LLMs y a cómo implementar un bot de chat.
Los autores son ingenieros que desarrollaron durante varios años el Copilot de Github, una IA para ayudar a programar, así que en principio son expertos en el tema. Aún así, el libro me ha parecido bastante pobre y descuidado. Intuyo que escribieron los diferentes capítulos a lo largo de 2 o 3 años porque inexplicablemente a veces usan modelos de 2022 como text-davinci-003 y otras veces comentan las últimas novedades. También en los ejemplos creo recordar que usaban APIs viejas que no son las recomendadas actualmente por OpenAI.
El error más garrafal en mi opinión es cuando comentan que mirando las probabilidades de los tokens del prompts puedes estimar si el prompt tiene problemas que puedan confundir al LLM. Hay incluso un código en Python para llamar a la API de OpenAI y obtener estas probabilidades. Es una idea que me pareció interesante y la quise probar por mí mismo. El problema es que el libro se publicó en noviembre de 2024 y esa opción de la API, según he podido ver, se eliminó en octubre de 2023, 13 meses antes. Así que toda esa sección es prácticamente inútil en estos momentos. ¿No se dieron cuenta? ¿O como son de Github/Microsoft y tienen acceso preferente a los modelos y sí pueden obtener esa información?
Las explicaciones se centran casi exclusivamente en los LLMs de OpenAI. Me hubiera gustado que hicieran uso de modelos open source que se pueden ejecutar localmente. Seguramente son menos inteligentes pero mucho más eficientes y respetuosos con las privacidad.
Pero no todo es malo en el libro. Es relativamente corto, va al grano y gracias a él he aprendido algunas cosas sobre la tecnología de los LLMs que no tenía del todo claras. Por ejemplo, yo sabía que puedes coger todo el texto de internet y entrenar un modelo de lenguaje que te diga la probabilidad del siguiente token. Eso es algo muy viejo. Pero no entendía cómo a partir de eso mágicamente el LLM se convertía en un ente servicial que era capaz de seguir instrucciones. Parece ser que, una vez creado el LLM base con todos los datos que se hayan podido encontrar, hay un par de pasos más de entrenamiento de los que no sabía nada.
En resumen, el libro me ha dejado un poco frío. Tiene cierta utilidad pero creo que no ha sido revisado correctamente y peca de estar excesivamente centrado en OpenAI. Además es bastante caro, caso 80$ en estos momentos en papel y 65$ en ebook.