Sean Goedecke publica un análisis que acumuló casi 800 puntos en Hacker News: los LLM producen mejor output cuando quien los usa tiene competencia real en el dominio. Los trucos de prompting genéricos cuentan menos de lo que se cree.

El ejemplo central es la conversación de Terence Tao con ChatGPT sobre el contraejemplo a la conjetura jacobiana. Tao escribe mensajes cortos, va al grano, no sigue las sugerencias del modelo sobre dónde continuar. Hace preguntas específicas como “¿funciona X aquí?” o “dado Y y Z, ¿por qué A?”. El resultado es una conversación densa y técnica, que poco tiene que ver con el “explícamelo como a un niño”.

Por qué te importa: la idea generalizada de que basta “saber hacer prompt” para obtener buenos resultados es errónea. Quien conoce su campo reconoce cuándo una respuesta parece extraña, puede sugerir enfoques alternativos, y sabe decir “esto debería ser más simple aquí”. Quien carece de competencia se aferra al output del modelo y lo da por válido. La parte difícil del trabajo con IA es comunicar exactamente qué tipo de solución buscas, y para hacerlo necesitas saber qué estás buscando. El cuello de botella está en quien guía la conversación.

En detalle

El debate sobre quién es “bueno con IA” ha atravesado distintas fases. Se comenzó con el “prompt engineering” como competencia separada, aprendible con listas de trucos. Luego se difundió la idea de que los modelos se volvieron tan capaces que cualquiera obtiene los mismos resultados. Goedecke cuestiona esta segunda posición con un argumento concreto.

El ejemplo de Terence Tao es instructivo porque muestra un patrón de interacción que no se puede replicar copiando los movimientos. Tao escribe mensajes brevísimos y responde solo a lo esencial. Empuja al modelo hacia el modo “hablo con un matemático” simplemente por cómo formula las preguntas. Cuando algo no encaja, dice “esto parece más complejo de lo que esperaba” en lugar de contradecir directamente. Hace saltos y propuestas propias, casi nunca sigue las sugerencias del modelo sobre el próximo paso.

El punto de Goedecke es que no puedes hacer prompts como Tao siguiendo una lista. La técnica funciona porque Tao entiende matemáticas. Sabe extraer la idea relevante de una respuesta larga, proponer enfoques alternativos, reconocer qué “se ve raro”. Es la competencia la que habilita la técnica.

Goedecke reporta la misma dinámica en su trabajo como programador. Cuando tiene una comprensión sólida de su propia codebase, puede llevar el LLM mucho más lejos: diciendo “esto debería ser más simple”, u “¿no hacemos ya X?”, o “¿podemos formular el problema en estos términos?”. Sin esa familiaridad, se limita a aceptar lo que el modelo produce.

La discusión en Hacker News (332 comentarios) muestra dos reacciones. Muchos comparten la experiencia: la competencia ayuda, su ausencia daña. Otros expresan una sospecha legítima: esta tesis es reconfortante para quien tiene competencia y quiere sentirse aún útil. Goedecke lo reconoce y nota que cuando lleguen estudios sistemáticos el panorama ya habrá cambiado.

Una objeción técnica de los comentarios: los prompts matemáticos de OpenAI no muestran expertise particular. Goedecke responde que OpenAI tiene un equipo de matemáticos que filtra y verifica los descubrimientos del modelo, y ese paso no se puede saltar.

La implicación práctica es directa. Si quieres obtener más de los LLM en tu campo, lo más útil que puedes hacer es profundizar tu conocimiento del dominio, así puedes guiar el modelo en lugar de seguirlo. Es el mismo principio detrás de saber escribir instrucciones que funcionan: reconocer un buen resultado requiere saber qué estás buscando.