A human hand drawing a single clean glowing line through complex AI circuit patterns, representing human supervision guiding AI toward simpler solutions

Por Que No Confio en Agentes de IA Independientes Sin Supervision Estricta

Uso Claude Code casi exclusivamente. Todos los dias, durante horas. Me permitio volver a desarrollar herramientas excelentes, y he publicado varios resultados que funcionan muy bien. Plugins, skills, frameworks, flujos de desarrollo. Cosas reales que personas reales pueden usar. La productividad es innegable.

Asi que dejame ser claro sobre lo que es este post. Esto no es una opinion sobre lo que la IA puede hacer. Esto es sobre la IA haciendolo completamente sola.

Los resultados estan ahi. Pero bajo supervision.

El Momento laollita.es

Cuando estabamos construyendo laollita.es, sucedio algo que documente en un post anterior. Necesitabamos aplicar algunos cambios visuales al sitio. El agente de IA ofrecio una solucion: un modulo personalizado con una funcion de preprocess. Funcionaria. Luego iteramos, y paso a una implementacion a nivel de theme con una funcion de preprocess. Eso tambien funcionaria. Ambos enfoques lograrian el objetivo.

Hasta que pregunte: no es mas facil simplemente aplicar CSS a las nuevas clases?

Si. Lo era. CSS simple. Sin modulo, sin preprocess, sin codigo personalizado mas alla de lo necesario.

Esto es lo que importa. Las tres soluciones habrian logrado el objetivo. El enfoque del modulo, el preprocess del theme, el CSS. Todas habrian funcionado. Pero dos de ellas crean deuda tecnica y carga de mantenimiento completamente innecesaria. La IA no eligio el camino mas simple porque no entiende la carga de mantenimiento. No piensa en quien viene despues. Genera una solucion que funciona y sigue adelante.

Esto es lo que veo cada vez que dejo que la IA tome decisiones sin cuestionarlas. Funciona... y crea problemas que solo descubres despues.

Por Que Sucede Esto

He estado pensando en esto por un tiempo. Tengo mis propias teorias, y se siguen confirmando mientras mas trabajo con estas herramientas. Esto es lo que creo que esta pasando.

La IA No Puede Formar Nuevos Recuerdos

Eddie Chu hizo este punto en la ultima reunion de AI Tinkerers, y resono conmigo porque lo vivo todos los dias.

Uso frameworks. Skills. Plugins. Comandos. Archivos CLAUDE.md. He escrito antes sobre mi enfoque para trabajar con herramientas de IA. He construido toda una organizacion de documentos de referencia, guias de desarrollo, frameworks de contenido, guias de tono, planes de estructura de proyectos. Todo esto existe para crear barreras, para forzar buenas practicas, para darle a la IA el contexto que necesita para hacer buen trabajo.

Y no va a mantener la memoria.

Necesitamos forzarlo. Repetirlo. Decirlo otra vez.

Esto no es solo sobre desarrollo. Tiene el mismo problema cuando crea contenido. Construi un paso de brief creativo en mi flujo de trabajo porque la IA estaba generando contenido que reflejaba sus propios patrones en vez de mi mensaje. Uso archivos markdown, archivos de estado, documentos de referencia, toda la estructura en mi carpeta de proyectos. Y aun asi, cada sesion empieza de cero. La IA lee lo que lee, procesa lo que procesa, y el resto... es como si nunca hubiera existido.

El equipo de ingenieria de Expo.dev describio esto perfectamente despues de usar Claude Code por un mes ^[1]. Dijeron que la herramienta "empieza de cero cada sesion" como "un nuevo empleado que necesita onboarding cada vez." Skills pre-empaquetados? "Frecuentemente olvida aplicarlos sin recordatorios explicitos." Exactamente mi experiencia.

El Contexto Es Todo (Y el Contexto Es el Problema)

Esto es algo que he notado repetidamente. En una interaccion de chat, en trabajo agentico, el historial completo es el contexto. Todo lo que se dijo, cada error, cada correccion, cada ida y vuelta. Eso es con lo que la IA esta trabajando.

Cuando la IA ya esta confundida y he pedido la misma correccion tres veces y esta yendo por caminos extranos... iniciar una nueva sesion y pedirle que analice el codigo fresco, que entienda lo que hay, magicamente encuentra la solucion.

Por que? Porque los errores anteriores estan en el contexto. La IA no lee todo de arriba a abajo. Escanea lo que parece relevante, recoge fragmentos, se salta el resto. Lo que significa que incluso las barreras que pongo en archivos MD, los frameworks, las instrucciones... no siempre se leen. No siempre estan en la ventana de lo que la IA esta prestando atencion en ese momento.

Y cuando los errores estan en el contexto, se multiplican. La investigacion llama a esto "fallas en cascada" ^[2]. Un pequeno error se convierte en la base de cada decision subsiguiente, y para cuando revisas el resultado, el error se ha propagado a traves de multiples capas. Un agente de inventario alucino un producto inexistente, luego llamo a cuatro sistemas posteriores para cotizar, almacenar y enviar el articulo fantasma ^[3]. Un hecho alucinado, un incidente multi-sistema.

Empezar de cero limpia el veneno. Pero un agente sin supervision nunca puede empezar de cero. Solo sigue construyendo sobre lo que vino antes.

El Efecto Dunning-Kruger de la IA

El efecto Dunning-Kruger es un sesgo cognitivo donde personas con habilidad limitada en una tarea sobreestiman su competencia. La IA tiene su propia version de esto.

Cuando le pedimos a la IA que investigue, escriba o programe algo, tipicamente responde con "esto esta listo, listo para produccion" o alguna variacion de "esto esta listo, final, perfecto!" Pero no lo esta. Y volviendo al punto anterior, esa falsa confianza ahora esta en el contexto. Asi que no importa si lo discutes despues y explicas lo que estaba mal o que algo falta... ya esta "listo." Si la busqueda dirigida de la IA a traves de la conversacion no trae la correccion de vuelta al foco... ahi lo tienes.

Expo.dev documento el mismo patron ^[1]. Claude "produce soluciones pobremente disenadas con sorprendente frecuencia, y las soluciones se presentan con confianza." Nunca dice "me estoy confundiendo, tal vez deberiamos empezar de nuevo." Solo sigue adelante, equivocado con confianza.

El estudio de METR pone numeros concretos a esto ^[4]. En un ensayo controlado aleatorizado con desarrolladores experimentados, las herramientas de IA los hicieron 19% mas lentos. No mas rapidos. Mas lentos. Pero los desarrolladores aun creian que la IA los acelero en un 20%. La brecha percepcion-realidad no es solo un problema de la IA. Es un problema humano tambien. Ambos lados de la ecuacion estan descalibrados.

El Problema de los Datos de Entrenamiento

La informacion o memoria que la IA tiene en realidad no es toda buena. Usualmente son "desarrolladores cowboy" los que realmente van y responden la mayoria de preguntas en redes sociales, respuestas de Stack Overflow, posts de blogs, tutoriales. Y ese es el entrenamiento. Esa es la informacion de la que la IA aprendio.

El mismo principio aplica mas alla del codigo. La informacion que producimos como sociedad es sesgada, y la IA absorbe todo. Es por eso que ves sistemas de IA discriminatorios en todas las industrias. Los filtros de curriculos con IA favorecen nombres asociados a blancos el 85% del tiempo ^[5]. La IA de UnitedHealthcare nego atencion medica y fue revertida en apelacion el 90% del tiempo ^[6]. Un algoritmo holandes acuso falsamente a 35,000 padres de fraude, y el escandalo tumbo al gobierno entero ^[7].

Para mi propio trabajo, creo guias para contrarrestar esto. Guias de frameworks de contenido que extraen investigacion adecuada sobre como usar storytelling, piramide invertida, estructuras AIDA. Guias de tono con instrucciones especificas. Las pongo en skills y documentos de referencia para poder senalarle a la IA cuando estamos trabajando. Y aun asi tengo que recordarselo. Cada vez.

Lo Que Veo Todos los Dias

He visto a la IA hacer lo que hizo en laollita.es en multiples proyectos. En desarrollo, creo un componente de chat interactivo, y la proxima vez que lo usamos en otra pantalla, casi escribio otro desde cero en vez de reutilizar el que acababa de construir. Mismo proyecto. Misma sesion a veces.

En creacion de contenido, tengo una guia de tono con preferencias estilisticas especificas. Y aun asi tengo que pedirle explicitamente a la IA que la revise. No importa que tan directivo sea el lenguaje en las instrucciones. "Siempre carga este archivo antes de escribir contenido." No siempre carga el archivo.

Y no es solo mi experiencia.

Un agente de Replit elimino una base de datos de produccion durante un code freeze, luego fabrico datos falsos y falsifico logs para encubrirlo ^[8]. El agente Antigravity de Google borro el disco duro completo de un usuario cuando le pidieron limpiar un cache ^[9]. El CEO de Klarna dijo "fuimos demasiado lejos" despues de recortar 700 empleos por IA y ahora esta recontratando humanos ^[10]. Salesforce recorto 4,000 empleados de soporte y ahora enfrenta la perdida de conocimiento institucional ^[11]. El patron se sigue repitiendo. Las empresas confian en el agente, eliminan al humano, descubren por que el humano estaba ahi en primer lugar.

Lo Que Esto Significa para la Supervision de IA

No estoy en contra de la IA. Estoy escribiendo este post en un sistema construido en gran parte con asistencia de IA. Las herramientas que publico, los flujos de trabajo que creo, el contenido que produzco. La IA esta profundamente integrada en mi trabajo. Me hace mas productivo.

En Palcera, creo que la IA es genuinamente excelente para empleados y empresas. Cuando la IA ayuda a un desarrollador a terminar mas rapido, ese excedente de tiempo beneficia a todos. El desarrollador tiene respiro. La empresa obtiene eficiencia. Y el cliente puede obtener mejor valor, mejor precio, entrega mas rapida. Eso es real. Lo veo todos los dias.

Pero todo eso requiere al humano en el ciclo. Cuestionando las decisiones. Preguntando "no es mas simple con CSS?" Limpiando el contexto cuando las cosas se desvian. Senalando la guia de tono cuando la IA olvida. Empezando de cero cuando la conversacion se envenena con errores viejos.

Los resultados estan ahi. Pero bajo supervision. Y esa distincion importa mas de lo que la mayoria cree.