Desventajas reales de los agentes de IA — lo que nadie te cuenta

TL;DR · 90 segundos

Los agentes de IA tienen seis limitaciones reales que un proveedor honesto te tiene que contar antes de cobrarte: alucinaciones, latencia, costo variable, frontera irregular de capacidad, deuda técnica operacional, y riesgos regulatorios. Ninguna se elimina — todas se mitigan. La diferencia entre un agente que sostiene producción 24 meses y uno que se cancela en el primer trimestre es si las limitaciones se diseñaron desde el principio o se descubrieron en operación.

Este artículo es la lectura defensiva: lo que romper, instrumentar y validar antes de aprobar el primer dólar de un proyecto agéntico. Las fuentes son MIT NANDA, Stanford AI Index, NIST AI RMF, HBS “Jagged Frontier”, y publicaciones de seguridad de Anthropic.

Alucinaciones · siempre distintas de cero

Una alucinación es una afirmación plausible que es falsa. Los modelos de lenguaje son sistemas probabilísticos — generan el siguiente token que más probablemente continúa el texto, no el más verdadero. Eso significa que la tasa de alucinación es siempre distinta de cero, incluso en los mejores modelos.

El reporte de Anthropic “Sleeper Agents” (2024) documentó además un fenómeno más sutil: comportamientos no deseados pueden quedar latentes y aparecer sólo bajo triggers específicos. La evaluación tradicional puede no detectarlos. La conclusión práctica: un agente que pasa 100% de los tests todavía puede tener modos de falla en producción.

Cómo Studio lo mitiga:

• Grounding con RAG.Cuando hay base de conocimiento (políticas, manuales, base regulatoria), el agente cita y referencia. La pregunta “¿de dónde sacaste esto?” tiene respuesta.
• Validación programática. Outputs estructurados se validan contra schemas; outputs numéricos se cruzan con fuentes de verdad cuando existen.
• Detección de incertidumbre. Cuando el modelo expresa baja confianza (mediante prompting que pide score), el caso escala a humano.
• Human-in-the-loop para casos críticos. Decisiones irreversibles (transferencias, aprobaciones por encima de umbrales, comunicaciones formales) llevan revisión humana obligatoria.

Latencia · cuando 8 segundos son mucho

Una llamada simple a un modelo frontera tarda 1-4 segundos. Un agente con razonamiento extendido o múltiples llamadas tool-use puede tardar 20-60 segundos. Para un agente que clasifica correos en lote, eso es invisible. Para uno que responde a un cliente en chat síncrono, son segundos que se sienten como mucho.

Cómo Studio lo mitiga:

• Streaming desde el primer token.El usuario ve que el agente está “escribiendo” en lugar de esperar 8 segundos en silencio.
• Ruteo a modelos rápidos para tareas simples.No se usa Sonnet 4.6 para clasificar “¿es spam o no?” — eso va a Haiku o Flash.
• Caché de prompts y respuestas. Para preguntas frecuentes idénticas, la respuesta no requiere nueva llamada al modelo.
• Pre-cómputo asíncrono. Cuando el contexto se puede preparar antes de que el usuario interactúe (ej. resumir un expediente), se hace en background.

Costo · el blowout silencioso

Stanford AI Index 2025 documentó que el costo por millón de tokens cayó dos órdenes de magnitud en 24 meses. Eso es buena noticia. La mala: los agentes con razonamiento extendido y loops de tool-use consumen 10-50× más tokens que una llamada simple. La economía cambia cuando el agente entra en producción y el volumen es real.

Patrones de blowout que Studio ha visto:

• Loops sutiles donde el agente se queda atascado retrying. Con backoff y límite de iteraciones, se contiene.
• Inputs de usuario que disparan recursión. Sin límite explícito de profundidad, el agente puede explorar miles de caminos.
• Razonamiento extendido sin presupuesto. o1/o3 con “razona profundo” sin acotar consume mucho más de lo esperado.
• Caché mal implementado o ausente. Pagar 5 veces por la misma pregunta porque el caché no detecta equivalencias semánticas.

Cómo Studio lo mitiga: presupuesto por interacción (max tokens), límite de iteraciones por loop, alertas cuando el costo diario supera un umbral, panel de costo por agente y por tarea con comparativa día a día.

La frontera irregular (Jagged Frontier)

En el experimento de Harvard Business School “Navigating the Jagged Technological Frontier” (Dell’Acqua, McFowland, Mollick et al., 2023), 758 consultores de Boston Consulting Group resolvieron tareas con y sin GPT-4. Los hallazgos:

• En tareas dentro de la frontera de capacidad: los consultores con IA completaron 12.2% más tareas, 25.1% más rápido, y con 40% mayor calidad evaluada.
• En tareas fuera de la frontera (engañosamente similares): los consultores con IA fueron 19 puntos porcentuales más propensos a obtener respuestas incorrectas.

La frontera es jagged — irregular. Una tarea es excelente para el modelo y la siguiente, aparentemente parecida, no lo es. La consecuencia: confiar ciegamente o desconfiar absolutamente son ambos errores. La estrategia correcta es saber dónde cae cada tarea y diseñar guardrails distintos.

Cómo Studio lo mitiga:set de evaluación que muestrea distintas zonas de la frontera; calibración de “cuándo confiar y cuándo escalar” por tipo de tarea; observabilidad que detecta cuando el modelo opera fuera de distribución conocida.

Deuda técnica · prompts, evals, observabilidad

Un agente sin deuda técnica no existe. La pregunta es cuánta y cómo se gestiona. Las cuatro fuentes principales:

1. Prompts implícitos. El comportamiento del agente vive en los prompts. Sin versionado, sin tests, cualquier cambio de un prompt puede romper algo en otro lado.
2. Evals incompletas. El set de evaluación difícilmente cubre la cola larga de casos reales. Hay que añadir casos cuando aparecen en producción.
3. Observabilidad parcial. Sin traza completa, los incidentes son investigaciones forenses largas. Con traza, son revisión de 10 minutos.
4. Acoplamiento al proveedor. Un agente que asume comportamientos específicos de un modelo va a romperse cuando ese modelo se actualice o se deprecio.

Cómo Studio lo mitiga: prompts como código versionado, set de eval ejecutado en cada cambio, observabilidad por traza desde el día 1, abstracción de proveedor en arquitectura.

Riesgos regulatorios · México 2026

El marco mexicano todavía está en formación, pero las implicaciones prácticas son claras hoy:

• LFPDPPP. Datos personales que llegan al modelo requieren base legítima de tratamiento. Aviso de privacidad debe contemplar el procesamiento por IA y, en su caso, transferencias internacionales (US, EU). Redacción de PII previa al envío al modelo cuando sea factible.
• Ley Fintech / CNBV / UIF. Para SOFOM, SOFIPO e IFPE: cualquier decisión que toque suscripción, monitoreo transaccional o reportes regulatorios debe tener trazabilidad audit-grade. Studio lo construye compliance-first desde la arquitectura.
• COFEPRIS. Para salud: agentes que aporten a decisiones diagnósticas o terapéuticas pueden caer en la regulación de dispositivos médicos. Asistencia administrativa y documental, no.
• Responsabilidad civil. Si un agente comete un error que daña a un tercero, la responsabilidad cae en la empresa que lo opera. Los términos de uso de los proveedores de modelos excluyen explícitamente esa responsabilidad.
• EU AI Act (extraterritorial). Si se opera en mercados europeos o se trata datos de residentes UE, aplica el AI Act — con clasificación de sistemas y obligaciones específicas que dependen del riesgo del caso de uso.

Cómo Studio lo mitiga: revisión jurídica del caso de uso antes de construir, redacción de PII en arquitectura, residencia de datos configurable, traza completa para auditoría, contrato cliente que asigna responsabilidades operativas.

El gap de talento real

Construir un agente de demo es relativamente fácil; mantenerlo en producción 24 meses no lo es. McKinsey en su “State of AI” 2024-2025 identifica el talento como el cuello de botella número uno: las empresas que capturan EBIT material son las que tienen ingenieros de ML, prompt engineers experimentados, y operadores de IA — no las que tienen el mejor stack.

En México, este gap es más pronunciado. Hay pocos perfiles con experiencia operando agentes en producción 12+ meses. Un piloto que depende de UNA persona que se va o cambia de prioridad queda en intocable.

Cómo Studio lo mitiga: el squad Studio reemplaza ese gap durante construcción y opera en retainer. Si el cliente quiere construir capacidad interna, Studio entrega IP, documenta runbooks, entrena equipo cliente, y asiste con escalamiento.

Qué romper antes de desplegar

Checklist mínimo Studio antes de aprobar pase a producción de un agente. Si falta cualquiera, todavía no está listo:

1. Set de evaluación con cola larga.Mínimo 50-100 casos, incluyendo casos “raros” intencionalmente.
2. Umbrales de calidad por tipo de error. Qué tasa de error es aceptable y qué pasa cuando se cruza.
3. Observabilidad por traza completa. Cada llamada: modelo, costo, latencia, prompt versión, output, score.
4. Kill switch operacional. Alguien con poder para apagar el agente sin escalar a comité. No debe pasar de 5 minutos.
5. Canal de feedback humano. Operadores y usuarios pueden reportar errores que vuelven al set de eval.
6. Plan de rollback. Si el agente se degrada, cómo se vuelve al proceso humano sin caos.
7. Base legal y aviso de privacidad actualizados. Procesamiento por IA explícito, residencia documentada.
8. Owner asignado. Una persona responsable documentada con tiempo dedicado.

Preguntas frecuentes

¿Vale la pena entonces poner agentes en producción?

Sí, cuando el caso pasa los filtros de aplicabilidad (ver marco de decisión) y se construye con los controles de este artículo. El 5% de empresas que captura valor según MIT NANDA hace exactamente eso. El 95% que no captura valor lo intentó sin controles.

¿Cuál es la limitación que más subestima la gente?

El blowout de costo en operación. Es invisible hasta que llega la factura del mes siguiente. La protección — presupuesto por interacción, límite de iteraciones, alertas — es trivial de implementar y casi nadie lo hace en pilotos DIY.

¿Qué pasa si me prometen que el agente “no alucina”?

Te están vendiendo. Ningún modelo en 2026 tiene tasa de alucinación cero, ni Anthropic ni OpenAI ni Google lo afirman. La pregunta correcta no es “¿alucina?” — es “¿con qué frecuencia, qué tan grave es cuando lo hace, y qué controles tenemos para detectar y contener?”.

Fuentes citadas: NIST AI Risk Management Framework Generative AI Profile (NIST AI 600-1, 2024) · MIT NANDA “The GenAI Divide: State of AI in Business 2025” · Stanford HAI AI Index Report 2025 · Harvard Business School “Navigating the Jagged Technological Frontier” (Dell’Acqua et al., 2023) · Anthropic Research “Sleeper Agents” (2024) · McKinsey “The state of AI” 2024-2025.