Por qué un contexto más grande puede darte peores resultados
Más documentos, más historial y más herramientas no siempre hacen mejor a un agente. A veces lo hacen más caro y menos preciso. Qué dice la evidencia y cómo evitarlo.
Imaginá que tu agente responde bien, pero querés que responda mejor. Le cargás todos los manuales, el historial completo y veinte herramientas más. La factura sube y las respuestas empeoran.
No es tan raro. Más contexto no garantiza mejores resultados.
Qué dice la evidencia
Anthropic lo llama context rot: a medida que crece la cantidad de tokens en el contexto, baja la capacidad del modelo de recordar con precisión lo que hay ahí. Según Anthropic, algunos modelos se degradan más suavemente que otros, pero el fenómeno aparece en todos. Por eso recomienda buscar "el conjunto más chico posible de tokens de alta señal".
La investigación apunta en la misma dirección:
- La posición importa: un estudio publicado en TACL encontró que los modelos suelen rendir mejor cuando la información relevante está al principio o al final, y peor cuando está en el medio de un contexto largo.
- Lo irrelevante molesta: otro trabajo presentado en ICML 2023 midió que el rendimiento cae mucho al agregar información irrelevante a problemas de matemática simples.
- Las herramientas también pesan: en pruebas internas de Anthropic con muchas herramientas, cargarlas solo cuando hacían falta subió la precisión de Opus 4 del 49 % al 74 %, y la de Opus 4.5 del 79,5 % al 88,1 %.
Son estudios sobre tareas y modelos concretos, y los modelos mejoran. La conclusión no es "usá poco contexto", sino que cada cosa que agregás tiene un costo.
Cuatro formas de fallar
Drew Breunig ordenó estos problemas en cuatro tipos, que IBM también explica en un video:
- Envenenamiento: un error entra al contexto y el agente lo sigue usando como si fuera cierto. Si un resumen dice que un pedido se canceló y no es así, cada paso siguiente parte de ese dato falso.
- Distracción: hay tanto material que lo importante queda tapado. El agente responde sobre la conversación de hace una hora, no sobre lo que le acabás de preguntar.
- Confusión: sobran opciones parecidas. Con dos herramientas casi iguales para notificar a un cliente, puede elegir la equivocada.
- Choque: dos fuentes se contradicen. La política de cambios de 2024 y la de 2026 están cargadas, y el agente toma cualquiera.
Qué hacer
- Recuperá, no cargues: traé solo lo que sirve para esta pregunta. Es lo que hace RAG, aunque a veces alcanza con una búsqueda simple.
- Compactá el historial: resumí lo que ya no hace falta completo y verificá los resúmenes, porque un error ahí se arrastra.
- Reducí las herramientas: si una persona no puede decidir cuál usar, el agente tampoco debería.
- Mantené una sola versión vigente: sacá lo viejo, y si hay una contradicción, que el agente la señale en vez de elegir.
- Medí: probá cada cambio con una lista de preguntas reales. Agregar contexto también es un cambio.
Cómo lo aplicamos
En nuestro servicio interno de documentación, los agentes no reciben páginas enteras de entrada: buscan y reciben los fragmentos relevantes, con su fuente. Tienen cuatro herramientas de solo lectura, cada una con un propósito claro. Cuando un documento se borra o se mueve, su versión anterior sale del índice. Y si dos páginas se contradicen, la regla es mostrar las dos fuentes.
No se trata de darle más información al agente, sino de darle la correcta en el momento correcto.