Si el modelo se lo lee todo, ¿para qué sirve el RAG? La pregunta del millón de tokens

Cada vez que un modelo de lenguaje anuncia una ventana de contexto mayor reaparece el mismo titular: la recuperación aumentada está muerta. Si el modelo puede leerse un millón de palabras de golpe, ¿para qué molestarse en montar un índice y seleccionar fragmentos? Se le enchufa el archivo entero y listo.

El argumento tiene una lógica impecable y se cae por motivos bastante prosaicos.

Primero: la aritmética

Un archivo periodístico de veinte años ronda las decenas de millones de palabras. Un millón de tokens es mucho comparado con lo que había hace tres años, y sigue siendo una fracción pequeña de eso. La ventana grande no elimina la necesidad de seleccionar, solo mueve el umbral a partir del cual hace falta.

Y aunque cupiera, habría que pagarlo. Procesar el contexto se factura por token en cada consulta. Enviar el archivo completo para responder «¿qué dijo el alcalde sobre el presupuesto?» significa pagar por millones de tokens irrelevantes, cada vez, por cada usuario. Un sistema de recuperación decente resuelve la misma pregunta con unos pocos miles.

A esto se suma la latencia: leer un contexto enorme tarda. Un lector que espera veinte segundos por una respuesta cierra la pestaña.

Segundo: la atención se diluye

El argumento más interesante no es económico. Es que los modelos no atienden igual a todo lo que se les da.

Es un fenómeno bien documentado: cuando la información pertinente está en el centro de un contexto muy largo, el rendimiento cae de forma apreciable frente a cuando está al principio o al final. El modelo tiene el dato delante y responde como si no lo tuviera.

Dicho de otro modo: llenar la ventana no equivale a que el modelo lo tenga todo en cuenta. Menos contexto, pero pertinente, suele producir mejores respuestas que mucho contexto en el que la respuesta está enterrada.

Tercero: la trazabilidad, que en un medio no es negociable

Este es el punto que más pesa en una redacción y el que menos aparece en la discusión técnica.

Cuando un sistema recupera cinco fragmentos y redacta con ellos, se sabe exactamente de dónde sale cada afirmación. Se puede citar, enlazar y auditar. Cuando se le da el archivo entero y responde, la respuesta sale de un proceso opaco: no hay forma de señalar la fuente con precisión.

Para un medio que publica esas respuestas, eso no es un detalle de implementación. Es la diferencia entre poder responder «esto lo dijimos aquí, en esta fecha» y no poder responder nada cuando alguien discuta un dato.

Dónde sí ha cambiado el panorama

Sería deshonesto presentar esto como que nada ha cambiado. Ha cambiado bastante, solo que en otra dirección.

Las ventanas grandes han quitado presión al troceado: ya no hace falta afinar hasta el último carácter para que quepan los fragmentos, y se pueden pasar pedazos más generosos, con más contexto alrededor. También permiten recuperar veinte fragmentos en lugar de cinco y dejar que el modelo descarte, lo que hace el sistema más tolerante a una recuperación imperfecta.

Y han abierto un patrón intermedio útil: recuperar a lo bruto un subconjunto amplio —todo lo publicado sobre un tema en un año— y dejar que el modelo trabaje sobre ese bloque. Para dosieres y especiales funciona muy bien.

El resumen

La recuperación aumentada no era una muleta a la espera de que los modelos crecieran. Es un mecanismo de selección, control de costes y trazabilidad, y esas tres necesidades no desaparecen porque la ventana crezca.

Lo que ha pasado es que el RAG se ha vuelto menos frágil y más barato de hacer bien. Que es, para quien tiene que montarlo, mejor noticia que su desaparición.