Qué es RAG y qué problema resuelve de verdad

Primera entrega de una serie de 47 artículos sobre recuperación aumentada por generación. Empezamos por lo más básico y lo menos discutido: qué problema resuelve RAG exactamente, y por qué las alternativas obvias no lo resuelven.

El problema no es que el modelo no sepa: es que no sabe que no sabe

Un modelo de lenguaje se entrena con un corpus enorme y cerrado en una fecha. A partir de ahí, todo lo que ese modelo «sabe» está codificado en sus pesos: miles de millones de números ajustados durante el entrenamiento. Es conocimiento paramétrico, y tiene tres propiedades incómodas.

La primera es que está congelado. Lo que ocurrió después del corte de entrenamiento simplemente no existe para el modelo. La segunda es que nunca incluyó tus datos: tu catálogo de productos, tus contratos, tu hemeroteca, el manual interno que escribió tu equipo. Ese material no estaba en el corpus público con el que se entrenó, y no va a aparecer por arte de magia.

La tercera es la que convierte el problema en un riesgo de negocio. Un modelo de lenguaje no tiene un mecanismo interno para distinguir entre «esto lo sé» y «esto lo estoy reconstruyendo por parecido estadístico». Ante una pregunta sobre un documento que nunca ha visto, no responde «no lo sé»: responde algo plausible, bien redactado y con el mismo tono de seguridad que emplearía si acertara. Es lo que llamamos alucinación, y no es un fallo ocasional del sistema sino una consecuencia directa de cómo funciona.

Para un chatbot de entretenimiento, eso es una anécdota. Para un asistente que responde a clientes sobre plazos de devolución, a empleados sobre política interna o a lectores sobre lo que publicó un medio en 2019, es inasumible.

Las dos salidas evidentes, y por qué no bastan

Reentrenar el modelo

La reacción intuitiva es meter tus datos dentro del modelo: ajustar sus pesos con tu documentación para que «se la aprenda». Es lo que se conoce como fine-tuning, y funciona muy bien para lo que fue diseñado, que es enseñar al modelo un comportamiento: un formato de salida, un registro, un estilo, una taxonomía de clasificación.

Como mecanismo para inyectar hechos, en cambio, es una mala herramienta. Cada actualización de tus datos exige un nuevo ciclo de entrenamiento, con su coste y su latencia de días. No hay forma de borrar selectivamente un hecho que dejó de ser cierto. No puedes preguntar al modelo de dónde ha sacado una afirmación, porque el conocimiento queda disuelto en los pesos sin rastro de procedencia. Y sigue alucinando: entrenarlo con tus documentos aumenta la probabilidad de que acierte, pero no le da ninguna capacidad nueva para reconocer que no sabe.

Pegarlo todo en el prompt

La segunda salida evidente ha ganado fuerza a medida que las ventanas de contexto han crecido: si el modelo admite cientos de miles de tokens, ¿por qué no pegarle toda la documentación en cada consulta?

Porque no escala en ninguno de los tres ejes que importan. En coste, porque se paga por token de entrada y estás pagando el corpus entero en cada pregunta. En latencia, porque procesar un contexto enorme tarda. Y en calidad, porque la atención de los modelos se degrada con la longitud: el fenómeno del «perdido en el medio» está bien documentado y significa que un dato situado en el centro de un contexto muy largo se recupera peor que el mismo dato al principio o al final. Además, cualquier corpus corporativo real supera con holgura incluso las ventanas más generosas.

Qué hace RAG en su lugar

RAG —Retrieval-Augmented Generation, recuperación aumentada por generación— parte de una idea sencilla: separar el conocimiento del razonamiento.

El modelo aporta la capacidad de comprender una pregunta y redactar una respuesta coherente. Los hechos los aporta un sistema de recuperación externo que, en el momento exacto de la consulta, busca en tu corpus los fragmentos relevantes y los entrega al modelo dentro del prompt. El modelo no responde de memoria: responde leyendo lo que se le acaba de poner delante.

El flujo, reducido a su esqueleto, tiene dos tiempos.

Antes, y una sola vez por documento (indexación). Se recogen los documentos, se convierten a texto limpio, se trocean en fragmentos manejables, se convierte cada fragmento en un vector numérico que representa su significado, y se guardan esos vectores en una base de datos preparada para buscarlos por proximidad.

Después, en cada pregunta (consulta). Se convierte la pregunta del usuario en un vector con el mismo procedimiento, se buscan los fragmentos cuyo vector queda más cerca, se seleccionan los mejores y se construye un prompt que dice, en esencia: «responde a esta pregunta usando exclusivamente estos fragmentos; si no están la respuesta, dilo».

Esa última instrucción es la que cambia el comportamiento. El modelo pasa de recitar a leer, y se le puede exigir que cite. Cuando la respuesta viene acompañada del fragmento del que salió, el usuario puede verificarla y tú puedes auditarla.

Las cuatro propiedades que se ganan

• Frescura sin reentrenar. Un documento nuevo entra en el sistema en segundos: se trocea, se indexa y ya está disponible. Uno obsoleto se retira igual de rápido. El modelo no se toca.
• Trazabilidad. Cada afirmación se puede vincular a su fragmento de origen. Esto no es un adorno: en cualquier contexto regulado, con implicaciones legales o simplemente con reputación en juego, es la diferencia entre poder usar el sistema y no poder.
• Control del alcance. El sistema responde sobre lo que hay en el índice y nada más. Sabes qué material puede consultar, quién puede ver qué documentos, y puedes filtrar por permisos antes de que el modelo vea nada.
• Coste proporcional. Se pagan los tokens de los cinco o diez fragmentos recuperados, no los de todo el corpus. La factura crece con el uso, no con el tamaño del archivo.

Lo que RAG no arregla

Conviene decirlo pronto, porque la serie entera va a girar alrededor de esto: RAG no convierte un corpus malo en buenas respuestas. Si el sistema recupera el fragmento equivocado, el modelo redactará una respuesta impecable a partir de material equivocado. Si tus documentos se contradicen entre sí, el sistema heredará la contradicción. Si la respuesta no está escrita en ninguna parte, no aparecerá.

Hay un principio que conviene grabar desde la primera entrega: la calidad de la recuperación pone el techo a la calidad del sistema. Todo lo que viene después —el modelo generador, el prompt, la interfaz— trabaja por debajo de ese techo. Por eso la mayor parte de esta serie no habla de modelos de lenguaje, sino de troceado, metadatos, búsqueda híbrida, reordenación y evaluación. Ahí es donde se gana o se pierde.

Tampoco elimina las alucinaciones por completo. Las reduce mucho y, sobre todo, las hace detectables: cuando la respuesta debe apoyarse en fragmentos citados, comprobar si realmente se apoya en ellos es un problema medible. La entrega 43 se dedica entera a las cuatro causas raíz de una alucinación en un sistema RAG y a por qué cada una exige un remedio distinto.

Cuándo tiene sentido plantearlo

RAG encaja cuando se cumplen tres condiciones a la vez: existe un cuerpo de conocimiento propio que el modelo no puede conocer, ese conocimiento cambia con cierta frecuencia, y las respuestas tienen que poder justificarse. Atención al cliente sobre catálogo propio, consulta de normativa interna, hemerotecas y archivos documentales, soporte técnico sobre manuales, asistentes de onboarding.

No encaja —o no basta— cuando lo que se necesita es cambiar el estilo del modelo (eso es fine-tuning), cuando el corpus es tan pequeño que cabe entero y cómodamente en el prompt, o cuando la tarea es de razonamiento puro sobre datos estructurados, donde una consulta SQL bien hecha gana por goleada.

Qué viene ahora

En la siguiente entrega abrimos el sistema y miramos dentro: los seis componentes de un pipeline RAG, qué decide cada uno y en qué punto concreto se rompe cada uno de ellos. A partir de ahí, la serie recorre la preparación del corpus, las técnicas de recuperación, los modelos, las plataformas, la evaluación y la puesta en producción.

Si prefieres leerlo todo de golpe y en orden, los tres libros gratuitos de los que nace esta serie están disponibles en PDF y EPUB: RAG para tu negocio (nivel básico), RAG por dentro (intermedio) y RAG en producción (avanzado).

Aviso de contenido generado con inteligencia artificial.
Este artículo ha sido redactado con la asistencia de sistemas de inteligencia artificial y revisado antes de su publicación. Se informa de ello de forma expresa en cumplimiento de la normativa vigente sobre transparencia en el uso de IA.