Lista de verificación de citación y fundamentación para reducir las alucinaciones de RAG
La alucinación de RAG ocurre cuando Claude produce una respuesta que no está realmente respaldada por el contenido recuperado, ya sea al llenar lagunas, generalizar en exceso o mezclar hechos de diferentes fuentes. Esta lista de verificación repasa las técnicas de citación y fundamentación que mantienen las respuestas vinculadas a lo que realmente se recuperó.
Cómo usar esta lista de verificación
- Aplica los elementos en orden aproximado a su posición en el pipeline: primero la fundamentación a nivel de prompt, luego la verificación a nivel de respuesta y, finalmente, la medición.
- Trata el nivel de Fundamentación a nivel de Prompt como la base; una fundamentación débil aquí hace que cada verificación posterior trabaje más.
- Vuelve a ejecutar las verificaciones del nivel de Medición cada vez que cambies la fragmentación, la recuperación o el prompt; un cambio en una capa puede afectar la tasa de alucinación, incluso si no tocaste la fundamentación directamente.
- Registra los fallos de fundamentación de la misma manera que registrarías cualquier otro problema de calidad, para que puedas ver si la tasa mejora o empeora con el tiempo.
A - Fundamentación a nivel de Prompt
- Instruye explícitamente a Claude para que responda solo del contenido recuperado. Indica esto directamente en el prompt del sistema, no confíes en que se implique por la presencia del contexto recuperado en el mensaje.
- Da a Claude permiso explícito para decir "No lo sé". Un modelo instruido para producir siempre una respuesta segura lo hará incluso cuando el contenido recuperado no respalde una, permitir explícitamente "las fuentes no cubren esto" reduce esa presión.
- Etiqueta cada fragmento recuperado con un identificador estable y citable. Un ID de fuente o número de referencia al que Claude pueda remitirse convierte "cita tu fuente" de una instrucción abstracta en una acción concreta y verificable.
- Pide a Claude que cite la fuente específica para cada afirmación, no solo al final de la respuesta. La citación por afirmación hace posible verificar declaraciones individuales en lugar de confiar en una única citación general para una respuesta con múltiples hechos.
- Mantén el contexto recuperado enfocado, no exhaustivo. Recuperar un gran número de fragmentos vagamente relevantes aumenta la posibilidad de que Claude mezcle hechos entre fuentes o responda a partir de un pasaje apenas relevante en lugar de admitir que las mejores fuentes no cubren completamente la pregunta.
B - Verificación a nivel de Respuesta
- Verifica que cada citación en la respuesta apunte realmente a un fragmento recuperado. Una citación a un ID de fuente que no formaba parte del conjunto recuperado es un fallo de fundamentación claro, y es barato de detectar programáticamente.
- Verifica puntualmente que las afirmaciones citadas estén realmente presentes en la fuente citada. La presencia de la citación por sí sola no garantiza la precisión; el modelo puede citar una fuente real y aun así tergiversar lo que dice.
- Marca las respuestas sin citaciones cuando se solicitaron citaciones. Una respuesta sin citar a una pregunta que debería haber recuperado contexto relevante es una señal de que la recuperación falló o de que el modelo no siguió las instrucciones de fundamentación.
- Distingue entre "no se encontraron fuentes relevantes" y "se encontraron fuentes pero la respuesta no está fundamentada en ellas". Estas requieren correcciones diferentes; la primera apunta a la recuperación, la segunda apunta a la fundamentación o a la adhesión del modelo a las instrucciones de fundamentación.
- Muestra las citaciones al usuario final, no solo internamente. Mostrar la fuente junto con la respuesta permite a un humano detectar un fallo de fundamentación que tus verificaciones automatizadas pasaron por alto, y genera confianza justificada en las respuestas que están correctamente fundamentadas.
C - Calidad de la Recuperación como Entrada de Fundamentación
- Verifica que la recuperación realmente devuelva fragmentos relevantes antes de culpar al modelo por alucinación. Un prompt bien fundamentado no puede producir una respuesta bien fundamentada si el contenido recuperado en sí mismo no cubre la pregunta; verifica primero el paso de recuperación.
- Establece un umbral de relevancia por debajo del cual no se incluye ningún fragmento. Incluir un fragmento de baja relevancia "por si acaso" le da al modelo material para construir una respuesta no respaldada, en lugar de informar correctamente que no se encontraron fuentes relevantes.
- Reevalúa el tamaño y la superposición de los fragmentos si los fallos de fundamentación se agrupan en temas específicos. Un patrón de alucinación en un área temática a menudo se remonta a que el material fuente de esa área está mal fragmentado, no a una debilidad general del modelo.
D - Medición y Monitoreo
- Crea un conjunto de evaluación reservado de consultas reales con respuestas correctas y fundamentadas en fuentes conocidas. Sin esto, dependes de verificaciones puntuales y quejas de los usuarios para detectar alucinaciones, lo que encuentra problemas tarde e inconsistentemente.
- Rastrea una métrica de precisión de fundamentación con el tiempo, no solo al lanzar. La calidad de la recuperación, la fragmentación y la redacción del prompt cambian a medida que evolucionan un corpus y una base de código; una evaluación única no detecta regresiones.
- Registra las citaciones de cada respuesta junto con el conjunto de fragmentos recuperados para auditorías posteriores. Esto convierte "creemos que la fundamentación está funcionando" en algo que realmente puedes verificar después de los hechos, incluso para un problema específico reportado por el usuario.
- Establece un umbral de alerta para las discrepancias entre citación y recuperación en producción. Un pico repentino de citaciones que apuntan a fuentes fuera del conjunto recuperado es una señal rápida y barata de que algo en etapas anteriores (un cambio de prompt, una actualización del modelo) rompió la fundamentación.
Aplicación de la lista de verificación en orden
- Fundamentación a nivel de Prompt (elementos 1-5) es el nivel más barato de implementar y el de mayor apalancamiento; la mayor reducción de alucinaciones proviene de hacer bien este nivel antes de agregar capas de verificación encima.
- Verificación a nivel de Respuesta (elementos 6-10) detecta lo que las instrucciones del prompt por sí solas no garantizan; trátalo como una red de seguridad, no como un sustituto de buenas instrucciones de fundamentación.
- Calidad de la Recuperación (elementos 11-13) es a menudo la causa raíz real cuando la verificación detecta un fallo; no saltes directamente a ajustes de prompt sin verificar si la recuperación presentó el contenido correcto en primer lugar.
- Medición y Monitoreo (elementos 14-17) es lo que convierte esto de una configuración única en una práctica continua; revísalo cada vez que cualquier componente anterior (fragmentación, recuperación, prompt, versión del modelo) cambie.
Trampas comunes
- Asumir que una citación es prueba de fundamentación. Un modelo puede producir una citación que parezca correcta mientras todavía parafrasea más allá de lo que la fuente realmente soporta; la presencia de la citación y la precisión de la citación son verificaciones diferentes. Solución: verifica puntualmente las afirmaciones citadas contra el texto fuente, no trates la presencia de una citación como verificación suficiente por sí sola.
- Recuperar demasiados fragmentos "por si acaso". Más contexto recuperado no garantiza una mejor fundamentación; aumenta la posibilidad de mezclar fuentes y diluye la relevancia de lo que es realmente útil. Solución: establece un umbral de relevancia y un top-k razonable, no rellenes la recuperación como sustituto de su ajuste.
- Medir la precisión de la fundamentación solo una vez, al lanzamiento inicial. La recuperación, la fragmentación y el modelo subyacente pueden cambiar con el tiempo de maneras que cambian silenciosamente la tasa de alucinación. Solución: trata la precisión de la fundamentación como una métrica continua, no como una casilla de verificación de lanzamiento.
Preguntas frecuentes
¿Qué cuenta exactamente como una alucinación de RAG?
Una respuesta, o cualquier parte de una respuesta, que no está realmente respaldada por el contenido recuperado, ya sea que Claude llene un vacío con detalles que suenan plausibles, generalice en exceso a partir de una coincidencia parcial o mezcle hechos de múltiples fuentes en una afirmación que ninguna de ellas hace individualmente.
¿Darle a Claude permiso para decir "No lo sé" realmente reduce las alucinaciones?
Sí, significativamente. Un modelo instruido para producir siempre una respuesta segura y completa lo hará incluso cuando el contenido recuperado no lo respalde completamente. Indicar explícitamente que "las fuentes no cubren esto" es una respuesta aceptable elimina la presión implícita de fabricar.
¿Es suficiente citar una fuente para garantizar que una respuesta esté fundamentada?
No. Una citación muestra que Claude atribuyó una afirmación a una fuente, no verifica que la fuente realmente respalde esa afirmación específica. La verificación a nivel de respuesta (elemento 7) comprueba la segunda parte, que la presencia de la citación por sí sola no puede detectar.
¿Cómo determino si una alucinación es un problema de recuperación o un problema de prompt?
Verifica si se recuperó material fuente relevante para la consulta. Si la recuperación devolvió fragmentos genuinamente relevantes y la respuesta aún no está fundamentada en ellos, es un problema de prompt o de adhesión del modelo; si la recuperación no presentó fragmentos relevantes en absoluto, ninguna cantidad de ajuste de prompt lo soluciona.
¿Debería cada respuesta incluir citaciones, incluso para respuestas fácticas simples?
Para un pipeline fundamentado con RAG, sí, la citación consistente es lo que hace posible la verificación en primer lugar, tanto para las verificaciones automatizadas como para un usuario que revisa la respuesta. Una respuesta sin citación cuando se esperaba una es en sí misma una señal que vale la pena marcar, según el elemento 8.
¿Qué es un umbral de relevancia razonable para excluir un fragmento recuperado?
No hay un número universal, depende de tu modelo de incrustación y métrica de similitud, pero la prueba práctica es si incluir fragmentos de relevancia límite aumenta mediblemente las alucinaciones en tu conjunto de evaluación en comparación con devolver correctamente menos fuentes más relevantes.
¿Cómo creo un conjunto de evaluación reservado para la precisión de la fundamentación?
Recopila consultas reales o representativas, empareja cada una con el material fuente que debería fundamentar una respuesta correcta y ejecuta periódicamente tu pipeline contra el conjunto para verificar si las respuestas están correctamente fundamentadas y citadas, tratando la deriva con el tiempo como una señal de regresión.
¿Puede mostrar citaciones a los usuarios finales ser contraproducente si la fundamentación falla a veces?
Generalmente sigue siendo la decisión correcta, ya que una citación visible permite a un humano detectar un fallo de fundamentación que tus verificaciones automatizadas pasaron por alto, lo cual es estrictamente mejor que una respuesta no fundamentada presentada sin forma de verificarla. La solución para fallos ocasionales es mejorar las verificaciones en esta lista, no ocultar las citaciones.
¿Qué es la mezcla de fuentes y por qué ocurre más con un contexto recuperado más grande?
La mezcla de fuentes es cuando Claude combina hechos de múltiples fragmentos recuperados en una sola afirmación que ninguna fuente individual realmente hace. Ocurre con más frecuencia con un contexto recuperado más grande y menos enfocado porque hay más material disponible para establecer conexiones que suenan plausibles.
¿Con qué rapidez debería alertarme sobre una discrepancia entre citación y recuperación en producción?
Lo más cerca posible del tiempo real que permita tu pila de monitoreo, según el elemento 17, ya que un pico repentino a menudo se remonta a un cambio específico anterior (una edición de prompt, una actualización de versión del modelo, un cambio de configuración de recuperación) que es más fácil de diagnosticar mientras aún está fresco.
Relacionado
- Estrategias de fragmentación y búsqueda híbrida para pipelines de Claude con recuperación aumentada - la base de calidad de recuperación en la que se basa esta lista de verificación.
- Defensa contra la inyección indirecta de prompts en resultados de herramientas recuperadas por RAG - una preocupación relacionada pero distinta sobre la confiabilidad del contenido recuperado.
- Combinación de la recuperación RAG con el caché de prompts para pipelines rentables - mantener la recuperación fundamentada rentable a escala.
- Mejores prácticas de seguridad, cumplimiento y RAG - el resumen de toda la sección al que contribuye esta lista de verificación.
Versiones de la pila: Escrito contra la línea de modelos Claude actual a ~junio de 2026 - Claude Fable 5, Claude Opus 4.8, Claude Sonnet 5 (el predeterminado) y Claude Haiku 4.5 - y el SDK oficial de Python
anthropic(última versión 0.x). Los nombres de los modelos, los precios y las versiones del SDK cambian rápidamente; verifica los detalles actuales en platform.claude.com/docs antes de confiar en ellos.