RAG: как мерить качество, чтобы «стало лучше» было числом

Проблема

«Мы добавили RAG и стало лучше» — как это проверить? Без измерений это мнение. А без числа нельзя ни дожать качество, ни показать окупаемость, ни сравнить два подхода. RAG-качество можно и нужно мерить.

Какие метрики считать

• Faithfulness / groundedness — ответ опирается на извлечённые источники, а не «галлюцинирует». Доля утверждений, подтверждённых контекстом.
• Answer relevance — ответ отвечает на вопрос, а не «по теме».
• Context precision / recall — извлечённый контекст релевантен и полон. Плохой retrieval убивает весь pipeline, какой бы хороший генератор ни был.
• Полнота — покрыты ли все части сложного вопроса.

Как собрать датасет

1. Реальные вопросы — возьмите 50–200 вопросов из вашего продукта (поддержка, лог).
2. Референс — для каждого вопроса: правильный ответ или «золотой» источник.
3. Базовая линия — замерьте метрики на текущем RAG. Это ваш «до».
4. Итерации — меняете retrieval, промпт, модель — и пересчитываете. Дельта = эффект.

Типичные ошибки

1. Мерить на 3 примера. Это не статистика, это случайность.
2. Только «читаемость». Красивый ответ ≠ верный. Нужен groundedness.
3. Игнорировать retrieval. Если retrieval плохой, никакой генератор не спасёт.
4. Одно число. Faithfulness вырос, а relevance упал — нужен набор, а не одно значение.

Вывод

«Стало лучше» — это дельта метрик на вашем датасете: faithfulness, relevance, context recall, полнота. Соберите реальные вопросы, снимите базовую линию, итерируйте и пересчитывайте. Тогда качество RAG — это число, которым можно управлять.