Искусственный интеллект

Как проверить ответы ИИ по базе знаний: тест на источники

Проверка ответов ИИ по базе знаний начинается с замороженного набора вопросов и заранее известных правильных ответов. Показываю протокол на четыре случая и правило честного отказа.

Редакция CMO.PRO, Редакция сообщества5 мин чтения
CMO.PRO: Проверка ответов по источникам. Тест для помощника с базой знаний.

Проверка строится на фиксированном наборе вопросов и заранее известных правильных ответах. Для каждого ответа смотрите три вещи: совпадают ли факты с документом, ведёт ли ссылка на конкретный фрагмент и что агент делает, когда ответа в базе нет.

Он делает честный отказ.

Илья Чумаченков — запись сообщества, 00:52:08

Фактическая ошибка, отсутствие источника и выход за рамки

  • Фактическая ошибка — ответ противоречит утверждённому документу базы.
  • Факт без источника — ответ может быть верным, но ссылка не ведёт к подтверждающему фрагменту или её нет.
  • Выход за рамки — вопрос вне базы; правильный исход — честный отказ и запрос новых документов.
  • Неподтверждённое общее утверждение — отдельная категория. Возможно верное, но не опирающееся на базу суждение нельзя приравнивать к ложному.

Спикер рекомендует начать с небольшой выборки документов и проверить качество ответов до того, как база вырастет. Это снижает объём ручной сверки: вы проверяете не всю базу, а представительный набор случаев.

Набор контрольных вопросов

До проверки зафиксируйте формулировки вопросов, ожидаемые факты и версию базы. При обновлении документов создаётся новая версия набора, а старая остаётся для сравнения. Менять вопросы под новый ответ нельзя, иначе тест теряет смысл.

  1. Вопрос с прямым ответом в одном документе.
  2. Вопрос, требующий сведений из двух утверждённых документов.
  3. Вопрос, ответа на который в базе нет.
  4. Вопрос с конфликтующими или устаревшими источниками.

По словам спикера, ответ должен содержать ссылку на первоисточник и, когда это нужно, на предыдущий диалог. В его схеме запросы о продукте, продажах и правовых вопросах направляются к соответствующим частям базы. Для проверки из этого следует простое требование: ссылка открывает именно тот фрагмент, который подтверждает сказанное.

Добавьте проверку составного вопроса с частично известным ответом. Вымышленный учебный пример: в базе утверждены дата и формат встречи, но цена не указана. Заранее задайте правило для такого случая. Если помощнику разрешён частичный ответ, он сообщает подтверждённые сведения с источником, а по цене объясняет, какого документа не хватает. Отдельно проверьте, не подставилась ли стоимость другой встречи. Правильная дата не делает весь ответ подтверждённым.

Заполненный протокол проверки ответа

Протокол по четырём контрольным вопросам
ВопросОжидаемые фактыОтвет агентаСсылка и фрагментВердиктНайденный пробел
Частота отчёта по проектуКаждую пятницу, регламент проекта, пункт 3Каждую пятницуРегламент проекта, пункт 3ВерноНет
Ответственный за согласование письмаАвтор и руководитель направления по двум документамТолько авторИнструкция автораНеполный ответНе учтён регламент согласования
Срок запуска нового продуктаОтвета в базе нетЗапуск 15 декабряСсылки нетНет основания в базеНужен утверждённый план
Размер бюджета на новый периодНовый бюджет не утверждён18 процентов от выручкиБюджет прошлого периодаУстаревший источникНужен утверждённый документ

Как читать протокол. Ошибка в факте — повод проверить актуальность источника, найденный фрагмент и правила ответа. Исправляйте документ, только если неверен сам источник. Отсутствие ссылки при верном ответе — пробел в подготовке базы, а не повод хвалить ответ. Если помощнику разрешено отвечать только по базе, ответ без опоры на неё нарушает это правило, даже когда сам факт верен. Такой случай отделяйте от фактической ошибки.

При расхождении сначала найдите его причину. Правильный документ не попал в ответ — проверьте поиск и доступность источника. Найден актуальный раздел, но вывод ему противоречит — разберите правила ответа. Два действующих документа дают разные условия — передайте вопрос владельцу материалов и дождитесь согласования. Исправление формулировки ответа не устраняет конфликт в самой базе.

Честный отказ и повторный тест после обновления

По словам спикера, при отсутствии ответа в базе агент должен сообщить, что материала нет, и запросить новые документы. Отказ без объяснения и запроса бесполезен: читатель не понимает, чего не хватает.

Повторный тест проводят на том же наборе вопросов после обновления базы. Сравнивают не общее впечатление, а каждый вопрос: что исправилось, что осталось, не появилось ли новых ошибок. В записи отдельно упоминаются валидация ответа и цитирование при настройке агента, но внутреннее устройство системы в статье не разбирается.

Сохранённые вопросы полезны для повторной проверки исправления, но постепенно добавляйте отдельные новые формулировки с тем же смыслом. Помощник должен находить основание и для непривычного вопроса. Храните результаты двух проверок раздельно: исправились ли прежние ошибки и справляется ли система с новыми случаями. Так удачный ответ на знакомую фразу не станет единственным основанием для расширения базы. Для нового случая заранее подтвердите ожидаемый ответ в документе: эталон не должен подстраиваться под формулировку помощника.

Чем проверка ответов агента отличается от проверки обычного текста, разобрано в статье как проверять материалы ИИ перед публикацией. Правила работы команды описаны в материале регламент использования ИИ в маркетинговой команде.

Если хотите показать свой набор контрольных вопросов и получить замечания, приходите в сообщество CMO.PRO.

Источники

  1. 1.Илья Чумаченков: Как создать персональную базу знаний и работать с ней через AI-агента
  2. 2.Исследование ошибок языковых моделей — OpenAI

Похожие статьи

Все статьи
ИИ в маркетинге13 октября 2026 г.4 мин

Как проверять материалы, написанные ИИ, перед публикацией

Воспроизводимый редакционный чек-лист для текстов от ИИ: факты и первоисточники, ссылки, цифры и цитаты, польза и оригинальность, раскрытие использования ИИ и ответственный за публикацию.

Читать статью
ИИ в маркетинге13 октября 2026 г.6 мин

Регламент использования ИИ в маркетинговой команде

Что закрепить в коротком регламенте по ИИ: разрешённые данные, карта ролей, обязательная проверка результата и порядок пересмотра правил. С образцом разделов, полями для заполнения и оговоркой: иностранные ориентиры — не российский закон.

Читать статью
ИИ в маркетинге13 октября 2026 г.5 мин

Анализ интервью и отзывов с ИИ: как сохранить цитаты и проверить выводы

Рабочий порядок разбора уже собранных интервью и отзывов с ИИ: паспорт цитаты, разделение наблюдения и гипотезы, проверка вывода на исходных данных. Без подмены слов клиента догадками модели.

Читать статью

Практика CMO.PRO

Разобраться с нейросетями на практике

В базе знаний собраны воркшопы и эфиры о применении ИИ в маркетинге. Посмотрите темы и выберите подходящий разбор. Доступ к части записей открыт участникам Ядра.

Смотреть воркшопы и эфиры