Chain-of-Verification (цепочка проверки)

CoVe - это метод, используемый для повышения точности и надежности ответов, особенно в задачах, связанных с проверкой фактов или сложными рассуждениями. Этот подход основан на пошаговой проверке информации, где каждый шаг подтверждается дополнительными данными или логическими рассуждениями. Это помогает минимизировать ошибки, избегать предвзятости и обеспечивать достоверность выводов.

Классический вариант

Генерация ответов с использованием CoVe представляет собой 4-этапный процесс:

1. Генерация базового ответа. На этом этапе вы предлагаете модели сгенерировать черновик ответа. Ответ может быть фактически неверным.

2. Планирование проверок. На этом этапе вы формируете список проверочных вопросов, используя запрос и первоначальный ответ.

3. Выполнение проверки. На этом этапе LLM-программе предлагается сгенерировать ответ на каждый из вопросов проверки.

4. Формирование окончательного ответа. На этом этапе вы используете ответ из предыдущего шага и формируете окончательный ответ.

Например, первым выполняется промпт:

Получив ответ, передаем его в следующий промпт:

Сформированный список вопросов выполняем как проверочный промпт:

Полученный ответ передаем в последний итоговый промпт:

Долго, муторно, неэффективно.

Мы предлагаем свой вариант: создать простой единственный промпт, который реализует метод CoVe. Для этого нужно структурировать запрос так, чтобы модель сама последовательно проверяла каждый шаг рассуждений или утверждений. Пример с политиками будет выглядеть так:

Слова «все этапы выводи на просмотр» добавлены исключительно для наглядности процесса и могут отсутствовать, что сэкономит Вам несколько десятков токенов.