Как проверить ответ нейросети по источнику

Языковая модель подбирает продолжение текста, которое выглядит правдоподобно. Обычно правдоподобное совпадает с верным, но не всегда: модель может назвать несуществующую статью, перепутать даты, приписать теорему не тому автору или смешать два близких понятия. Исследователи называют такие ошибки галлюцинациями.

Опасны они тем, что ничем не выделяются в тексте. Верный и неверный абзац написаны одинаково гладко, одинаково уверенно, с одинаковыми терминами. Поэтому проверять приходится не ощущение от ответа, а его содержание — по источнику.

Целый абзац проверить трудно, отдельное утверждение — легко. Пройди по ответу и выпиши то, что можно подтвердить или опровергнуть:

• определения и формулировки законов;
• числа, даты, единицы измерения;
• формулы и условия, при которых они верны;
• имена, названия работ, ссылки на статьи и страницы;
• причинно-следственные связи: «потому что», «приводит к».

Общие слова вроде «это важная тема курса» проверять не нужно. Всё, что пойдёт в твой ответ на экзамене, — нужно.

Источник — это материал, по которому тебя будут спрашивать: лекции, методичка кафедры, учебник из программы курса. Открой нужное место и сравни:

1. Смысл, а не тему. Абзац может быть о том же понятии и при этом говорить другое. Прочитай его целиком и проверь, что утверждение из ответа там действительно есть.
2. Условия и оговорки. Формула верна «при постоянной температуре», закон действует «для идеального газа» — нейросеть такие оговорки иногда теряет.
3. Обозначения и формулировки. Если у преподавателя другое обозначение или определение, на экзамене отвечай его версией.

Если нейросеть дала ссылку на статью или страницу, открой её. Ссылка, которая ведёт не туда или не существует, — повод перепроверить весь ответ.

Бывает, что утверждения нет в твоих материалах или источник и ответ расходятся. Тогда не выбирай наугад — открой второй источник: другой учебник из списка литературы, справочник, конспект другой лекции курса.

Так работают профессиональные фактчекеры: вместо того чтобы долго вчитываться в один текст, они быстро выясняют, что о том же пишут другие надёжные источники. Исследователи из Стэнфорда называют этот приём латеральным чтением. Если два независимых источника говорят одно, а нейросеть — другое, верь источникам. Если спор так и не решается — это вопрос к преподавателю, а не повод выбрать самый уверенный вариант.

• Точные цифры и даты без указания, откуда они взяты.
• Ссылка на статью, книгу или страницу, которую не получается найти.
• Ответ на соседний вопрос: всё верно, но спрашивали о другом.
• Термин, которого нет ни в лекциях, ни в учебнике курса.
• Разные ответы на один и тот же вопрос, заданный чуть иначе.

Проверяй сразу, пока ответ перед глазами, а не накануне экзамена. Переноси в конспект не текст нейросети, а проверенную формулировку вместе с номером страницы источника: тогда перед экзаменом не придётся гадать, откуда взялась та или иная фраза.

И помни, что проверка — это ещё и повторение. Пока ты ищешь утверждение в учебнике и сравниваешь формулировки, тема запоминается лучше, чем от пассивного чтения готового ответа.