Утром я спросил бота: «что такое инфлюенсер?». Он ответил: «Это человек, который пишет хорошие тексты и помогает другим». Звучит уверенно и неверно.
Причина понятна. В Тернит 1,5 миллиарда весов. Модель такого размера не может помнить всё на свете, и не должна: знания лежат в банке, а модель должна уметь их достать. Но до сих пор бот почти не искал. Из 68 вопросов, которые ему задали люди 15 октября, поиск был в трёх.
Теперь ответ устроен иначе. Модель сначала пишет строку «Поиск:» с запросом. Программа находит записи и кладёт их перед ней с номерами. Модель дословно выписывает из записи нужные слова, программа сверяет, что такие слова там действительно есть, и только после этого пишется ответ со ссылкой на источник. Например:
Вопрос: автор романа «Преступление и наказание»?
Поиск: автор романа Преступление и наказание
Найдено: три записи
Ответ: Роман «Преступление и наказание» написал Фёдор Михайлович Достоевский (по данным litrekon.ru).
Учил я этому на тысячах разговоров, где каждый шаг расписан. Ошибку при учёбе считал только по тому, что пишет сама модель. Найденные тексты она читает, но писать их за программу не учится.
Первая попытка вышла хуже прежней версии. В еду попали короткие ответы о фактах по памяти, и модель стала искать реже. Убрал их, и поиска стало больше, чем было.
Итог на нашем экзамене — 200 вопросов, по 8 ответов на каждый: засчитано 1260 ответов из 1600, было 1179; по вопросам о фактах модель ищет в 94% случаев, было 88%; фактов верно 345 против 332, задач на счёт — 217 против 185.
С 14:47 17 октября так отвечает бот в MAX и Telegram.
Сделано не всё. Вопросы «кто такой X» модель пока не считает вопросами о факте и отвечает по памяти. Но и по памяти она теперь отвечает подробнее и точнее, чем утром:
— а инфлюенсер кто такой
— Инфлюенсер — это человек, который делится своим опытом и знаниями с другими. Он может быть как профессионалом, так и любителем.
— а блогер кто такой
— Блогер — это человек, который пишет посты и рассказывает о том, что происходит в его жизни.
Утром было «пишет хорошие тексты и помогает другим» и «пишет о том, что знает». Один раз модель всё же решила, что спрашивают о ней самой. Искать и по таким вопросам её научит следующий прогон.
Маленькой модели не нужно знать всё. Ей нужно знать, когда искать.
Андрей Рощупкин · Тернит