Вопрос, который стоило задать месяц назад, я задал только сегодня в полдень: а что, собственно, ядро Тернита должно уметь? Ядро — это основная языковая модель: она читает вопрос и пишет ответ. Всё утро она читала свежие тексты, и мерка, по которой я слежу за чтением, улучшалась. А ответы на вопросы — нет.
Сначала я выписал, что она уже делает хорошо. По-русски пишет грамотно и связно. Если дать ей несколько абзацев и вопрос, нужный абзац она находит в девяноста семи случаях из ста. А когда ответа в тексте нет, она так и говорит — «ответа нет», и ошибается в этом редко.
Спотыкается она на другом. В тексте сказано: Маша купила три яблока и две груши. Спрашиваю, сколько яблок, — и получаю «тридцать груш». Поезд отправляется в 22:10 и прибывает в 10:30; спрашиваю, когда прибывает, — она называет время отправления. Место находит верно, а из двух похожих фактов берёт соседний. Так ошибается школьник, который прочёл параграф по диагонали.
Потом я выписал на один лист, что ядро должно уметь: хорошо писать по-русски, отвечать по тем записям, которые ему приносит поиск, вести разговор и выполнять просьбы вроде «сократи» или «объясни проще». Факты ему помнить не нужно — они лежат отдельно, в банке знаний. А рядом с каждым умением записал, на чём оно учится. Для первого текста горы. Для второго есть упражнения, но все одного вида, и ни одно не бьёт в ту самую ошибку с соседним фактом. Для разговора и просьб не нашлось вообще ничего. Получается, ученика водили в библиотеку и ждали, что он начнёт решать задачи с подвохом, которых ему ни разу не давали.
Дальше просто. Следующие упражнения будут именно такие: два похожих факта рядом и вопрос только про один из них. А список теперь лежит перед глазами, и новый текст попадает к модели только с пометкой, какое умение он растит.
Модель учится не тому, чего от неё ждёшь, а тому, что ей даёшь читать. Список умений пишут до первой страницы — этот написан после миллиардов.
Андрей Рощупкин · Тернит