Сегодня я хотел получить одну вещь: чтобы модель сама доставала из текста то, ради чего его стоит читать. Не я подсовываю ей вопросы, не разметчик — она сама. Всё, что мы намерили про память раньше, стояло на парах «вопрос — ответ», которые писал живой человек. Этот человек не уедет к заказчику вместе с моделью.
Начали, правда, не с этого. Начали с лестницы: сколько фактов влезает в один орган. Сорок, шестьдесят, восемьдесят, сто, двести. Дошли до четырёхсот — и я остановил прогон на семнадцатом проходе из девяноста. Лестница отвечала на вопрос, который меня уже не волновал.
Но одну вещь четыреста фактов показать успели, и она дорогая. Орган помнил хвост еды почти идеально, а середину стёр начисто: девять верных из десяти в конце, один из десяти в середине. Каждый проход шёл по еде в одном и том же порядке, поздние строки затирали ранние — и добавлять проходы тут бесполезно, потому что последним всегда остаётся тот же кусок. Это бьёт не только по фактам, а по всему, что мы собираемся класть в модель пачками.
Дальше проверили то, на чём стоит вся идея расширения: уживаются ли несколько тканей в одном теле. Прошлый наш замер говорил, что они гасят друг друга. Он был сделан на испорченной еде, и его пришлось отменить собственным прогоном: обученные вместе, два органа не теряют ничего. Только выигрыш дал материал, а не разнос по слотам — два факта из шестидесяти против простого удвоения ширины. Так и записали, без победных реляций.
Потом были два честных провала. Сложение цифр: сто показанных задач орган запомнил почти все, а на пятидесяти новых той же процедуры выдал уровень случайного угадывания. Триста разобранных ответов с кодом: до чтения тело проходило 37 тестов из 164, после — 33. И текст объяснил, почему. На задаче про медиану тело сортирует список и берёт середину, а начитанный орган оборачивает код в аккуратную рамку, добавляет ветки на пустой список, на один элемент, на два, а потом считает суммы половин. Длиннее, наряднее, неверно. Он перенял вид разобранного ответа и не перенял умения.
А под вечер вышло то, ради чего стоило сидеть. Модель прочитала двадцать четыре статьи, сама предложила к ним вопросы и сама себя проверила: ответ засчитывается, если она отвечает со статьёй перед глазами и не отвечает без неё. Выжившие пары стали её же учебником. На шести статьях, которых в обучении не было, доля годных пар выросла с 18 до 31 процента, и три статьи, дававшие раньше ровно ноль, начали давать факты. Человека в этой цепочке нет ни в одном звене.
Граница за день прочертилась резкая. Способ, который надо вычислять, чтением примеров не берётся — два независимых замера подряд. А дисциплина формы берётся, причём намеренно, и переносится на документы, которых никто не готовил.
Проверяйте не то, что система запомнила, а то, что она делает на материале, которого ей не показывали. Память и умение — разные вещи, и продают обычно первую.
Андрей Рощупкин