Есть мечта, ради которой Тернит и затевался: дал модели документ или инструкцию один раз — и она это знает. Не держит текст рядом, как шпаргалку, а помнит сама, как человек после хорошей лекции. Последние дни ушли именно на это.
Устроено так. Модель читает отрывок текста, и в её веса — числа, в которых живут её знания, — вклеивается маленькая добавка, вклейка. Сначала её за один проход пишет отдельная небольшая сеть, потом вклейку доводят счётчиками — теми целыми числами, на которых растёт весь Тернит. Пока всё это проверяется на открытой модели того же размера, что и наша будущая.
Сначала я учил вклейку пересказывать свой отрывок слово в слово. На фактах вышло почти идеально: из 180 вопросов о выдуманных компаниях модель без текста ответила на 178, если ей давали нужную вклейку. Но я усомнился. Факты — частный случай, а метод должен работать для любого текста и любого задания.
Проверка нашлась простая: двадцать выдуманных правил — неделя из шести дней, своя мера длины, налог «каждая пятая рыба» — и сотня задач, где правило надо применить. С правилом перед глазами модель решает 88 задач. С вклейкой-зубрилкой — 21. Про часы выдуманной станции она раз за разом отвечала «100» — числом из самого правила. С целым документом вышло ещё хуже: выученная наизусть вклейка на любой вопрос принималась читать документ с первой строки, как школьник, который вызубрил параграф и не может остановиться. На этот вывод ушло полдня работы видеокарты, и ждать его было тяжело.
Выход — учиться у самой себя. Та же модель, но с текстом перед глазами, становится учителем. Она сама придумывает к тексту разные запросы — вопросы, задачи со своими числами, просьбы объяснить — и отвечает на них, а вклейка учится отвечать так же, только без текста. Несколько посторонних вопросов учат её молчать там, где её не спрашивают. Сам приём известен по научной работе; у нас он работает на счётчиках, в крошечной вклейке на один отрывок.
Сегодня к двум часам дня пришёл ответ: 71 задача из 101 — без текста, по одной вклейке на правило. Это четыре пятых того, что модель может с правилом перед глазами, и в два с половиной раза больше, чем давала любая прежняя вклейка. Меры, цены, номера домов, даты решены полностью. Слабо там, где и с текстом модель еле справляется: выдуманные формы слов, неделя из шести дней.
Сейчас тем же способом идут факты — проверить, что понимание не съело точность. Дальше скорость: пока на отрывок уходят две минуты, а цель — усваивать документ за секунды, одним проходом. И перенести всё на собственную модель Тернита.
Знает не тот, кто может повторить, а тот, кто может применить. Поэтому и проверять модель надо задачей, а не пересказом.
Андрей Рощупкин