Девятнадцатого августа я устроил разбор собственной работы чужими глазами. Тридцать пять проверяющих, двадцать четыре наших утверждения, выжило шесть.
Задача каждому ставилась не «оцени», а «опровергни»: возьми утверждение из наших документов и найди, чем оно не подтверждается. Приятного мало — фактически я заказал разгром собственных результатов за полгода.
Из двадцати четырёх заявлений, которые мы считали доказанными, устояла четверть.
Главное, что нашли, — ограничение, названное числом: сдвинуться могут только одна и девять десятых процента связей. Всё остальное в той конструкции заморожено и в обучении не участвует вообще, сколько ни учи.
Это перевернуло весь разговор. До разбора мы обсуждали, чему система учится. После стало ясно, что обсуждать надо другое: почему девяносто восемь процентов её вещества не может измениться. Я тогда же начал задавать вопросы попроще — как вообще хранятся веса в обычных моделях, почему именно с плавающей точкой, нельзя ли иначе. Иногда полезно спуститься на уровень, где ты снова ничего не знаешь.
Проверяющие не только опровергали, но и предсказывали поломки. Одну предсказали точно: при таком устройстве появится «безбилетник» — часть системы, которая пользуется общим результатом, ничего не делая. Он и появился, ровно там, где сказали. Поставили три сторожа прямо в код, чтобы такие случаи ловились без человека.
В тот же день впервые сработал механизм, ради которого всё затевалось: ворота срабатывают, полезный кусок замерзает, незанятые части уходят в резерв. Выученное перестаёт быть текучим и становится опорой для следующего. Вот это было хорошее чувство после утреннего разгрома.
И тут же честно записано, что не прошло: ворота банка не взяты, обратное разложение попробовано и откачено.
Разбор, где из двадцати четырёх утверждений выживает шесть, со стороны выглядит катастрофой. Для меня это был лучший день месяца: восемнадцать неверных оснований убраны до того, как на них что-то построили. С тех пор такой разбор мы проводим в начале работы, а не в конце — в конце он находит то же самое, только исправлять уже дороже.
Андрей Рощупкин