Странное чувство — полночи биться о стену и под утро понять, что стену ты нарисовал сам.
Напомню, как растёт Тернит. У него есть ядро — небольшая модель, которая уже умеет говорить по-русски. Новые умения мы не вшиваем в ядро, а пристраиваем рядом отдельными модулями, органами. Орган похож на специалиста, которого подсаживают к опытному сотруднику: ядро работает как прежде, а специалист вступает там, где он сильнее.
Кто решает, когда специалисту говорить? Маленький регулятор, мы зовём его краном. На каждом слове он решает, насколько громко звучит орган: на программном коде громче, на обычном русском тексте почти молчком.
Первый такой орган мы научили читать код на Python, и он заработал. А второй, поставленный рядом, всю ночь отказывался включаться: кран так и стоял на нуле. Я пробовал по-разному — давал больше свежих примеров, подталкивал кран, разрешал органу учиться за закрытой дверью. Однажды кран наконец открылся, но модель тут же стала хуже и на коде, и на русском. К середине ночи я, честно говоря, усомнился в самой идее.
В Терните все веса, которые учатся, хранятся в тритах — числах всего с тремя значениями: минус один, ноль и плюс один. Это наша основа: так модель занимает в разы меньше памяти и может доучиваться прямо на компьютере клиента. С краном мы воевали уже неделю, и он тоже был тритовым — просто по привычке.
Около половины третьего до меня дошло: кран — это не знание и не навык модели. Это выключатель, который решает, кому говорить. Весит он два килобайта, экономить на нём нечего. А три ступеньки делали его грубым: он не открывался плавно, а прыгал, и чаще всего прыгал в выключенное положение, откуда уже не мог выбраться.
Кран переписали на обычные дробные числа, как у маршрутизаторов во всех больших моделях. Знания органов при этом остались в тритах, как и было задумано.
Утром пришёл результат. Второй орган включился с первых минут, открывался плавно и оказался разборчивым: на коде звучал в четыре с лишним раза громче, чем на русском. Код модель стала предсказывать заметно лучше, чем с одним органом, а русский не пострадал вовсе. Впервые два органа сложились, и ради этого всё и затевалось.
Рабочего кода Тернит пока не пишет, до этого далеко. Но теперь видно, что органы можно наращивать один за другим, и третий уже учится.
Правило, придуманное для знаний, не обязано распространяться на провода между ними.
Андрей Рощупкин