Двадцатого июня я выбросил прежнее описание архитектуры целиком и развернул работу на полтора бита вместо шестнадцати. С этого пути мы больше не сходили ни разу, хотя поводов было достаточно.
Полтора бита — это три состояния на вес: минус один, ноль, плюс один. Тогда такие модели жили в основном в статьях. Работающего продукта не было ни у кого, и это меня скорее раззадорило, чем остановило: если всё уже сделано, заниматься нечем.
В тот день я расписал целую линейку по размерам — от модели для ноутбука до модели для микроконтроллера. Перечитываю сейчас и вижу, что нахальство было изрядное: ни одной готовой модели, а я уже расписываю семейство. До микроконтроллеров мы пока не добрались. Но сегодняшний ассистент в триста шестьдесят семь мегабайт — прямой потомок той записи, и он вполне себе живой.
Тогда же я записал две ставки, и — вот что важно — обе выглядели одинаково убедительно.
Первая: ускорять большую модель маленькой, которая предугадывает ответ. Красивая идея, уважаемая в литературе, все её хвалят. Я в неё верил и записал как ключевую особенность продукта.
Вторая: разделить модель на экспертов, чтобы на каждый кусок текста работала лишь малая часть. Тоже не новость, но мне казалось перспективнее.
Первую я убил собственным замером через сутки. Вторая жива до сих пор — в тот же вечер собрал первый рабочий прототип, переделал чужую модель в такую схему и обучил.
Из этого дня я вынес вещь, которую теперь повторяю всем: на бумаге обе ставки одинаково хороши, и никакой опыт не подскажет, какая выживет. Подсказывает только замер. И делать его надо сразу, пока не жалко — а не когда под идею уже написан месяц кода и ты защищаешь её просто потому, что вложился.
Андрей Рощупкин