Четвёртого сентября мы закрыли работу над самой маленькой моделью. Триста шестьдесят семь мегабайт, около двадцати шести токенов в секунду на обычном процессоре. Она получила имя Нано и стала первой нашей вещью, которую не стыдно показать.
Это ассистент, который целиком помещается в память почти любого устройства с процессором: приставки, колонки, киоска, старого ноутбука. Без видеокарты, без интернета, без единого запроса наружу.
Сделан из модели на семьсот пятьдесят миллионов весов тремя операциями. Веса переведены в троичные. Словарь обрезан со ста шестидесяти тысяч кусков до пятидесяти двух — почти всё отброшенное это письменности, которые нашему заказчику не нужны. И одна доза обучения от старшей модели, чтобы залечить повреждения от сжатия: было три и двенадцать, стало два и семьдесят один по нашей мере качества.
Что не вышло — а не вышло ровно то, чего я хотел больше всего. Мы пробовали дополнительно разрезать модель на экспертов ради скорости. Разрез вместе с троичностью тело не пережило: качество рухнуло. В вердикте записано прямо — продукт это сборка без разреза. Соблазн был сильный, я до последнего надеялся, что найдётся щадящий режим. Не нашёлся.
Чего в ней нет и сегодня, скажу сразу. Путается, когда просишь ровно N пунктов. Внутренняя математика считается по одному, а не пачками, и там лежит невыбранный запас скорости. Готового приложения вокруг неё нет — это тело, а не коробка.
В тот же день я сел перечитывать все планы разом и выписывать, что из обещанного так и не построено. Список вышел длинный, и это отрезвляет лучше любого отчёта об успехах. Самая частая запись в нём — «замер записан, но не проведён».
Мы специально говорим такие вещи вслух, и причина не в скромности. Модель, про которую известно, где она ломается, можно ставить в дело. Модель, про которую рассказывают только хорошее, ломается у заказчика — и это уже не абстрактная репутация, а чья-то остановленная работа и мой телефон в неурочное время.
Андрей Рощупкин