Пятого сентября я завёл отдельную линию — Тернит — и весь день решал, не закрыть ли ради неё то, чем занимался до этого.
Вопрос стоял ребром: продолжать основную ветку, где мы лечим большую модель, или переключиться целиком, чтобы не делать двойную работу. Две линии одной парой рук — это всегда обман себя: обе идут вполовину.
Тернит — это попытка разобрать чёрный ящик на части, каждая из которых названа, измерена и чинится сама по себе. В тот же день пришло первое подтверждение, что это вообще возможно: общая часть модели, которую принято считать неразложимой, оказалась простым преобразованием невысокого ранга плюс восемь процентов остатка. То есть на девяносто с лишним процентов комок описывается понятной операцией. Настоящая сложность — в оставшихся восьми процентах, и вот с ними и надо работать.
Зачем мне это вообще. Большая модель — чёрный ящик по устройству, а не по недосмотру. В ней нельзя починить речь, не задев рассуждение: неизвестно, где что лежит. Нельзя обновить устаревший факт, не переучив всё. Нельзя объяснить заказчику, почему она ответила именно так. Для облачного сервиса терпимо. Для системы, которая стоит у клиента и отвечает за его работу, — нет.
Условий, при которых я считаю часть разобранной, ровно четыре. У неё есть измеренная функция — не придуманное название, а проверка, показывающая, что сломается, если её убрать. Её можно чинить отдельно от замены. Она учится целыми счётчиками, без тяжёлой копии весов рядом. И внутри неё нет знаний, только умение.
Всё, что не проходит эти четыре условия, я называю комком и считаю незакрытой работой. К своим частям это относится ровно так же, как к чужим, и половина наших органов эти условия пока не проходит.
В тот же день решился и второй вопрос — чьё тело растим. Ответ: своё маленькое на своём железе, а большая модель работает учителем и донором. Обучения насквозь через неё нет нигде, и это принципиально: иначе мы навсегда привязаны к чужому весу.
Заодно всплыла мелочь, показательная до смешного. Скорость скачивания мы полдня считали неверно — ошиблись в одиннадцать раз. Не в проценты, в разы. Пока не измеришь, знаешь не то, даже про такие простые вещи.
Вывод для тех, кто выбирает себе систему: спрашивайте не «насколько она умная», а «что будет, когда она ошибётся». Если ответ звучит как «переобучим целиком» — вам продали чёрный ящик, и каждая мелкая правка будет стоить как новая модель. А ошибаться будет обязательно, это вопрос не «если», а «когда».
Андрей Рощупкин