Я выбросил чужой мозг. Месяц мы лечили донора — маленькую чужую сеть, Qwen. Пересаживали ей органы, замеряли, что сломалось, что ожило. И в какой-то момент меня накрыло: так можно возиться вечно. Всё, что она умеет, — не её. Всё, что в ней лежит, — не наше.
Значит, растить свою. С нуля. С пустого места, где нет ни одного чужого числа.
Звучит красиво, а я сразу усомнился. Учить модель угадывать следующее слово — старая песня, мир так делает годами, и уходят на это миллиарды примеров и стойки видеокарт. Мне ответили: у нас другой способ. Веса не плавающие, а троичные, целыми счётчиками, один байт на вес вместо шестнадцати. Такая модель учится прямо у человека на машине — без облака, данные никуда не уходят. Ни одна опубликованная троичная сеть этого не умеет: их всех замораживают после обучения. Я поверил не на слово. Поверил, когда увидел, как ошибка на живом русском тексте падает с каждым проходом.
Кормить решили классикой. Достоевский, Толстой, Гоголь. Сначала мне принесли одну книгу, прогнанную тридцать раз. Я спросил: зачем гонять одну подряд, если текста и так мало? Взяли весь корпус — двадцать книг разом, три с половиной миллиона кусков.
Первый текст я прочитал своими глазами, и вот тут чувство раздвоилось. С одной стороны — «ну, ну, ну, Ду, ну», модель зациклилась, связного предложения нет. С другой — это же русские звуки. «Ну» — слово. «Ду» — начало слова. Она родилась пустой и за несколько часов начала складывать буквы в русское. Не каша из символов. Молодая, глупая, но уже на нашем языке.
Отдельно меня взбесило, что первые прогоны шли на процессоре, пока рядом простаивала видеокарта. Я потребовал перенести счёт на карту. Проход по книге сжался с минут до секунд.
А главное — тело наше до последнего тензора. Свой словарь, свои веса. Знание лежит снаружи: в складе близких слов и в библиотеке, где у нас вся русская Википедия. А умение — в весах, и оно растёт само, без учителя. Модель зовём Тернит.
Если вам продают «свою» модель — спросите, что в ней своё на самом деле. Чаще всего под капотом чужие веса, чужой словарь и тонкая надстройка сверху. У нас впервые иначе. И я это проверял не по обещаниям, а по тексту, который она написала своей рукой — пусть пока и «ну, ну, ну».
Андрей Рощупкин