Больше недели сюда не писал, а последние дни почти целиком ушли на одно дело: я выращиваю свою модель на четыре миллиарда весов. Веса — это миллиарды чисел внутри модели, в которых хранится всё, что она знает и умеет. И меня всё чаще спрашивают, зачем такие мучения, если открытых моделей этого размера полно, они умные и бесплатные: взял, доучил под себя — и готово.
Первая причина простая. Продукт для России должен стоять на своих весах. Чужую модель можно доучивать сколько угодно, но она так и останется чужой: её основу делали другие люди, и до конца не знаешь, что в неё вложено.
Вторая причина — то, ради чего Тернит вообще затевался. Я хочу, чтобы модель училась сама: прочитала статью и запомнила её, а со временем и вовсе развивала себя без меня. Запись прочитанного прямо в веса я уже проверял, и она работает, но только на умной модели, которая понимает, что читает. Наши маленькие модели так не умеют, им просто нечем понимать. Значит, нужен хотя бы минимальный ум, а это примерно четыре миллиарда весов. Меньше брать бессмысленно.
Третья причина вытекает из первых двух. Эта модель станет ядром — основой, к которой потом подключаются все отдельные умения. А если основа чужая, то и всё, что на ней вырастет, тоже окажется чужим.
Поэтому я пошёл длинным путём. Свою модель я выращиваю с нуля, из случайных чисел, и каждый её вес — одно из трёх значений: минус один, ноль или плюс один, так что места она занимает в разы меньше обычной. А рядом стоит хорошая открытая модель того же размера, но только как учитель: моя смотрит, как та продолжает тексты, и учится делать так же, как подмастерье рядом с мастером. Ни одного веса учителя в неё не попало.
Гладко пока не выходит. Несколько дней модель молчала, деньги на аренду видеокарт уходили, а в ответ шли одни повторы, и я всерьёз засомневался. Сегодня утром я перепроверил всё заново и нашёл ошибку в настройке: модель училась слишком резкими шагами и сама себя расшатывала. После исправления дело пошло, и днём она впервые сказала связно. На начало «The capital of France is Paris» она продолжила: «It is the largest city in France, with a population of 1.5 million». Население она назвала неверно, дальше снова сбилась на повтор, а по-русски пока лепечет. Но это уже фраза, а не набор слов.
Своя модель — не упрямство, а условие: учиться сама сможет только та, что понимает, а основой может быть только своя.
Андрей Рощупкин