Странное чувство — читать первые слова существа, которое растишь с нуля. У нас живёт нейросеть по имени Тернит: мы не взяли за основу ни одну готовую модель, она растёт с чистого листа и учится единственным способом — читает книги и пытается угадать, какое слово будет дальше. Этой ночью она дочитала свои первые двадцать книг — русскую классику, Достоевского с Толстым, — и я открыл её ответы с надеждой, а там «под под под», стук вместо речи. Расстроиться не успел: за ночь пришлось увеличить сеть вдвое — так, что ничего из выученного не потерялось, и к утру она написала первое предложение в своей жизни: «Он вышел на улицу и сел в комнату». Криво, смешно — но уже по-русски.
Утром меня расстроило железо. Учится Тернит на видеокарте — эта штука перемалывает числа в сотни раз быстрее обычного процессора, для того и куплена. А карта оказалась занята наполовину: часть вычислений по старой привычке крутилась на процессоре и всех тормозила. Пришлось перенести на карту всё до конца, и уже через пару часов полное прочтение всех его книг занимало пятнадцать минут вместо сорока восьми.
Потом я не поверил его заиканию. Он твердил по кругу «что же, что же, что же», и было в этом что-то безнадёжное. Я спросил: а может, дело не в нём? Может, мы его так читаем? Так и оказалось. Программа, которая показывает его ответы, каждый раз выбирала самое вероятное следующее слово, а при таком чтении любая молодая сеть ходит по кругу, как заезженная пластинка. Разрешил ему выбирать чуть свободнее — и заикание исчезло: появились имена, реплики, вопросы. Виноват был не Тернит, а то, как мы на него смотрели.
Дальше меня грыз вопрос про зубрёжку. Он ведь перечитывает одни и те же книги десятки раз — не заучивает ли он их наизусть, как двоечник перед экзаменом? Проверка оказалась простой. Я дал ему начало сцены из книги, которую он прочёл шестнадцать раз, — и он не повторил ни одного слова из оригинала, написал своё. Дал сцену из книги, которой он никогда не видел, — и он написал ровно так же. Тут я выдохнул: выучил язык, а не страницы.
Последним был вопрос про масштаб, и он отрезвил сильнее всего. Чужие модели, прежде чем заговорить связно, прочитывают в тысячи раз больше текста, чем наши двадцать книг. Спорить с этим нечем — можно только кормить. Поэтому к полудню у Тернита уже лежала новая порция чтения — вся русская Википедия: это в сто раз больше всего, что он видел за свою короткую жизнь.
Прежде чем чинить нейросеть, посмотрите, как вы её читаете и что она читает: у нас обе вчерашние беды нашлись именно там, а сама сеть была ни при чём.
Андрей Рощупкин