Шестнадцатого сентября я остановил работу, которая шла неделями, и развернул направление. Решение далось тяжело — потому что останавливать приходилось не чужое, а своё, в которое вложено полтора месяца.
Всё это время мы лечили большую модель на процессоре. Она не помещается в видеокарту, поэтому каждый шаг обучения стоил часы. Мы к этому привыкли. Вот это и есть самое опасное: неудобство, которое стало фоном, перестаёт восприниматься как проблема. Ты уже не думаешь «почему так долго», ты просто планируешь день вокруг ожидания.
Решение простое до обидного. Берём модель, которая помещается в карту целиком, и переводим её в троичную по одному слоту, вылечивая каждый прямо там. Шаг обучения из часов превращается в секунды, проверок становится в сотни раз больше.
Почему не сделал раньше: большая модель — цель, маленькая — средство, и работать на цели кажется правильным. Кажется. На деле я платил тем, что каждая гипотеза проверялась раз в сутки, а половина времени уходила на ожидание.
В тот же день разделил работу на две руки — одна занимается большим телом на этой машине, вторая маленьким на карте. И сразу же увидел то, от чего настроение испортилось окончательно: число потоков для обучения мы взяли из замера, сделанного на другой задаче — на выдаче ответов. Для обучения оно не годилось. Машина работала на пятнадцати процентах мощности. Заметил это не прибор, а я сам, случайно посмотрев на загрузку железа.
Отдельная поломка того же дня: результаты учителя опознавались по времени изменения программы, а не по её содержимому. Пересобрал программу — весь накопленный труд считается устаревшим и пересчитывается заново. Часы работы в трубу из-за того, что ключ выбран по побочному признаку.
Вывод, который я считаю главным за сентябрь: если цикл проверки длиннее рабочего дня, вы не исследуете, а гадаете — медленно и дорого. Скорость проверки важнее мощности железа. Ради неё стоит менять план, даже когда работа идёт неделями и разворачиваться жалко. Особенно тогда.
Андрей Рощупкин