Одиннадцатого сентября я честно замерил соперника — большую модель, рядом с которой мы работаем, — и заодно впервые всерьёз сел считать, кому всё это продавать.
Замер вышел неприятным. На нашей же батарее вопросов соперник отвечает не хуже нас: восемнадцать из восемнадцати, а на коротких вопросах даже аккуратнее. Пока он считался слабее, можно было гордиться качеством. Раз качество равное — остаётся честная задача: у него восемьдесят девять миллисекунд на ответ, значит наша планка «в полтора раза быстрее при равном качестве» это шестьдесят. Число названо, спорить не о чем.
Дальше хуже. Наша тогдашняя сборка выдавала шестьсот тридцать пять миллисекунд на токен. Я сказал прямо: с такой скоростью в реальных делах эту модель использовать нельзя. Не «есть куда расти», а нельзя — человек не будет ждать полторы секунды на каждое слово.
Второй результат дня я чуть не проспал. Внешнее хранилище знаний мы считали вспомогательным, приятной добавкой. Убрали его в опыте — без него развалились обе конструкции, которые мы строили. С ним обе держатся. То есть это несущая стена, а мы едва не выбросили её как украшение.
Два отрицательных результата в тот же день: дешёвый черновик для ускорения мёртв — один и семь сотых при планке один и шесть; гипотеза про потоки опровергнута, ровно ничего.
И одна находка, за которую стыдно. Мы месяц смотрели, как модель отвечает дважды на один вопрос, и искали причину в модели. Причина была в нашем инструменте: он не распознавал знак конца ответа, и двадцать два инструмента проходили мимо, получая вторую копию. Признак лежал на виду всё это время — ответ вида «Париж. Париж. Париж.». Мы объясняли его свойствами модели. Когда я это увидел, то спросил ровно одно: а просто посмотреть глазами на десяток ответов было не судьба?
Тогда же я решил, что именно мы продаём. Не упаковку чужих моделей на выбор — этим занимаются все. Свою модель на живой ткани, выращенную на нашем теле, с российским уклоном в фактах, и с возможностью доучивать её у заказчика. Это единственное, чего не может дать облако по устройству.
Из этого дня главное: меряйте соперника своим же мерилом и не бойтесь результата. Пока не замерил, живёшь в убеждении, что у тебя преимущество. Замерил — получил не разочарование, а конкретное число, к которому можно идти. Шестьдесят миллисекунд лучше, чем «мы вроде быстрее».
Андрей Рощупкин