Сегодня в Терните день начался с простого вопроса: а точно ли мы видим, что ломаем?
Мы выращиваем свои куски модели вместо чужих. Чужой кусок глушим, на его место растим свой. Чтобы так делать, надо знать, что именно умерло. А проверяли мы это полусотней вопросов. Мало.
Сделали проверку на семьсот сорок вопросов. Ответы к ним никто не придумывал: берём книгу и обрезаем фразу — книга сама знает продолжение. Берём файл с кодом — он знает свою строку. Арифметику считает калькулятор. Весь прогон — две с половиной минуты.
И сразу поймали то, чего раньше не видели. Глушим три куска. Старая проверка теряет один ответ из пятидесяти одного, то есть говорит: всё нормально. Новая показывает, что модель перестала выполнять просьбу и начала её пересказывать. Просишь: напиши слово, потом запятую с пробелом, потом второе слово. В ответ приходит твоя же просьба, слово в слово. Рядом отвалился факт: «Войну и мир» вдруг написал Достоевский. Уверенно, с датой.
Потом мне принесли числа, и я в них не поверил. Спросил: а зачем мы вообще требуем «ответь одним числом»? Ответ был честный — так удобнее сверять с ключом. Сняли требование, разрешили ей писать столбиком. Она стала решать пятьдесят один пример из шестидесяти вместо тридцати пяти. То есть мы мерили не её, а своё удобство.
Тут же вылезло второе такое же. Читалка обрезала ответ на середине, потому что лимит стоял с тех времён, когда ответом было одно слово. Подняли лимит — восемнадцать правильных превратились в пятьдесят четыре. Два дня можно было ходить с этим числом и делать из него выводы.
Теперь главное. Свой кусок, который мы приращиваем, включён всегда. Он лезет отвечать на любой вопрос, даже когда спрашивают не его. Из-за этого два подхода подряд пришлось выбросить: он чинил код и тут же ломал разметку.
Дали ему долю голоса: пусть сам решает на каждом слове, сколько говорит он, а сколько старая модель. Не помогло — долю он забрал целиком за три прохода. Подмешали в обучение примеры, где правильно промолчать. Опять не помогло: он выучил и их, а говорить не перестал.
Помогло, когда голос сделали платным. Хочешь сказать — заплати. И он сразу стал покупать слово только там, где оно окупается: на своём материале говорит в семь раз громче, чем на чужом. Это первый за день подход, который что-то починил и ничего не сломал.
Когда вам показывают надстройку над чужой моделью, не спрашивайте, что она улучшила. Спросите, где она молчит и чем это доказано. Всё, что не умеет молчать, однажды заговорит не вовремя.
Андрей Рощупкин