Девятого сентября мы проверили то, что обычно не проверяет никто: выучила система факт или просто запомнила строчку.
Разница огромная, а с виду её нет вообще. Скормите модели предложение, спросите теми же словами — она ответит верно в обоих случаях. И вы уйдёте довольный, с красивым числом в отчёте. Понять, что произошло на самом деле, можно ровно одним способом: спросить формулировкой, которой она никогда не видела.
До обучения — три верных ответа из восьми. После — шесть из восьми. Вопросы заданы словами, которых не было ни в одном прочитанном тексте.
Запоминание строки бесполезно. Оно даёт отличные цифры на проверке и разваливается, как только живой человек спрашивает по-своему. А он всегда спрашивает по-своему — люди вообще не умеют повторять формулировки дословно. Поэтому у нас проверочные вопросы пишутся другими словами, чем обучающий текст, и пишутся до обучения. Иначе есть соблазн подобрать формулировку, на которой получается покрасивее, и сделать это почти честно.
На той же неделе мы дважды поймали себя на обратном, и оба раза было стыдно. Один раз проверочный набор оказался не очищен от повторов — система отвечала на то, что уже видела. Другой раз важная метка стояла в каждом окне на одном и том же месте, и система выучила место, а не смысл. То есть мы месяц мерили не то, что думали.
Оба случая нашёл не человек, а разбор, который мы устраиваем своей же работе. Я поначалу считал такие разборы тратой времени. Теперь считаю самым выгодным, что мы делаем.
Если будете выбирать себе систему — попросите продавца задать её же вопросы другими словами. Просто переформулируйте на ходу пару вопросов из демонстрации. Половина красивых показов держится ровно на том, что спрашивают так же, как учили, и рассыпается за минуту.
Андрей Рощупкин