Как тестировать скрипты обзвона: A/B на голосовом роботе

Вы переписали скрипт, конверсия выросла с 4% до 6% — и вы решили, что новый текст лучше. А потом оказалось, что в ту неделю просто звонили по более тёплой базе. Или менеджер был в духе. На живых людях невозможно понять, что сработало: текст, голос, время суток или удача. Слишком много переменных меняется одновременно, и A/B тест скриптов превращается в гадание.

С роботом этой проблемы нет. Он произносит оба варианта абсолютно одинаково — та же интонация, тот же темп, та же пауза перед вопросом. Меняется ровно одна вещь: текст. И тогда разница в конверсии — это разница между скриптами, а не между настроениями операторов.

Почему на людях A/B-тест не считается

Представьте, что вы дали скрипт А пяти менеджерам, а скрипт Б — другим пяти. Один говорит бодро, другой бубнит, третий ускоряется к концу смены. Кто-то импровизирует и уходит от текста, кто-то добавляет от себя удачную фразу. К моменту, когда вы собираете цифры, вы сравниваете не два сценария, а десять разных людей в десяти разных состояниях.

Даже один менеджер не спасает. Утром он звучит иначе, чем вечером. На сотом звонке — иначе, чем на первом. Он подстраивается под собеседника, и это хорошо для продаж, но убийственно для теста: вы больше не знаете, что именно вы измеряете.

Робот стерилен в хорошем смысле слова. Сотый звонок звучит как первый. Вариант А в понедельник — как вариант А в пятницу. Вы убираете из эксперимента всё человеческое и оставляете только то, что хотели проверить, — формулировку. Это и есть условие чистого A/B теста: одна переменная, всё остальное зафиксировано.

Как поставить тест, чтобы ему можно было верить

Чистая подача — половина дела. Вторую половину вы делаете руками, когда планируете эксперимент. Здесь легко всё испортить, даже имея робота.

Одна гипотеза за раз. Не меняйте в новом варианте сразу первую фразу, оффер и концовку — иначе при росте конверсии вы не поймёте, что сработало. Хотите проверить три идеи — это три последовательных теста, а не один. Скучно, зато честно.

Разделите базу случайно. Нельзя пускать вариант А по одному региону, а Б — по другому, или А — утром, Б — вечером. Тогда в тест прокрадётся скрытая переменная: география, время, тип лида. Контакты нужно перемешать и раскидать по вариантам вслепую, чтобы обе группы были одинаковыми по составу.

Дайте достаточную выборку. Десять звонков на вариант не значат ничего. Если из десяти один сказал «да», а из других десяти — двое, это не «вариант Б вдвое лучше», это случайность. Чтобы поймать разницу в пару процентных пунктов, нужны сотни звонков на каждую ветку. Чем тоньше эффект, тем больше данных.

Заранее выберите метрику успеха. Решите до старта, по чему сравниваете: согласие на следующий шаг, запись на встречу, дослушивание до оффера. Если метрику выбрать после — глаз сам найдёт цифру, где новый вариант «победил», и вы обманете себя. Какие показатели вообще имеет смысл считать в обзвоне, мы разбирали в материале про метрики и KPI обзвона.

Что именно тестировать

Не всё в скрипте одинаково влияет на результат. Начинайте с мест, где цена ошибки выше всего, — туда, где теряется больше всего звонков.

Первая фраза. Сюда доходят все сто процентов дозвонов, и здесь же отваливается основная масса. Поменяйте начало — «Здравствуйте, это ТикТак по поводу вашей заявки» против «Добрый день, у вас есть полминуты?» — и сравните, после какого варианта меньше бросают трубку в первые секунды. Это самый дешёвый способ поднять весь воронку разом.

Формулировка оффера. Одно и то же предложение можно подать через выгоду, через экономию или через срочность. «Сэкономите 20%» и «вернём 20% на счёт» — формально про одно, а отклик разный. Робот даёт проверить это начисто: оффер тот же, меняется только обёртка.

Отработка главного возражения. У каждого обзвона есть одно-два возражения, которые прилетают чаще всего: «дорого», «мне неинтересно», «пришлите на почту». На них стоит держать по два варианта ответа и смотреть, после какого диалог чаще продолжается, а не обрывается.

Длина. Иногда короткий скрипт продаёт лучше развёрнутого — просто потому, что его дослушивают. Сравните версию на три реплики с версией на шесть и посмотрите на дослушивание и конверсию вместе. Бывает, что лишний абзац стоит вам половины ответов. О том, как вообще собирать сценарий по веткам, — в гайде как написать скрипт для робота.

Что меняем	Что сравниваем
Первую фразу	Долю сбросов в первые 5 секунд
Оффер	Согласие на следующий шаг
Ответ на возражение	Долю диалогов, что продолжились после «нет»
Длину скрипта	Дослушивание до оффера и конверсию

Один тест — это не конец, а круг

A/B тест почти никогда не даёт финальный ответ с первого раза. Вы проверили первую фразу, нашли вариант лучше — отлично, теперь он становится новым стандартом. Дальше берёте оффер и тестируете его уже поверх новой первой фразы. Потом возражение. Потом снова возвращаетесь к началу с новой идеей.

Так оптимизация скрипта превращается в цикл: гипотеза — тест на достаточной выборке — победитель в продакшен — следующая гипотеза. Каждый круг прибавляет по чуть-чуть, и через несколько итераций скрипт уезжает далеко от того, с чего вы начинали, — но уезжает на цифрах, а не на ощущениях.

Робот делает этот цикл быстрым. Он гоняет сотни звонков в день без устали и капризов, поэтому выборка набирается за дни, а не за месяцы. Вы успеваете проверить десяток гипотез там, где на живой команде хватило бы сил на одну.

Коротко

Живые менеджеры не годятся для A/B теста скриптов: они меняют подачу, и вы сравниваете людей, а не тексты. Робот держит подачу неизменной, поэтому единственная переменная — формулировка. Меняйте по одной гипотезе за раз, делите базу случайно, набирайте сотни звонков на вариант и выбирайте метрику до старта, а не после. Начинайте с первой фразы, оффера и главного возражения — там самый большой прирост. И повторяйте круг: хороший скрипт не пишут один раз, его доводят итерациями на реальных цифрах.