Русский
English
Встроенный A/B-тест превью в Творческой студии YouTube обычно идёт от нескольких дней до двух недель. Точный срок заранее неизвестен: он зависит от того, как быстро у YouTube наберётся достаточно просмотров каждого варианта. Разберём, что ускоряет и замедляет тест, почему опасно делать выводы раньше времени и как поступить, если итог вышел неоднозначным.
Как YouTube решает, что тест окончен
YouTube сравнивает одновременно показываемые варианты по времени просмотра. Промежуточное преимущество может измениться по мере накопления данных. Точные внутренние правила остановки YouTube не раскрывает; отсутствие победителя не доказывает, что варианты одинаковы для любой аудитории.
Верхняя граница известна: в справке YouTube сказано, что тест должен завершиться в течение двух недель. Нижней нет. Тест на популярном ролике с заметно разными вариантами может закончиться за несколько дней.
От чего зависит длительность
| Фактор | Тест идёт быстрее, если | Тест идёт дольше, если |
|---|---|---|
| Показы и просмотры | ролик активно показывают на главной, в рекомендациях и в поиске | ролик получает мало показов |
| Различие вариантов | варианты заметно отличаются даже в маленьком размере | варианты почти одинаковые |
| Число вариантов | два варианта отвечают на один ясный вопрос; ускорение не гарантируется | добавлен третий вариант; влияние на срок заранее не известно |
Показы и просмотры. Справка YouTube прямо говорит: чем больше просмотров у ролика, тем вероятнее, что тест определит победителя. Значит, тест стоит ставить на ролики, которые сейчас активно показывают: свежий выпуск в первые дни после публикации или старое видео, стабильно приходящее из поиска. Затихшему ролику, который почти не получает показов, двухнедельного лимита может не хватить.
Различие вариантов. По справке YouTube, слишком похожие варианты удлиняют тест. Возьмём ролик «Робот-пылесос за 15 тысяч: полгода спустя». Два варианта одного кадра — с надписью «ПОЛГОДА СПУСТЯ» и с надписью «6 МЕСЯЦЕВ СПУСТЯ» — для зрителя в ленте ничем не отличаются. А пылесос крупно на чистом паркете против полного контейнера пыли в руке — это два разных обещания: «он справляется» и «смотрите, сколько он собрал». На такие варианты зрители реагируют по-разному.
Число вариантов. Два варианта проще подготовить для одного конкретного вопроса, три позволяют проверить дополнительную идею. YouTube не обещает, что тест с двумя обязательно завершится быстрее: срок зависит от показов, различий вариантов и других условий.
YouTube также упоминает, что на срок влияет, как давно опубликован ролик, но в какую сторону, не уточняет.
Почему нельзя подводить итоги раньше
Через два-три дня после запуска часто кажется, что всё ясно: один вариант явно впереди. Делать вывод в этот момент рискованно по нескольким причинам.
- Аудитория ролика меняется. В начале среди зрителей может быть больше людей, знакомых с каналом, а позже — новых зрителей. Соотношение зависит от ролика и источников трафика. Лидер на раннем этапе может уступить позднее.
- Недельный ритм. Будни и выходные иногда отличаются по аудитории, но захват выходных не является обязательным условием встроенного теста. Ориентируйтесь на его итоговый статус, а не на произвольное число дней.
- Промежуточный CTR — не результат. Победителя тест определяет по времени просмотра. Вариант, который лидирует по кликам, вполне может проиграть, если его зрители быстрее уходят.
Остановить тест вручную можно в любой момент, но тогда вы теряете ответ, ради которого его запускали. Лучше заранее решить, что до итогового статуса ролик вы не трогаете, и поставить себе напоминание через неделю и через две.
Что можно и чего нельзя делать во время теста
Нельзя менять название и превью ролика: YouTube в этом случае автоматически останавливает тест, и запускать его придётся заново. Если появилась идея получше, запишите её и проверьте следующим тестом.
Можно спокойно смотреть, как идёт тест: прогресс виден на странице сведений о видео и на вкладке с охватом в аналитике ролика (в английском интерфейсе — Reach). Можно и дальше выпускать новые ролики по обычному графику. Смотреть стоит именно на статус теста, а не на колебания CTR по дням.
Если итог неоднозначный
Тест может закончиться без явного победителя. В справке YouTube есть два таких исхода: «одинаковый результат» (варианты показали себя примерно одинаково) и «без явной разницы» (статистически значимого различия не нашлось). Если победителя нет, на ролике остаётся первый загруженный вариант. Отсюда простое правило подготовки: первым загружайте тот вариант, который поставили бы на ролик и без всякого теста.
Ровный итог тоже полезен, если понять, откуда он взялся:
| Что вы видите | Вероятное объяснение | Что сделать в следующий раз |
|---|---|---|
| В размере ленты варианты почти не отличить | Сравнивались оттенки одной идеи | Строить варианты на разных идеях: другой сюжет кадра, другой герой, другая надпись |
| За время теста ролик получил мало показов (вкладка «Охват» в аналитике ролика) | Тесту не хватило зрителей | Проверить ту же пару идей на ролике с хорошим стартом или стабильным трафиком из поиска |
| Варианты явно разные, показов много, итог «одинаковый результат» | Для ваших зрителей это различие не решающее | Оставить вариант, который ближе стилю канала, и тратить следующие тесты на другие вопросы |
Повтор без новой гипотезы обычно мало помогает. При этом одинаковые варианты могут дать иной результат позже: аудитория меняется, а у любого эксперимента есть статистическая вариативность. Сохраняйте контекст каждого запуска.
Если показов у канала немного
На небольшом канале тест чаще упирается в двухнедельный предел и заканчивается без победителя. Это не повод отказываться от тестов, просто запускать их стоит прицельнее.
- Выбирайте ролик по аналитике, а не по ощущениям. Откройте вкладку «Охват» и найдите ролики с устойчивым потоком показов. Часто это не последний выпуск, а старое видео, которое стабильно приходит из поиска.
- Не тратьте тест на мелочи. Если по итогам вы всё равно ничего не поменяете, две недели ожидания ничего не дадут. Проверяйте то, от чего зависит ваше следующее решение: какой сюжет кадра выбрать для рубрики, показывать ли результат сразу или оставить интригу.
- Не делайте выводов по одному тесту. На небольших охватах одна победа может оказаться случайной. Прежде чем переделывать стиль всего канала, посмотрите, повторяется ли результат на следующих похожих роликах.
Сколько ждать при ручной замене превью
Если встроенный тест недоступен, ручная последовательная замена даёт только наблюдение, а не равноценный A/B-тест: в разные периоды меняются зрители и трафик. Для Shorts встроенный A/B-тест недоступен, хотя текущая справка разрешает загрузить собственное вертикальное превью через Творческую студию на компьютере. Не смешивайте показатели ленты Shorts и CTR учитываемых показов обычных видео.
Разумный ориентир: держите каждый вариант не меньше полной недели, чтобы период захватил и будни, и выходные, и сравнивайте периоды одинаковой длины. Для ролика с небольшим числом показов срок лучше увеличить.
Варианты, которые отвечают на полезный вопрос
Заметно разные и точные варианты помогают проверить разные идеи, но не гарантируют быстрого завершения теста. Их удобно готовить в генераторе превью Bloggers.tools: сервис читает субтитры и делает превью по содержанию видео, а каждый новый вариант — отдельная генерация. В режиме «Профессионально» можно выбрать направление и поправить описание, чтобы второй вариант строился на другой идее, а не повторял первый. Скачайте варианты и загрузите их в A/B-тест в Творческой студии.
Частые вопросы
Можно ли закончить тест раньше двух недель?
Можно: тест останавливается вручную в любой момент через управление тестом в аналитике ролика. Но досрочная остановка может оставить вопрос без достаточно определённого ответа. Поэтому лучше дождаться, пока YouTube сам подведёт итог.
Что будет, если победителя нет?
На ролике останется вариант, загруженный первым. Потом вы в любой момент можете вручную поставить другой вариант.
Почему тест шёл две недели и закончился без победителя?
Чаще всего из-за того, что варианты были слишком похожи или ролику не хватило показов. Бывает и так, что проверенное различие просто не влияет на поведение ваших зрителей.
Сколько вариантов лучше ставить, чтобы тест прошёл быстрее?
Выбирайте два, если проверяете один конкретный контраст, и три, если есть третья самостоятельная идея. Гарантировать более быстрый результат по числу вариантов нельзя.
Справка по функциям платформы: YouTube Help.