Интервью и контроль качества
Таблица и карта интервью, аудиозаписи, ручная оценка и автоматические проверки.
- Результаты
- Просмотр и прослушивание интервью
- Карта результатов и зоны подсчёта
- Контроль интервью
- Контроль
- Скоринг интервью
- Ответы, прослушивания и ошибки отчётов
Результаты
Список собранных анкетРаздел «Таблица» показывает собранные интервью: строка — интервью, колонка — вопрос. Первые колонки служебные: номер, результат контроля, метка геопозиции, дата, время, длительность и интервьюер. Переключатель «Код / Текст» меняет содержимое ячеек — тексты ответов или их коды. «Колонки» убирает из таблицы лишние вопросы, «Фильтры» отбирает интервью: есть готовые наборы «Чистовые», «На проверку», «Риск фрода», «Проблемы с медиа» и «Тестовые». Внизу задаётся число строк на странице и работает постраничная навигация. |
|
Параметры запуска — в таблице результатовВ меню «Колонки» появился пункт «appParams». Включите его, чтобы видеть переданные при запуске интервью параметры рядом с остальными сведениями. Колонка скрыта по умолчанию, а выбранная видимость запоминается для опроса. Длинная строка сокращается в ячейке; полностью её можно прочитать в подсказке при наведении. |
|
Способы просмотра результатовРезультаты разложены по разделам бокового меню опроса. «Таблица» — собранные анкеты построчно, «Карта» — те же интервью по координатам, «Отчёты» — выгрузки в файл, «Интеграции» — доступ к данным по протоколу OData. Отдельным пунктом идут «Дашборды» — графики и сводные таблицы по ответам. Они заменили прежнюю «Сводную» из вкладки результатов. |
|
Карточка интервьюЩелчок по строке таблицы открывает карточку интервью. Вкладка «Содержание» показывает вопросы и ответы этого интервью, «Служебные данные» — сведения об интервьюере, устройстве и времени. Стрелки внизу карточки листают интервью, не закрывая окно. Подробно карточка разобрана на странице «Контроль интервью». |
|
Координаты принятого интервьюРаздел «Карта» расставляет интервью по координатам, записанным приложением. Близкие точки собираются в кружки с числом — кнопка «Кластер» выключает объединение и показывает каждую точку отдельно, «Подписи» добавляет к точкам номера интервью. «Учреждения» накладывает на карту справочник организаций: власть и службы, образование, здравоохранение и соцзащиту, культуру и спорт — каждую группу можно включить отдельно. Кнопка в правом верхнем углу меняет подложку: OSM, Esri Street, Esri Topo или спутник. «Фильтры» работают так же, как в таблице. |
|
Координаты IP адреса принятого интервьюГеолокация по IP-адресу лежит не на общей карте, а внутри интервью. Откройте карточку, перейдите на вкладку «Служебные данные» и разверните строку «InterviewHost»: там показаны данные провайдера — город, страна, регион, почтовый индекс, часовой пояс — и карта с отметкой. Это не GPS: координаты вычислены по сетевому адресу, а не сняты приложением. Точность может быть низкой, зависит от поставщика услуги геопривязки и/или использования интервьюером VPN. |
|
Готовые отчётыРаздел «Отчёты» хранит уже построенные выгрузки. В строке — дата, размер, версия опроса, автор и формат файла. Кнопки справа скачивают отчёт, отправляют его на e-mail и удаляют. Отметки слева выбирают сразу несколько отчётов: кнопка «Действия» над списком скачает или удалит все отмеченные разом. |
|
Создание отчётаКнопка «Создать новый отчет» открывает окно с параметрами выгрузки. Сверху выбирается формат файла: Xls, Csv, Spss или Rec. Дальше настраивается содержимое: выводить ответы текстом или кодами, раскладывать множественные ответы одним столбцом или каждый вариант в свой, брать ли тестовые анкеты, только целевые или все, и какие результаты контроля включать. Выгрузка ставится в очередь по кнопке «Сформировать выгрузку» и появляется в списке, когда будет готова. |
|
Подключить Excel или Power BI по ODataОткройте «Результаты → Интеграции» и включите «Подключить OData». Укажите срок действия и скопируйте адрес, логин и пароль из соответствующих полей. В Excel или Power BI вставьте адрес источника OData, выберите базовую проверку подлинности и укажите выданные логин и пароль. При смене пароля обновите учётные данные в подключённых отчётах. Доступ к управлению OData зависит от прав на отчёты опроса. |
Просмотр и прослушивание интервью
Собранные интервью показываются в таблице: строка — одно интервью, столбец — вопрос анкеты или служебное поле.
Открыть её можно двумя путями: из списка опросов кнопкой перехода в результаты или внутри опроса — меню «Результаты» → «Таблица».
Загрузка записи и повтор при ошибке
Во время получения аудиозаписи плеер показывает загрузку. Если браузер не смог открыть или воспроизвести файл, в окне появляется причина и кнопка «Повторить загрузку».
Доступную запись можно скачать кнопкой «Скачать файл», даже если браузер не смог её воспроизвести. Если скачивание недоступно, подсказка у кнопки объясняет причину.
Карта результатов и зоны подсчёта
Откройте «Результаты → Карта». На ней показаны интервью с координатами. Примените фильтры опроса, если нужно посчитать интервью только по выбранной части выборки.
Посчитать интервью в районе
- Нажмите кнопку с подсказкой «Добавить зону: посчитать интервью в выбранном районе».
- Нажмите на карту в месте, которое должно стать центром. Число в центре круга показывает, сколько интервью попало в зону.
- Перетащите метку с числом, чтобы передвинуть зону. Для изменения радиуса выберите зону и потяните ручку на границе круга.
- Добавьте другие зоны для сравнения. На карте может быть до десяти зон. Чтобы убрать зону, выберите её и нажмите крестик у метки.
При пересечении зон одно интервью может учитываться в каждой из них. Для подсчёта общего числа интервью в нескольких районах учитывайте это пересечение.
Настроить отображение точек
«Включить группировку» объединяет близкие точки и показывает число интервью в группе. Ползунок «Охват групп» слева регулирует, насколько близко должны находиться точки, чтобы попасть в одну группу. Этот ползунок меняет отображение карты. Размер круга подсчёта меняется ручкой на его границе.
Кнопка «Показать интервьюеров» добавляет подписи к точкам. Чтобы познакомиться с управлением картой, откройте встроенную подсказку по разделу.
Контроль интервью
Переключение на страницу "Результаты"Раздел «Результаты» в левом меню опроса, подраздел «Таблица». Строка — одно интервью: номер, отметка контроля, метка геопозиции, дата, время, длительность, интервьюер, дальше ответы по вопросам. «Фильтры» отбирают интервью по значениям, «Колонки» скрывают и показывают столбцы, переключатель «Код / Текст» меняет показ ответов с кодов на формулировки. |
|
| Для просмотра интервью целиком его можно открыть
Щелчок по строке открывает интервью целиком. В шапке — номер, дата, длительность, отметка о подтверждении геопозиции и метки «Целевое» и «Без оценки», которую можно изменить карандашом. Слева перечислены вопросы анкеты, справа — ответы. Стрелки внизу переходят к соседнему интервью, не закрывая окно. |
|
| Просмотр одиночного интервью
Вкладка «Служебные данные» в том же окне показывает, чем и когда собрано интервью: логин интервьюера, идентификатор устройства и версию приложения, идентификатор интервью, время начала и завершения с часовым поясом. |
|
Подробности — в служебных данныхВо вкладке «Служебные данные» параметры запуска доступны полностью, с переносами длинных строк. Это помогает сверить переданные значения без перехода к исходной ссылке. Здесь же показываются настроенные адреса перенаправления и серверного уведомления — «redirectUrl» и «hookUrl». Они выбираются по статусу интервью из текущих настроек опроса и появляются, если соответствующая настройка включена и адрес задан. Адреса отражают текущие настройки опроса для этого статуса. | |
Сработавшие проверки выделены цветомВ блоке «Статус» сработавшие проверки отмечены красным фоном и предупреждающим значком. Причину нецелевого интервью или превышения квоты легче найти среди остальных проверок. | |
Прослушивание аудиозаписейЗначок воспроизведения в строке таблицы открывает окно «Прослушивание». В нём видно, чьё это интервью и к какому ответу относится запись, есть перемотка, скорость и переход к тому же вопросу в следующем интервью. Прослушанные записи отмечаются автоматически — окно проставляет отметку по ходу воспроизведения. |
|
Контроль
Контроль — это отметка качества интервью: проверяющий просматривает или прослушивает интервью и ставит оценку. Оценка видна в таблице результатов, по ней можно отбирать интервью и на неё опираются отчёты.
Оценок три — «Зачёт», «Подозрительное» и «Незачёт». Четвёртое состояние, «Без оценки», ставится само: так выглядит интервью, которое ещё не проверяли. Вернуть интервью в это состояние нельзя — можно только сменить оценку на другую.
Скоринг интервью
Скоринг — это автоматическая проверка качества интервью по заданным правилам. Он помогает выявлять повторное участие и подозрительно быстрое заполнение анкеты, ограничивать начало новых интервью или автоматически отбраковывать собранные данные.
Скоринг применяют, когда нужно:
- ограничить количество прохождений с одного устройства или IP-адреса;
- выявлять заполнение анкеты без внимательного чтения вопросов;
- контролировать время ответа на отдельные важные вопросы;
- учитывать несколько признаков нарушения вместе, назначая каждому штрафные баллы.
Например, в открытом интернет-опросе можно ограничить повторное участие, а в анкете с длинными описаниями — выявлять ответы, на которые потрачено слишком мало времени.
Правила задаются для каждого опроса. Вы выбираете проверки, допустимые значения и действия при нарушениях. Ограничения следует подбирать с учётом способа сбора данных и содержания анкеты.
Включение скоринга
Откройте опрос и перейдите в «Параметры → Скоринг». Включите переключатель рядом с заголовком «Настройки скоринга».
На странице находятся два блока:
- Предобработка — проверка перед началом интервью.
- Постобработка — проверка собранного интервью.
Включите нужные блоки и проверки, задайте параметры и нажмите «Сохранить».
Предобработка: проверка перед началом интервью
Предобработка позволяет ограничить повторное участие до начала нового интервью.
Доступны две проверки:
- Контроль DeviceID — поиск повторных прохождений с одного устройства.
- Контроль IP — поиск повторных прохождений с одного IP-адреса.
Для каждой проверки задаются:
- Область поиска дублей — текущий опрос, организация или глобальная область поиска.
- Максимальное количество интервью — допустимое число прохождений с одного устройства или IP-адреса.
- Период проверки — за период, с указанной даты или за всё время наблюдений.
Затем выберите действие при нарушении.
«Запрет начала интервью» сразу блокирует начало нового интервью при срабатывании проверки.
«Увеличение веса интервью» добавляет заданное количество штрафных баллов. Баллы сработавших проверок складываются. Если сумма достигает «Предельного веса», начало интервью блокируется.
Например, при предельном весе 100 две проверки с весами 60 и 40 вместе заблокируют начало интервью. Одной проверки с весом 60 для этого недостаточно.
Здесь и далее вес означает штрафные баллы проверки качества. К статистическому взвешиванию результатов он не относится.
Ограничения по IP требуют осторожного выбора: несколько респондентов могут пользоваться общей сетью и иметь одинаковый внешний IP-адрес.
Постобработка: проверка собранного интервью
Постобработка оценивает интервью после заполнения анкеты. Здесь доступны контроль DeviceID, контроль IP и «Спидкликер».
Для DeviceID и IP задайте область поиска дублей, допустимое количество интервью и период проверки. Затем выберите действие:
- Помечать повторные интервью нецелевыми — автоматически отбраковывать повторные прохождения.
- Увеличивать вес интервью — добавлять штрафные баллы за срабатывание проверки.
При использовании весов баллы складываются. Достижение «Предельного веса» постобработки приводит к автоматической отбраковке интервью.
Спидкликер: контроль слишком быстрого заполнения
«Спидкликер» помогает выявлять прохождения, в которых респондент отвечал слишком быстро для чтения текста. Проверка сопоставляет время ответа с объёмом текста и заданной максимальной скоростью чтения.
Включите «Постобработка → Спидкликер» и настройте три параметра.
Минимальное количество ответов в анализируемых вопросах определяет, какие вопросы попадут в проверку по числу доступных вариантов ответа. Это не количество вариантов, которое должен выбрать респондент.
Максимальная скорость чтения респондента задаётся в знаках в минуту. Чем выше значение, тем более быстрое заполнение допускается.
Допустимое количество вопросов с превышением скорости чтения определяет число превышений, после которого применяется выбранное действие. Например, значение 3 допускает три превышения: проверка сработает при четвёртом.
При срабатывании можно автоматически отбраковать интервью или добавить ему штрафной вес. Во втором случае результат зависит от общей суммы баллов и предельного веса постобработки.
Fraud: контроль времени на выбранных вопросах
Для отдельных вопросов можно установить собственные ограничения времени ответа. Такая настройка находится на вкладке Fraud в редакторе вопроса.
Она подходит, когда важно проверить конкретный участок анкеты: например, чтение описания продукта, изучение условий или ответ на содержательный вопрос. Ограничения включаются отдельно для каждого выбранного вопроса.
Как настроить
- Перейдите в «Опрос → Макет».
- Откройте нужный вопрос на редактирование.
- Перейдите на вкладку Fraud.
- Включите «Контроль времени заполнения ответа».
- Задайте минимальное и при необходимости максимальное время.
- Выберите действие при нарушении.
- Нажмите «Применить».
Повторите настройку для остальных вопросов, которые нужно контролировать.
Ограничения времени
Минимальное время задаётся в секундах. Более быстрый ответ считается нарушением.
Максимальное время задаёт верхнюю границу. Если ответ занял больше времени, это также считается нарушением. Значение 0 означает отсутствие верхнего ограничения.
Например, чтобы выявлять ответы быстрее 8 секунд, укажите минимальное время 8, а максимальное — 0.
Это условный пример: подходящее время зависит от длины текста, сложности вопроса и способа проведения интервью.
Действие при нарушении
Доступны три варианта:
- Прерывать интервью — остановить прохождение при нарушении ограничения.
- Браковать, но продолжать интервью — позволить закончить анкету, сохранив нарушение для автоматической отбраковки.
- Дать возможность вернуться и заполнить заново — предложить повторное заполнение вопроса.
Чтобы отбраковывать интервью по слишком быстрому заполнению выбранных вопросов, задайте на них минимальное время и выберите «Браковать, но продолжать интервью». Для отбраковки достаточно нарушения на одном из проверяемых вопросов.
Просмотр результатов проверок
Перейдите в «Результаты → Таблица», откройте интервью и выберите вкладку «Служебные данные». Результаты автоматических проверок отображаются в блоке Fraud control.
Чтобы найти интервью с выявленными нарушениями, используйте фильтр Fraud control → Да.
Результаты скоринга учитываются отдельно от ручных оценок контролёра «Зачёт», «Подозрительное» и «Незачёт».
Ответы, прослушивания и ошибки отчётов
Прочитать длинный ответ
Откройте «Результаты → Таблица». Если длинный ответ или список ответов показан сокращённо, нажмите кнопку раскрытия в ячейке. Увидеть ответы на другие вопросы можно в той же таблице. Чтобы вернуться к компактному виду, сверните ячейку.
Посмотреть, кто слушал запись
Зелёная отметка показывает, что вы прослушали запись ответа. Если запись кто-то прослушал, в ячейке появляется значок «Слушатели ответа». Наведите на него или откройте подсказку, чтобы посмотреть, кто слушал запись. Отметки прослушивания помогают распределить работу перед выставлением оценки интервью.
Найти причину ошибки отчёта
Откройте «Результаты → Отчёты» и найдите нужную выгрузку. Под строкой отчёта с ошибкой отображается сообщение. При наличии подробностей прочитайте их рядом с надписью «Ошибка формирования». Если причина связана с настройками выгрузки или анкеты, исправьте её и сформируйте отчёт заново.