Интервью и контроль качества

Таблица и карта интервью, аудиозаписи, ручная оценка и автоматические проверки.

Результаты

Список собранных анкет

Раздел «Таблица» показывает собранные интервью: строка — интервью, колонка — вопрос. Первые колонки служебные: номер, результат контроля, метка геопозиции, дата, время, длительность и интервьюер.

Переключатель «Код / Текст» меняет содержимое ячеек — тексты ответов или их коды. «Колонки» убирает из таблицы лишние вопросы, «Фильтры» отбирает интервью: есть готовые наборы «Чистовые», «На проверку», «Риск фрода», «Проблемы с медиа» и «Тестовые». Внизу задаётся число строк на странице и работает постраничная навигация.

Таблица результатов опроса

Параметры запуска — в таблице результатов

В меню «Колонки» появился пункт «appParams». Включите его, чтобы видеть переданные при запуске интервью параметры рядом с остальными сведениями. Колонка скрыта по умолчанию, а выбранная видимость запоминается для опроса.

Длинная строка сокращается в ячейке; полностью её можно прочитать в подсказке при наведении.

Способы просмотра результатов

Результаты разложены по разделам бокового меню опроса. «Таблица» — собранные анкеты построчно, «Карта» — те же интервью по координатам, «Отчёты» — выгрузки в файл, «Интеграции» — доступ к данным по протоколу OData.

Отдельным пунктом идут «Дашборды» — графики и сводные таблицы по ответам. Они заменили прежнюю «Сводную» из вкладки результатов.

Раздел «Результаты» в боковом меню опроса

Карточка интервью

Щелчок по строке таблицы открывает карточку интервью. Вкладка «Содержание» показывает вопросы и ответы этого интервью, «Служебные данные» — сведения об интервьюере, устройстве и времени. Стрелки внизу карточки листают интервью, не закрывая окно.

Подробно карточка разобрана на странице «Контроль интервью».


Координаты принятого интервью

Раздел «Карта» расставляет интервью по координатам, записанным приложением. Близкие точки собираются в кружки с числом — кнопка «Кластер» выключает объединение и показывает каждую точку отдельно, «Подписи» добавляет к точкам номера интервью.

«Учреждения» накладывает на карту справочник организаций: власть и службы, образование, здравоохранение и соцзащиту, культуру и спорт — каждую группу можно включить отдельно. Кнопка в правом верхнем углу меняет подложку: OSM, Esri Street, Esri Topo или спутник. «Фильтры» работают так же, как в таблице.

Карта интервью с кластерами точек

Координаты IP адреса принятого интервью

Геолокация по IP-адресу лежит не на общей карте, а внутри интервью. Откройте карточку, перейдите на вкладку «Служебные данные» и разверните строку «InterviewHost»: там показаны данные провайдера — город, страна, регион, почтовый индекс, часовой пояс — и карта с отметкой.

Это не GPS: координаты вычислены по сетевому адресу, а не сняты приложением.

Точность может быть низкой, зависит от поставщика услуги геопривязки и/или использования интервьюером VPN.

Геолокация по IP-адресу в карточке интервью

Готовые отчёты

Раздел «Отчёты» хранит уже построенные выгрузки. В строке — дата, размер, версия опроса, автор и формат файла. Кнопки справа скачивают отчёт, отправляют его на e-mail и удаляют.

Отметки слева выбирают сразу несколько отчётов: кнопка «Действия» над списком скачает или удалит все отмеченные разом.

Список построенных отчётов

Создание отчёта

Кнопка «Создать новый отчет» открывает окно с параметрами выгрузки. Сверху выбирается формат файла: Xls, Csv, Spss или Rec.

Дальше настраивается содержимое: выводить ответы текстом или кодами, раскладывать множественные ответы одним столбцом или каждый вариант в свой, брать ли тестовые анкеты, только целевые или все, и какие результаты контроля включать. Выгрузка ставится в очередь по кнопке «Сформировать выгрузку» и появляется в списке, когда будет готова.

Окно «Создать новый отчет»

Подключить Excel или Power BI по OData

Откройте «Результаты → Интеграции» и включите «Подключить OData». Укажите срок действия и скопируйте адрес, логин и пароль из соответствующих полей. В Excel или Power BI вставьте адрес источника OData, выберите базовую проверку подлинности и укажите выданные логин и пароль.

При смене пароля обновите учётные данные в подключённых отчётах. Доступ к управлению OData зависит от прав на отчёты опроса.

Раздел «Интеграции» — ссылка OData

Просмотр и прослушивание интервью

Собранные интервью показываются в таблице: строка — одно интервью, столбец — вопрос анкеты или служебное поле.

Открыть её можно двумя путями: из списка опросов кнопкой перехода в результаты или внутри опроса — меню «Результаты» → «Таблица».

Общий вид

Меню «Результаты» слева переключает способ показа: таблица, карта, отчёты, интеграции и дашборды.

Первые столбцы служебные: отметка для групповых действий, номер, контроль, дата и время начала, длительность записи и интервьюер. Дальше идут вопросы анкеты в порядке макета.

Внизу — сколько строк запрашивать за раз (10, 20, 50 или 100), сколько интервью найдено и переход по страницам.

Таблица результатов опроса
Кнопки над таблицей

«Фильтры» отбирают интервью, «Колонки» задают, какие столбцы показывать, «Массовый контроль интервью» меняет отметку контроля сразу у группы отмеченных строк.

Справа — переключатель «Код / Текст»: он меняет подписи столбцов между кодом вопроса (Q1, Q2) и его текстом. Рядом — разворот таблицы на весь экран (то же делает клавиша F, вернуться — Esc или снова F) и обновление данных.

Кнопки над таблицей результатов
Настройка колонок

Кнопка «Колонки» открывает список всех столбцов — сначала служебные, потом вопросы анкеты с их номерами. Переключатель у каждого включает и выключает столбец, поле сверху ищет нужный по названию, а «Показать все» и «Скрыть все» действуют разом.

Когда столбцы скрыты, над таблицей появляется напоминание «Скрыто колонок: N» со ссылкой вернуть все.

Окно настройки колонок
Параметры запуска — в таблице результатов

В меню «Колонки» появился пункт «appParams». Включите его, чтобы видеть переданные при запуске интервью параметры рядом с остальными сведениями. Колонка скрыта по умолчанию, а выбранная видимость запоминается для опроса.

Длинная строка сокращается в ячейке; полностью её можно прочитать в подсказке при наведении.

Меню столбца

У каждого столбца с вопросом есть своё меню — кнопка с тремя точками в заголовке, она появляется при наведении.

«Скрыть остальные» оставляет на экране только этот столбец: так удобно вычитывать ответы на один вопрос подряд. Вернуть остальные можно через «Колонки» → «Показать все».

«Авто-ширина» подгоняет ширину столбца под содержимое, «Сбросить ширину» возвращает исходную. Ширину можно менять и мышью — потянув за границу заголовка.

Меню столбца в таблице результатов
Как запустить прослушивание

Зелёная кнопка в столбце «Длит.» проигрывает интервью с начала. Серая кнопка внутри ячейки с ответом начинает прослушивание сразу с этого ответа. Щелчок по самой ячейке открывает карточку интервью — это уже не про звук.

Уже прослушанные ответы таблица подсвечивает светло-зелёной рамкой — видно, что проверено, а что ещё нет. Отметка ставится сама, как только запись открыли в плеере.

Окно прослушивания поверх таблицы результатов
Окно «Прослушивание»

В шапке окна — имя пользователя, записавшего интервью, дата и идентификатор интервью. Рядом три кнопки: скопировать идентификатор, показать сведения о файле и скачать запись.

Ряд кнопок внизу слева — навигация. Двойные стрелки переводят на предыдущий и следующий ответ того же интервью, круговые перематывают запись назад и вперёд. Маленькие стрелки вверх и вниз — над кнопкой воспроизведения и под ней — открывают тот же самый ответ в предыдущем или следующем интервью: так один вопрос прослушивают подряд у многих респондентов.

Окно можно свернуть до заголовка кнопкой с чертой в правом верхнем углу и перетащить за шапку.

Окно прослушивания интервью
Скорость воспроизведения

Скорость переключается кнопкой с цифрой слева от полосы воспроизведения: от 0,25× до 2×.

Выбор скорости воспроизведения
Сведения о файле

Кнопка со значком информации разворачивает технические сведения о записи — формат, кодек, длительность, размер, дату создания.

Это первое, куда стоит заглянуть, если запись не играет или звучит не так, как ожидалось.

Сведения о медиафайле записи

Загрузка записи и повтор при ошибке

Во время получения аудиозаписи плеер показывает загрузку. Если браузер не смог открыть или воспроизвести файл, в окне появляется причина и кнопка «Повторить загрузку».

Доступную запись можно скачать кнопкой «Скачать файл», даже если браузер не смог её воспроизвести. Если скачивание недоступно, подсказка у кнопки объясняет причину.

Карта результатов и зоны подсчёта

Откройте «Результаты → Карта». На ней показаны интервью с координатами. Примените фильтры опроса, если нужно посчитать интервью только по выбранной части выборки.

Посчитать интервью в районе

  1. Нажмите кнопку с подсказкой «Добавить зону: посчитать интервью в выбранном районе».
  2. Нажмите на карту в месте, которое должно стать центром. Число в центре круга показывает, сколько интервью попало в зону.
  3. Перетащите метку с числом, чтобы передвинуть зону. Для изменения радиуса выберите зону и потяните ручку на границе круга.
  4. Добавьте другие зоны для сравнения. На карте может быть до десяти зон. Чтобы убрать зону, выберите её и нажмите крестик у метки.

Зона подсчёта с числом интервью и ручкой радиуса на карте

При пересечении зон одно интервью может учитываться в каждой из них. Для подсчёта общего числа интервью в нескольких районах учитывайте это пересечение.

Настроить отображение точек

«Включить группировку» объединяет близкие точки и показывает число интервью в группе. Ползунок «Охват групп» слева регулирует, насколько близко должны находиться точки, чтобы попасть в одну группу. Этот ползунок меняет отображение карты. Размер круга подсчёта меняется ручкой на его границе.

Кнопка «Показать интервьюеров» добавляет подписи к точкам. Чтобы познакомиться с управлением картой, откройте встроенную подсказку по разделу.

Результаты

Контроль интервью

Переключение на страницу "Результаты"

Раздел «Результаты» в левом меню опроса, подраздел «Таблица». Строка — одно интервью: номер, отметка контроля, метка геопозиции, дата, время, длительность, интервьюер, дальше ответы по вопросам. «Фильтры» отбирают интервью по значениям, «Колонки» скрывают и показывают столбцы, переключатель «Код / Текст» меняет показ ответов с кодов на формулировки.

Таблица интервью на странице результатов

Для просмотра интервью целиком его можно открыть

Щелчок по строке открывает интервью целиком. В шапке — номер, дата, длительность, отметка о подтверждении геопозиции и метки «Целевое» и «Без оценки», которую можно изменить карандашом. Слева перечислены вопросы анкеты, справа — ответы. Стрелки внизу переходят к соседнему интервью, не закрывая окно.

Окно просмотра одного интервью

Просмотр одиночного интервью

Вкладка «Служебные данные» в том же окне показывает, чем и когда собрано интервью: логин интервьюера, идентификатор устройства и версию приложения, идентификатор интервью, время начала и завершения с часовым поясом.

Служебные данные интервью

Подробности — в служебных данных

Во вкладке «Служебные данные» параметры запуска доступны полностью, с переносами длинных строк. Это помогает сверить переданные значения без перехода к исходной ссылке.

Здесь же показываются настроенные адреса перенаправления и серверного уведомления — «redirectUrl» и «hookUrl». Они выбираются по статусу интервью из текущих настроек опроса и появляются, если соответствующая настройка включена и адрес задан. Адреса отражают текущие настройки опроса для этого статуса.

Сработавшие проверки выделены цветом

В блоке «Статус» сработавшие проверки отмечены красным фоном и предупреждающим значком. Причину нецелевого интервью или превышения квоты легче найти среди остальных проверок.

Прослушивание аудиозаписей

Значок воспроизведения в строке таблицы открывает окно «Прослушивание». В нём видно, чьё это интервью и к какому ответу относится запись, есть перемотка, скорость и переход к тому же вопросу в следующем интервью. Прослушанные записи отмечаются автоматически — окно проставляет отметку по ходу воспроизведения.

Окно прослушивания аудиозаписей интервью — кадр прежней версии

 
   

Контроль

Контроль — это отметка качества интервью: проверяющий просматривает или прослушивает интервью и ставит оценку. Оценка видна в таблице результатов, по ней можно отбирать интервью и на неё опираются отчёты.

Оценок три — «Зачёт», «Подозрительное» и «Незачёт». Четвёртое состояние, «Без оценки», ставится само: так выглядит интервью, которое ещё не проверяли. Вернуть интервью в это состояние нельзя — можно только сменить оценку на другую.

Столбец «Контроль»

Второй столбец таблицы результатов показывает оценку каждого интервью небольшим знаком: тире — «Без оценки», зелёная галочка — «Зачёт», оранжевый восклицательный знак — «Подозрительное», красный крест — «Незачёт». Наведите указатель — подпись назовёт оценку словом.

Знаков «Незачёт» на этом снимке нет не случайно: по умолчанию таблица такие интервью не показывает, галочка «Незачет» в фильтре снята.

Красным значком помечаются тестовые интервью — они занимают то же место в строке вместо оценки.

Столбец «Контроль» в таблице результатов
Что значат оценки

Зачёт — интервью проверено и признано годным.

Подозрительное — что-то настораживает, интервью требует дальнейшего изучения. Это рабочая пометка «вернуться сюда позже»: интервью остаётся в выдаче наравне с зачтёнными.

Незачёт — брак. Такие интервью по умолчанию скрыты из таблицы, и чтобы их увидеть, нужно поставить галочку «Незачет» в фильтре.

Без оценки — интервью ещё никто не смотрел.

Как поставить оценку

Щёлкните по знаку в столбце «Контроль» — откроется окно «Контроль интервью». То же окно открывает кнопка «Контроль интервью» внизу карточки интервью.

Комментарий необязателен, но именно в нём объясняют причину — до 100 символов. Затем выберите оценку и нажмите «Применить»; пока запрос идёт, окно остаётся заблокированным и закрывается только после успешного сохранения.

Окно «Контроль интервью»
Оценка сразу многим: по выделенным

Кнопка «Массовый контроль интервью» над таблицей меняет оценку у целой группы.

На вкладке «По выделенным» работают те интервью, которые отмечены галочками в первом столбце таблицы. Строка под полем комментария называет их число — сверьтесь с ней перед нажатием.

Здесь оценка применяется сразу по нажатию на её кнопку, отдельного «Применить» нет.

Массовый контроль: вкладка «По выделенным»
Оценка сразу многим: по списку

Вкладка «Обработка списка» решает другую задачу: оценки пришли извне — например, из таблицы Excel, которую вёл контролёр. Скопируйте столбец с идентификаторами интервью и вставьте его в поле, по одному в строке.

Под полем появятся три счётчика: «Не распознано» — строки, которые не похожи на идентификатор, «Найдено» — интервью, которые есть в этом опросе, «Не найдено» — идентификаторы, которых в опросе нет; последние можно скопировать себе кнопкой «копировать» и разобраться отдельно.

Дальше выберите оценку, при необходимости впишите комментарий и нажмите «Применить» — на кнопке написано, к скольким интервью это относится. Галочка «Перезаписать уже проставленные» решает, трогать ли те интервью, у которых оценка уже есть.

Массовый контроль: вкладка «Обработка списка»
Найти интервью по оценке

Кнопка «Фильтры» над таблицей открывает отбор. Раздел «Контроль» перечисляет все четыре состояния — оставьте галочки только у нужных.

Наверху окна — быстрые фильтры, готовые наборы условий под частые задачи: «Чистовые» (годные интервью без тестовых и неполных), «На проверку» (ещё не оценённые и подозрительные), «Риск фрода», «Проблемы с медиа» и «Тестовые». Один щелчок заменяет десяток галочек.

Число рядом с «Подробно» показывает, сколько условий сейчас стоит, а «Сбросить» возвращает набор по умолчанию.

Отбор интервью по результату проверки

Скоринг интервью

Скоринг — это автоматическая проверка качества интервью по заданным правилам. Он помогает выявлять повторное участие и подозрительно быстрое заполнение анкеты, ограничивать начало новых интервью или автоматически отбраковывать собранные данные.

Скоринг применяют, когда нужно:

Например, в открытом интернет-опросе можно ограничить повторное участие, а в анкете с длинными описаниями — выявлять ответы, на которые потрачено слишком мало времени.

Правила задаются для каждого опроса. Вы выбираете проверки, допустимые значения и действия при нарушениях. Ограничения следует подбирать с учётом способа сбора данных и содержания анкеты.

Включение скоринга

Откройте опрос и перейдите в «Параметры → Скоринг». Включите переключатель рядом с заголовком «Настройки скоринга».

На странице находятся два блока:

Включите нужные блоки и проверки, задайте параметры и нажмите «Сохранить».

Предобработка: проверка перед началом интервью

Предобработка позволяет ограничить повторное участие до начала нового интервью.

Доступны две проверки:

Для каждой проверки задаются:

Затем выберите действие при нарушении.

«Запрет начала интервью» сразу блокирует начало нового интервью при срабатывании проверки.

«Увеличение веса интервью» добавляет заданное количество штрафных баллов. Баллы сработавших проверок складываются. Если сумма достигает «Предельного веса», начало интервью блокируется.

Например, при предельном весе 100 две проверки с весами 60 и 40 вместе заблокируют начало интервью. Одной проверки с весом 60 для этого недостаточно.

Здесь и далее вес означает штрафные баллы проверки качества. К статистическому взвешиванию результатов он не относится.

Ограничения по IP требуют осторожного выбора: несколько респондентов могут пользоваться общей сетью и иметь одинаковый внешний IP-адрес.

Предобработка: контроль устройства, область поиска дублей и действия

Постобработка: проверка собранного интервью

Постобработка оценивает интервью после заполнения анкеты. Здесь доступны контроль DeviceID, контроль IP и «Спидкликер».

Для DeviceID и IP задайте область поиска дублей, допустимое количество интервью и период проверки. Затем выберите действие:

При использовании весов баллы складываются. Достижение «Предельного веса» постобработки приводит к автоматической отбраковке интервью.

Спидкликер: контроль слишком быстрого заполнения

«Спидкликер» помогает выявлять прохождения, в которых респондент отвечал слишком быстро для чтения текста. Проверка сопоставляет время ответа с объёмом текста и заданной максимальной скоростью чтения.

Включите «Постобработка → Спидкликер» и настройте три параметра.

Минимальное количество ответов в анализируемых вопросах определяет, какие вопросы попадут в проверку по числу доступных вариантов ответа. Это не количество вариантов, которое должен выбрать респондент.

Максимальная скорость чтения респондента задаётся в знаках в минуту. Чем выше значение, тем более быстрое заполнение допускается.

Допустимое количество вопросов с превышением скорости чтения определяет число превышений, после которого применяется выбранное действие. Например, значение 3 допускает три превышения: проверка сработает при четвёртом.

При срабатывании можно автоматически отбраковать интервью или добавить ему штрафной вес. Во втором случае результат зависит от общей суммы баллов и предельного веса постобработки.

Постобработка: параметры Спидкликера и предельный вес

Fraud: контроль времени на выбранных вопросах

Для отдельных вопросов можно установить собственные ограничения времени ответа. Такая настройка находится на вкладке Fraud в редакторе вопроса.

Она подходит, когда важно проверить конкретный участок анкеты: например, чтение описания продукта, изучение условий или ответ на содержательный вопрос. Ограничения включаются отдельно для каждого выбранного вопроса.

Как настроить

  1. Перейдите в «Опрос → Макет».
  2. Откройте нужный вопрос на редактирование.
  3. Перейдите на вкладку Fraud.
  4. Включите «Контроль времени заполнения ответа».
  5. Задайте минимальное и при необходимости максимальное время.
  6. Выберите действие при нарушении.
  7. Нажмите «Применить».

Повторите настройку для остальных вопросов, которые нужно контролировать.

Вкладка Fraud: ограничения времени ответа и действия при нарушении

Ограничения времени

Минимальное время задаётся в секундах. Более быстрый ответ считается нарушением.

Максимальное время задаёт верхнюю границу. Если ответ занял больше времени, это также считается нарушением. Значение 0 означает отсутствие верхнего ограничения.

Например, чтобы выявлять ответы быстрее 8 секунд, укажите минимальное время 8, а максимальное — 0.

Это условный пример: подходящее время зависит от длины текста, сложности вопроса и способа проведения интервью.

Действие при нарушении

Доступны три варианта:

Чтобы отбраковывать интервью по слишком быстрому заполнению выбранных вопросов, задайте на них минимальное время и выберите «Браковать, но продолжать интервью». Для отбраковки достаточно нарушения на одном из проверяемых вопросов.

Просмотр результатов проверок

Перейдите в «Результаты → Таблица», откройте интервью и выберите вкладку «Служебные данные». Результаты автоматических проверок отображаются в блоке Fraud control.

Чтобы найти интервью с выявленными нарушениями, используйте фильтр Fraud control → Да.

Результаты скоринга учитываются отдельно от ручных оценок контролёра «Зачёт», «Подозрительное» и «Незачёт».

Фильтр результатов: Fraud control — Да

Ответы, прослушивания и ошибки отчётов

Прочитать длинный ответ

Откройте «Результаты → Таблица». Если длинный ответ или список ответов показан сокращённо, нажмите кнопку раскрытия в ячейке. Увидеть ответы на другие вопросы можно в той же таблице. Чтобы вернуться к компактному виду, сверните ячейку.

Посмотреть, кто слушал запись

Зелёная отметка показывает, что вы прослушали запись ответа. Если запись кто-то прослушал, в ячейке появляется значок «Слушатели ответа». Наведите на него или откройте подсказку, чтобы посмотреть, кто слушал запись. Отметки прослушивания помогают распределить работу перед выставлением оценки интервью.

Найти причину ошибки отчёта

Откройте «Результаты → Отчёты» и найдите нужную выгрузку. Под строкой отчёта с ошибкой отображается сообщение. При наличии подробностей прочитайте их рядом с надписью «Ошибка формирования». Если причина связана с настройками выгрузки или анкеты, исправьте её и сформируйте отчёт заново.

Результаты · Просмотр и прослушивание интервью