Сергей Белановский (belan) wrote,
Сергей Белановский
belan

Categories:

СОЦИОЛОГИ НА ПАНЕЛЯХ

В социологических опросах существует мошенническая практика с использованием так называемых профессиональных респондентов. Профессиональные респонденты – это люди, «работающие» респондентами и получающие за эту работу некоторый (небольшой) доход. Как правило, они не имеют никакого отношения к тем целевым группам, которые должны быть опрошены. Работодатели таких респондентов (рекрутеры) формируют свои небольшие базы данных и регулярно звонят с предложениями типа: сегодня ты пользователь определенного вида шампуня, завтра ты выпускник такого-то учебного заведения, послезавтра сторонник такой-то политической партии и т.д.
Про широкое распространение практики использования профессиональных респондентов при рекрутировании фокус-групп писали неоднократно. Может быть, следует написать еще раз, но как-нибудь потом. Скажу только, что сейчас есть признаки того, что эта практика начинает себя изживать, т.е. заказать качественную фокус-группу вполне возможно. Но до сих пор мало кто писал об использовании профессиональных респондентов в количественных исследованиях.
Мошеннические предложения, как правило, предполагают некоторое вступление. В нашем случае оно звучит примерно так: технологии социологических (поквартирных) опросов созданы в 30 – 40 годы прошлого века и с тех пор устарели. Сегодня мы живем в мире компьютеров и телекоммуникаций, которые гораздо более эффективны. Отчасти это правда, но об этом тоже должен быть отдельный рассказ.
Здесь же я хочу рассказать конкретно, в чем же порой заключаются «инновационные» технологии социологических опросов. Начнем с того, что с помощью компьютерных и телекоммуникационных технология можно проводить три вида опросов.
1. Телефонные опросы. В странах запада репрезентативые телефонные опросы начали применяться примерно с 60-х годов. Этот метод стал конкурировать с поквартирным обходом, аргументы оставляем за рамками это статьи. В СССР до самого конца его существования телефонные опросы применялись редко из-за слабо развитой телефонизации в стране. В учебниках 70 – 80 годов писали, что необходимому уровню телефонизации соответствуют только Москва и Ленинград. Сейчас ситуация изменилась, и массовые телефонные опросы стали реально возможными по всей территории страны. Преимуществом телефонных опросов, если они проведены коллл-центром, оснащенным современным оборудованием, является сплошная запись всех интервью, по которой заказчик имеет гарантированную возможность проконтролировать качество опроса.
2. Интернет-опросы. Все знают о технической возможности разместить в интернете вопрос или небольшую анкету и получить таким способом довольно большое количество ответов. Недостаток этого метода состоит в заметном смещении результатов по сравнению с репрезентативными опросами, поскольку аудитория интернета представляет собой особый сегмент, отличающийся по своим характеристикам от генеральной совокупности. Отчасти (но только отчасти!) эти отличия можно устранить с помощью приведения демографической структуры получившегося массива к структуре последней переписи или текущей статистики. Тем не менее, разница остается, порой очень значительная. Проблема еще состоит в том, что величина этой разницы заранее неизвестна, и для ее определения необходимо продублировать интернет-опрос обычным репрезентативным опросом. Тем не менее, если исследователь указал в отчете, что результаты получены методом интернет-опроса, то н каких претензий к нему нет (хуже, если этот момент в отчете не отмечен).
3. Опросы с помощью электронной почты. Ради них и написана эта статья. В принципе, почтовые опросы использовались в СССР с 60-х годов, а в странах Запада, возможно, даже с 20-х. Письма печатались на бумаге, заклеивались в конверт и отправлялись обыкновенной почтой. Возврат составлял около 20%, что по сегодняшним меркам следует считать очень большим показателем.
Сегодня бумажной почтовой рассылкой уже никто не пользуется, но есть возможность сделать рассылку по электронной почте. В некоторых случаях это правомерно. К примеру, возьмем некую организацию, имеющую филиалы во всех регионах страны (крупный банк или федеральная государственная структура). Допустим, головной офис этой организации хочет опросить с помощью анкеты руководителей некой службы (условно - начальников отделов кадров). Административный ресурс, которым располагает головной офис, позволяет ему получить практически 100% возврат заполненных анкет. Этот метод вполне правомерен и порой используется крупными корпоративными структурами.
Но если такой административной поддержки нет, ситуация резко осложняется. Возврат заполненных анкет при использовании почтовой рассылки сегодня оставляет не более 1%, обычно меньше. Это касается как физических, так и юридических лиц. Увеличить возврат можно дополнительными просьбами по телефону (но тогда проще просто провести телефонный опрос), введением оплаты за заполненную анкету (но тогда исчезает главное преимущество метода –дешевизна), просьбой от известного и авторитетного лица (но этому методу люди верят меньше всего, и возврат повышается незначительно).
Теперь представим себе «социолога», который хочет заработать побольше денег и ограничен лишь желанием не попасться на жульничестве. Перед таким «социологом» метод почтовой рассылки открывает большие возможности. Нужно лишь через социальные сети найти около 1500 людей, которые хотят немного заработать, и установить с ними связь по электронной почте. Типичный договор с такими респондентами примерно таков. Заказчик высылает по электронной почте анкеты, респондент заполняет их и возвращает заказчику, получая за это, скажем, 30 рублей. Конечно, это очень мало, но за заполнение 10 анкет это уже 300 рублей. При этом для повышения надежности работы панели заказчики используют методы сетевого маркетинга: если заполнишь менее 10 анкет – ничего не получишь. (Пояснение: в социологии «панелью» называется опрос одних и тех же людей спустя какие-то промежутки времени. В научных целях такие опросы бывают полезны. Но, к сожалению, именно метод панельных опросов оказался очень удобен для жуликов).
Кто соглашается на такие условия? Обычно - студенты. Но при заполнении анкеты они проставляют произвольный возраст и профессию (либо заказчик сообщает им эти данные). На содержательные вопросы отвечают в меру своего разумения и фантазии (точно так же, как и профессиональный респондент в фокус-группах). Массив получается очень странный, но внешне подкопаться трудно. Когда он сводится в таблицы, то вроде бы получается и неплохо. Задним числом все можно объяснить.
Какой смысл во всей этой процедуре? Очень простой – деньги. Предположим, что организатор панели получил от своего заказчика 1000 рублей за одну анкету. Себестоимость опроса никак не может превысить 100 рублей, скорее всего, она еще меньше. 900 рублей – чистая прибыль. Если заказчик «умный», он знает величину маржи и требует хороший откат. Если «глупый», вся сверхприбыль достается мошеннику.
В интернете можно найти очень много предложений о проведении социологических опросов на очень выгодных условиях – вот это оно и есть.
Существует еще один способ обмана заказчиков, строго говоря, не связанный именно с панельными исследованиями, но почему-то используемый именно в связи с ними. Предположим, заказчик и исследователь договариваются о проведении опроса 1500 человек, относящихся к определенной целевой группе. Если исследователь использует метод поквартирного или телефонного опроса, то на выходе заказчик получит массив, состоящий ровно из 1500 целевых респондентов. При этом, чтобы получить данный результат, исследователю пришлось обойти или обзвонить, к примеру, 4500 потенциальных респондентов (коэффициент фильтрации 3). В правильно составленном договоре никогда не указывается общее число посещений или звонков, а только величина массива, состоящего из целевых респондентов.
Но панелисты сумели завести иную моду, и странно, что до сих пор их никто не одернул. К примеру, панелист договаривается с заказчиком о тех же самых 1500 целевых респондентах. Далее он рассылает 1500 анкет, а на выходе получает, к примеру, 900 (но деньги берет, как за 1500!). И докладывает заказчику: мы разослали 1500 анкет, получили обратно 900, договор выполнен. Неправда. Никогда договоры на исследования так не составляются. Если исследователь пообещал опросить 1500 респондентов, то он обязан предоставить массив, состоящий именно из этого количества заполненных анкет.
Что можно посоветовать потенциальному заказчику? Во-первых, не пользоваться услугами панелистов (за исключением оговоренных выше особых случаев). Помните, что честно проведенная рассылка анкет по электронной почте дает возврат менее 1%. Если возврат в разы или десятки раз больше – это мошенническая панель. Во-вторых, требуйте и проверяйте звуковые массивы. При телефонном опросе такие массивы делаются автоматически. При поквартирном сейчас все серьезные фирмы переходят на использование планшетов, что тоже позволяет создать консолидированный звуковой файл. Отсутствие звукового файла говорит о том, что результаты опроса требуют проверки.
Один из маркетинговых приемов, часто используемых для продвижения продукта на рынок, состоит в том, чтобы общеизвестному продукту присвоить загадочно звучащее название или аббревиатуру, желательно на иностранном языке. Применительно к описанным выше видам опроса в последнее время появились такие аббревиатуры. Разъясним их значение, чтобы устранить всякую загадочность.
CAPI - Computer Assisted Personal Interviewing. Это обычный поквартирный или уличный опрос, в ходе которого интервьюер лично задает вопросы респонденту и полученные ответы фиксирует не на бумаге, а в планшете или смартфоне. Результаты опроса передаются в базу данных в реальном времени. Очень полезное нововведение, но никакой загадочности. В настоящее время все крупные организации, занимающиеся количественными опросами, перешли на этот метод сбора информации.

CATI - Computer Assisted Telephone Interviewing. Обычный телефонный опрос, результаты которого фиксируются в компьютере минуя бумажную версию. Все остальное так же, как и в CAPI.

CAWI - Computer Assisted Web Interviewing. Это компьютерная программа для обработки данных опросов по электронной почте. По сути – для обработки данных панельных опросов. Как и в предыдущих случаях – никакой загадочности. Сама программа ни в чем не виновата, но панели часто бывают жульнические. Если вам предлагают проведение опроса по технологии CAWI, целесообразно задать следующие вопросы.

1.     Каков возврат анкет?
2.     Предусмотрена ли плата респондентам, если да, то какая.
3.     Есть ли возможность убедиться, что респондент действительно соответствует параметрам квоты, а не какой-нибудь студент, который врет, что ему 40 лет и что он сторонник определенной политической партии.

ДАННЫЙ ТЕКСТ ЯВЛЯЕТСЯ ОТКРЫТЫМ. ЕГО МОЖНО ВОСПРОИЗВОДИТЬ В СОЦИАЛЬНЫХ СЕТЯХ И В ЛЮБЫХ СМИ. ЕДИНСТВЕННАЯ ПРОСЬБА – СООБЩАТЬ МНЕ ОБ ЭТОМ.
Subscribe

  • Post a new comment

    Error

    Anonymous comments are disabled in this journal

    default userpic

    Your reply will be screened

    Your IP address will be recorded 

  • 5 comments