?

Log in

No account? Create an account
Сергей Белановский's Journal
 
[Most Recent Entries] [Calendar View] [Friends View]

Monday, July 25th, 2016

Time Event
10:48a
О школе Щедровицких
Френд b_n_e в комментарии подсказал мне, что метод "стравливания" участников, по его мнению, исходит от старшего и младшего Щедровицких и игр его последователей. Если это так, это многое объясняет. Я в свое время ходил на семинары Щедровицкого-старшего и пришел к выводу, что вся эта школа мне не нравится. Не буду приводить свои тогдашние аргументы, это дела давно прошедшей эпохи. Но в постсоветскую эпоху Щедровицкий младший создал свою школу фокус-групп, сильно отличающуюся по методологии от мировых. Я никогда не верил в эту школу, в частности, потому, что это доморощенный продукт, созданный в условиях нерыночной экономики. Истоки этого подхода были созданы еще в советское время, но и постсоветское время можно лишь с натяжкой назвать рыночным и демократическим, а то означает, что настоящей рыночной и электоральной проверки эта методика не получила. Впрочем, громадный проект, который был осуществлен в Украине на выборах 2003 года, в рамках которого были проведены десятки, если не сотни фокус-групп по Щедровицкому, закончился унизительным провалом.
Критикуя групподинамичский подход к фокус-группам, я имею в виду две разных вещи. Первая - это проведение фокус-групп молодыми людьми, которые просто не получили должного образования (по крайней мере в области фокус-групп) в социологических и, особенно, психологических факультетах российских ВУЗов. Именно они часто продуцируют такие групповые дискуссии, из которых невозможно ничего понять.
Второе - это, предположительно, ученики и последователи отца и сына Щедровицких, истинно верующие в истинность своего учения. Если взять наиболее образованную верхушку этого сообщества, то это люди действительно образованные, эрудированные, умеющие логически мыслить и логично излагать свои мысли. И все же мой опыт, не только связанный с фокус-группами, говорит о том, что подобные доморощенные и умозрительные продукты могут казаться логичными и убедительными, но, как правило, не выдерживают конкуренции с мировыми аналогами. В отношении "динамических" или "щедровицких" фокус-групп я предполагаю, что действие парадокса Ла Пьера в условиях настоящего рынка и настоящей демократии может оказаться разительным. Все-таки социология - эмпирическая наука, и только эмпирическая проверка может подтвердить или опровергнуть валидность того или иного метода либо гипотезы. Причем, сегодня такая проверка часто является непростым делом, поскольку успех, вызванный совершенно другими факторами (а по законам вероятности такое случается не так уж редко), коммерческие исследователи всегда приписывают себе, а оплачивать контрольные исследования довольный заказчик никогда не будет.
В условиях сегодняшней России рыночная и электоральная валидизация результатов исследований практически невозможна, поэтому и процветают разного рода лысенковские алгоритмы соблазнения заказчиков. Но когда-нибудь валидные инструменты станут востребованы, и хорошо было бы, чтобы высшая школа подготовила к этому времени настоящих специалистов в русле общемирового опыта. Хотя, может быть, пока реальная потребность не прижмет, мое пожелание останется утопическим, а мои статьи, в том числе и в ФБ, останутся просто борьбой с ветряными мельницами. Но я считаю, что выстрадал свои научные убеждения, и мне трудно отказаться от того, чтобы их не высказать и не попытаться найти единомышленников.
Как говорил "папа Дэн", всем добрым людям доброго утра!
10:42p
Контроль количественного исследования
В 2004 году мне довелось получить разрешение на проведение контрольного исследования в одном их российских регионов. Теперь наверное, это уже не секрет - это была Хакасия. У исследования было несколько целей, одна из которых - дать независимую оценку масштаба фальсификаций анкет на нижнем уровне, т.е. самими интервьюерами. Выборка была 1600 человек, субподядчиком работ - одна из двух наиболее крупных опросных фирм Красноярска. С обеими работали крупные московские социологические организации.
Фирма-субподрядчик была предупреждена, что приедет независимый контроль. Кроме того, цена за одну анкету была повышена по сравнению с обычной, чтобы интервьюеры работали добросовестнее и не потеряли в заработке от этой добросовестности.
Наш московский контролер выехал на место с заданием провести 100% личный контроль путем полного обхода всех маршрутов. На месте он нанял себе помощников, но большую часть работ сделал сам.
Результаты проверки оказались шокирующими. Обойдя примерно половину домохозяйств, он выявил 17% сфальсифицированных анкет (т.е. домохозяйств где опрос не проводился или проводился, но его продолжительность была менее15 минут (в анкете было 50 вопросов!). Узнав об этом, я немедленно дал указание не выбрасывать сфальсифицированные анкеты, а привезти их в Москву в виде отдельного массива.
В какой-то момент фирма-субподрядчик, по-видимому, что-то узнала о об этих результатах (как именно - не знаю) и срочно провела опережающий контроль на остальной части массива. С этого момента контролеры практически не встречались с фальсификациями, зато часто слышали фразу: "А к нам уже приходили контролеры". Если экстраполировать наши результаты на вторую часть массива, то величина фальсификаций должна составить более 30%. А если учесть, что фирма была предупреждена о контроле и получила повышенную плату, то возникает гипотеза, что в "обычных" опросах процент фальсификаций еще больше.
Эти результаты не были тогда опубликованы, но обсуждались в узком кругу, в том числе и у заказчика. ФОМ тогда очень на меня обиделся, хотя совершенно зря, поскольку в данном кусте регионов он работал как раз с другой фирмой субподрядчиком, т.е. строго говоря, полученные нами данные могли быть перенесены на результаты работы ФОМа только очень гипотетически.
Звонили мне и из Левада-центра, которому я сообщил эти результаты. Левада-центр, если не ошибаюсь, работал как раз с "нашей" субподрядной фирмой. Может быть, он размещал у нее не все заказы (я этого не знаю), но, во всяком случае, он ее хорошо знал. Надо сказать, что человек, который звонил мне из Левада-центра, был моим хорошим знакомым (сейчас он уже уехал в США). Поэтому разговор был неконфликтным, но было высказано недоумение, откуда взялись такие огромные цифры, поскольку контроль Левада-центра таких цифр не получал, и вообще имел хорошее мнение о данном субподрядчике.
Я честно рассказал все, как было, и предложил приехать и посмотреть на сфальсифицированный массив. Кстати, визуально было видно, что он сфальсифицирован, поскольку он разбивался на несколько подмассивов, каждый из которых был явно заполнен одной рукой и одной авторучкой. Но никто не пришел (ФОМ тоже не поинтересовался). Этот массив валялся у меня лет пять, но потом я перешел на другую работу и весь огромный бумажный архив по разным исследованиям брать с собой не стал.
Далее мы обработали отдельно подлинный и отдельно сфальсифицированный массивы и выявили крайне интересный эффект. Интервьюер-фальсификатор, заполняя анкеты, исходит из своих представлений о том, как респонденты должны заполнять анкету. При этом он сильно завышает рейтинги власти, в том числе Путина и Единой России. Вот конкретные цифры рейтингов в процентах от всех опрошенных (сначала подлинные, потом сфальсифицированные): Путин 42/68, Единая Россия 36/46.
Какие выводы можно сделать из этой истории? Первый: чем больше фальсификата в массиве, тем выше рейтинги власти. Этот эффект можно считать достоверным, я и позднее замечал, что чем более подозрительным кажется массив, тем выше в нем рейтинги власти. Что же касается масштабов фальсификации, то здесь я, подобно Хармсу, и сам не знаю, что сказать. С одной стороны, приведенные мной цифры абсолютно достоверны. 17% фальсификата я просто держал в руках. Что касается второй части массива, то как-то странно предполагать, что в половине массива процент фальсификаций составил 34%, а в другой половине был практически равен нулю. Логичнее предположить, что исполнитель успел переделать вторую половину массива, прежде, чем подошел наш контроль (да и свидетельства респондентов это подтверждали).
С другой стороны, у всех крупных социологических фирм имеется свой контроль (но, насколько я знаю, не выездной, разве что в каких-то особых случаях) который обычно выявляет 5 -10% фальсификата, причем, 10% считается уже много. Одно из объяснений может состоять в том, что отношения между центральным контролем и местными фальсификаторами напоминают соревнование брони и снаряда: более изощренным методам контроля могут противостоять более изощренные методы фальсификации. Но это лишь гипотеза, о достоверности которой и, главное, о подлинных масштабах фальсификаций судить трудно. Я могу лишь подтвердить, что к вопросам контроля во всех серьезных фирмах относятся очень серьезно. Но проконтролировать репрезентативную всероссийскую выборку методом выездного контроля нереально.
Несомненно, за последние 10 лет качество контроля возросло, в частности,за счет использования западного опыта и применения компьютерных технологий. Но, как я уже говорил, и на местах тоже не дремлют.
Полученные в ходе описываемого исследования цифры шокируют меня самого. А поскольку второго такого исследования я не проводил, то и получается, что и сам не знаю, что сказать.
Сейчас идет выборная кампания, и у журналистов в очередной раз проснулся вопрос: не фальсифицируются ли рейтинги в сторону завышения? Мой ответ: в центральных офисах нет, а на местах в какой-то мере да. Но касается это 5% или одной трети массива - это остается для меня загадкой.
Чтобы меня не обвиняли в том, что я выкладываю одни только негативные факты, в одном из следующий постов я расскажу об эффекте, понижающим рейтинги. Может быть, эти два эффекта уравновешивают друг друга?
Полагаю, что данный мой пост в наибольшей степени соответствует названию "социальные похождения". Всем привет

<< Previous Day 2016/07/25
[Calendar]
Next Day >>
My Website   About LiveJournal.com