Можно ли доверять результатам опросов общественного мнения
Как можно говорить о мнении всех россиян, если опрошено, например, всего 1600 человек?
Чтобы узнать вкус супа, вам вовсе не обязательно съедать всю кастрюлю, одной тарелки будет достаточно. Главное - тщательно размешать его перед тем, как попробовать. Для социологов всё население России, так называемая генеральная совокупность, - это как кастрюля супа, а участники опроса, то есть выборка, - та самая тарелка.
Тимур Османов: В математической статистике действует закон больших чисел. Опираясь на него, можно утверждать, что в правильной выборке распределение будет мало отличаться от распределения в совокупности. При соблюдении, правда, двух условий: во-первых, вероятность попадания в выборку должна быть одинаковой для каждого человека из изучаемой совокупности, а во-вторых, сама эта вероятность должна быть измеримой. Выполнить эти условия непросто. У социологов существуют специальные технологии: стратификация, кластеризация, отбор кластеров с вероятностью пропорциональной их размеру, контролируемый отбор и другие. Времени на составление выборки уходит всегда очень много.
Валентина Сушко: Чтобы говорить за всех россиян, мы обязаны учитывать, например, что у нас в стране 47% мужчин и 53% женщин, а значит, среди опрошенных должно быть такое же соотношение. То же самое касается возраста, образования, семейного положения и так далее. В пределах России 1600 человек вполне могут быть репрезентативной выборкой, то есть достоверно представлять всю страну, погрешность будет небольшая. Мы, конечно, можем увеличить число опрошенных, но на результаты это серьёзно не повлияет, если выборка была составлена грамотно.
Как проверить, что интервьюеры не сами заполнили анкеты за респондентов?
Социологи несколько недель корпели над составлением выборки, описали схему опроса… А интервьюер вместо этого засел дома и заполнил все анкеты сам. Но социологи уверяют: ничего подобного случиться не может.
Тимур Османов: Телефонные опросы проводятся централизованно из специальных звонковых центров. За работой интервьюеров следит супервайзер, ведётся аудиозапись. А во время личных опросов сейчас всё чаще используются планшеты, которые автоматически фиксируют большое количество так называемых параданных - информации о ходе проведения интервью. Например, в какое время состоялась беседа, сколько она длилась, сколько занял ответ на каждый вопрос, GPS-координаты места интервью, его аудиозапись. Если беседа прошла слишком быстро или GPS-координаты не менялись, хотя должны были, мы сразу это увидим.
Валентина Сушко: Во-первых, мы всегда ответственно подходим к отбору интервьюеров, это не случайные люди, а, например, студенты социологических факультетов. Во-вторых, существуют специальные методы проверки, так называемый контроль поля. Респондентов, даже если опрос анонимный, просят дать номер мобильного телефона. И есть контролёры, которые после опроса обзванивают в случайном порядке респондентов, примерно каждого десятого. Если мы видим много брака - например, ответы в анкете и при проверке не совпадают или человек и вовсе говорит, что его не опрашивали, - это повод задуматься о добросовестности интервьюера. Бывает, что приходится аннулировать все его результаты и опросить заново такое же количество человек. За каждый опрос, любого уровня, мы отвечаем своей репутацией.
Где социологи находят респондентов на опросы?
После того как выборка описана, требуется найти нужное число людей с определёнными характеристиками.
Тимур Османов: Сначала случайным образом отбираются точки опроса (города, посёлки, сёла; районы; территории переписных или избирательных участков), в которых интервьюеры, следуя строгой процедуре, отбирают квартиры для проведения опроса, а в квартирах - респондентов. Для телефонных опросов есть возможность случайным образом отбирать любые из существующих в стране мобильных и домашних номеров. Это проще, чем ходить по квартирам, но в выборку не попадут люди без телефонов, а в России порядка 5% населения старше 18 лет не имеют ни мобильного, ни стационарного телефона.
Валентина Сушко: Если выборка специфическая - например, нужно что-то узнать о людях с высоким доходом, или о многодетных мамах, или о представителях какой-то профессии, - можно найти организацию, где вероятность встретить таких людей выше, и уже там подобрать респондентов под наши условия.
Как можно быть уверенным, что респонденты отвечают честно?
Социологи хоть и владеют методами проверки на искренность, не могут гарантировать честность каждого респондента.
Тимур Османов: Конечно, есть специальные техники проверки искренности респондентов и снижения сенситивности вопросов, например ICT - Item Count Technique. Но никакая методика не поможет вывести на чистую воду респондента, который целенаправленно обманывает интервьюера. Но, я думаю, таких всё же немного.
Валентина Сушко: В анкету можно добавить так называемые вопросы-ловушки. К примеру, в самом начале и в конце задать один и тот же вопрос, изменив формулировку. Если ответы не совпадут, значит, что-то тут не так. Помогает и математика. При обработке результатов с помощью статистических инструментов программа показывает подозрительную анкету. К тому же опытный интервьюер многое может понять по поведению респондента. Если тот ведёт себя странно, относится к опросу несерьёзно, меняет тему, процесс может быть прерван. Но людям особенно незачем обманывать. Опрос ведь анонимный, и если вопросы не затрагивают какие-то очень личные темы, респонденты обычно отвечают честно.
Платят ли респондентам за участие в опросах?
Тут всё просто: иногда платят, а иногда нет.
Тимур Османов: В подавляющем большинстве опросов вознаграждение не предусмотрено. Только небольшие подарки в качестве компенсации за потраченное время: ручки, блокноты, сувенирчики. Бывает, однако, что опросить нужно определённых людей - труднодоступную группу населения или, скажем, если проводится панельное исследование (несколько волн опросов одних и тех же респондентов, позволяющие отследить индивидуальную динамику ответов). В таких случаях мы нередко стимулируем к участию более ценными подарками или деньгами.
Валентина Сушко: Если это количественное исследование, короткая анкета на пять минут, то обычно не платят. Если же исследование качественное - интервью, фокус-группа, - респонденты получают вознаграждение. Ведь это час или два времени, а оно, конечно, стоит денег.