Відмінності в соціологічних даних

Передусім, багато відмінностей є ілюзорними і пов'язані з нерозумінням соціологічних рейтингів. Поки у мене не було сторінки у Фейсбуке, я не усвідомлював, наскільки часто люди порівнюють непорівнянне, зіставляють відсотки, розраховані для різних підстав, оскільки "і там і там рейтинги". Пам'ятайте анекдот?

"—Вода кипить при температурі 90 градусів.

—Товариш прапорщик, а у нас тут написано, що вода кипить при температурі 100 градусів.

—Зараз перевірю…Так, дійсно, вода кипить при температурі 100 градусів, а 90 градусів—це прямий кут"!

Значною мірою винні самі соціологи, оскільки не можуть домовитися про стандарти публікації рейтингів (тобто про деяких домовилися, але не про усіх), різні компанії продовжують публікувати різні показники. Але і споживачам інформації варто стежити за тим, щоб не плутати температуру кипіння з прямим кутом.

Які рейтинги публікують соціологи

Соціологи ставлять, наприклад, таке питання (з анкети КМИСа) : "Якби в найближче воскресіння проходили вибори у Верховну Раду України, взяли б ви участь в голосуванні? Якщо "так": Каким був би ваш вибір, якби у виборах брали участь такі - те партії? (список партій вручається респонденту). За результатами опитування можуть публікуватися, принаймні, три види рейтингів :1) відсотки по відношенню до усіх опитаних; 2) відсотки по відношенню до тих, хто прийде на вибори; 3) відсотки по відношенню до тих, хто прийде на вибори і визначився.

РЕЙТИНГ 1—відсоток тих, хто вибрав ту або іншу партію по відношеннюдо усіхопитаним. Це перше, що завжди оприлюднять (слава богу, хоч про це домовилися). Власне, це початкова інформація, це безпосередньо результати опитування, тобто те, що ми отримали від людей, це є правда сірячини або, як говорив Остап Бендер, вона ж посконная, домоткана і кондова. Це, можна сказати, технічні дані, вони потрібні для порівняння цих різних досліджень, щоб можна було перерахувати дані двох компаній і звести до єдиного знаменника, загалом, вони усім хороші, алевони не показують, які партії пройдуть до парламенту.Трактувати ці показники як відсотки, які партії отримають на виборахнекоректно, бо серед них великий відсоток тих, хто не прийде і тих, хто не визначився, наприклад, в даних КМИСа таких близько 50% (див. таблицю. 1, перша колонка з відсотками). А на виборах таких немає, там сума голосів рівна 100%, а не 50%, тобто ці відсотки в середньому в 2 рази менше, ніж на виборах, і якщо на них орієнтуватися, то до парламенту проходять лише дві партії—Тимошенко і Порошенко. У таблиці. 1 приведений цей рейтинг з нашого прес - релиза.

Помічу, до речі, що партія Рабиновича, не до ночі буде сказано, і в даних КМИСа, і в даних Центру Разумкова отримує 3,5%, відмінність 0. Але перш ніж аналізувати інші відмінності, повернемося до розрахунку рейтингів. Очевидно, що у виборах беруть участь далеко не усі, наприклад, явка на парламентських виборах 2014 року склала лише 52%.Якщо з теоретичної точки зору нас може цікавити думка усіх, то з практичною—лише тих, хто голосуватиме.

РЕЙТИНГ 2—відсоток по відношеннюдо тих, хто сказав, що голосуватиме.Це стандарт представлення даних Центру Разумкова або Фонду "Демократичні ініціативи". Рейтинг 2 (ця умовна назва) вже ближче до показників, які партії отримали б на виборах в найближче воскресіння, але в отриманих даних може бути ще 20–30% тих, хто не визначився (в даному випадку у КМИСА 22%), тобто сума відсотків голосів за усі партії складає 70–85%, а не 100 (в даному випадку 78%). Але на виборах рейтинги партій, по яких розраховують прохідний бал, в сумі складають 100%.Тобто в середньому при такому способі розрахунку усі відсотки можуть бути занижені на 15–30%, і якщо партія на виборах отримала б, скажімо, 6%, то при такому опитуванні і розрахунку рейтингу 2, він вийде менше 5%, і ми зробимо помилковий висновок, що вона не проходить до парламенту. Це може бути критичне для деяких партій. Центр Разумкова у своєму прес - релизе розраховує саме рейтинг 2, ми перерахували так само і дані КМИСа, хоча КМИС у своїх прес - релизах не використовує цей рейтинг (див. колонку 2 в таблиці. 1.)

РЕЙТИНГ 3.відсоток по відношеннюдо тих, хто сказав, що прийде і визначився з вибором.Це стандарт КМИС, який використовується вже багато років. Перевага—сума відсотків голосів, отриманих партіями, рівна 100, як і на виборах.Дійсно, ми запитуємо не про майбутні регулярні або дострокові вибори, а про думки респондентів зараз, в найближче воскресіння, це як би імітація виборів (інтерв'юер прийшов, і якщо ви не збираєтеся голосувати або не визначилися—ваш голос не враховується, як і на реальних виборах). Інтерв'юер навіть приносив з собою урну для голосування, і респондент, окрім відповіді на анкету—голосував (це є в прес - релизе, але ми ці рейтинги тут не розглядаємо, а розглядаємо тільки інформацію, порівнянну з інформацією Центру Разумкова). Цей рейтинг щонайближче до результатів виборів, якби вибори проходили в середині листопада.

Помітимо, що якщо, скажімо, партія "Громадянська позиція" Гриценко при розрахунку Рейтингу 2 не проходить до парламенту, то при розрахунку рейтингу 3—проходить, і це відповідає реальності на цей момент (зрозуміло, що якщо починаються вибори, результати можуть змінитися і, як мені здається, міняються у бік тих, у кого більше медіаресурс).

Помічу також наступне (дуже важливо!).Усі розрахунки статистичної погрішності вибірки соціологи дають лише по відношенню до Рейтингу 1,і тільки для цього типу рейтингу можна міркувати, чи є відмінність між двома партіями або кандидатами. Рейтинги 2 і 3 дають краще уявлення про можливі результати виборів, але має велику стохастичну погрішність, оскільки розраховані по меншій вибірці.Наприклад, вибірка КМИСа 2000 респондентів, а збираються прийти і визначилися лише 44%, тоді основа для розрахунку рейтингу—лише 880 респондентів, тому максимальна помилка для цих рейтингів буде не 3,3, а 5%.

Ну і, зрозуміло, усі рейтинги—повторюся—це деяка орієнтовна оцінкана момент опитування, а не прогноз результатів майбутніх виборів.

Так отне можна зіставляти рейтинги, розраховані по різних підставах!Це безглуздо. На жаль, різні компанії дають різні рейтинги: КМИС—рейтинг 1 і 3, ЦР—рейтинг 1 і 2. Ну не змогли ми домовитися, не змогли! У кожного свої аргументи. Але, принаймні, домовилися завжди давати рейтинг 1, тому саме для нього коректне зіставлення і коректні приведені помилки. Тому дані різних компаній можна порівнювати по рейтингу 1.І якщо хочете—можна перерахувати інші рейтинги (але тоді перерахувати і помилки). У будь-якому разі порівнювати треба одні і ті ж показники, рейтинги одного і того ж типу.

Наскільки відрізняються результати КМИСа і ЦР

Тепер ми можемо перейти до відмінностей в рейтингах КМИСа і Центру Разумкова. У - перших, з приводу партії Рабиновича, відносно якої мене терзають ще з вересня, коли за нашими даними (до речі, нашого власного опитування, а не опитування замовника) ми отримали її рейтинг 2% (по відношенню до усіх), що при перерахунку в рейтинг 3 означає, що вона має шанси пройти до парламенту. Після цього були опубліковані ці компанії "Рейтинг", де ця партія мала 3%, і опубліковані нинішні дані (см.табл. 2, порівнювати можна лише рейтинг 1) де і у КМИСа, і у ЦР партія отримала 3,5%.У КМИСа і у Центру Разумкова немає відмінностей з питання про проходження партії Рабиновича до парламенту, дані повністю співпадають.Про це ж говорили наші вересневі дані і ці компанії "Рейтинг". Подобається це кому - або або ні, але якби вибори були в середині листопада, то партія Рабиновича з великою вірогідністю опинилася б в парламенті.

Взагалі ж кажучидля зіставлення результатів необхідно, щоб списки партій в різних опитуваннях співпадали. Сам список партій, поки не почалася передвиборна кампанія і не закінчилася реєстрація, є деякою гіпотезою. Соціологи (чи їх замовники) повинні припустити, які партії братимуть участь, а які немає. І чим більше партій з одного електорального поля, тим менше рейтингу кожної з них. Різні набори партій дають різні рейтинги.Іноді політичні сили вставляють в анкету по декілька наборів, включаючи неіснуючі партії, щоб перевірити, що буде, якщо які - те партії об'єднаються в один блок або такий - те політик створить свою партію. І доки не закінчена реєстрація партій, усі такі набори, усі такі списки партій мають право на існування.

Проблема соціологів полягає в тому, що політичні сили використовують ці дані не лише для внутрішнього вживання, для розробки своєї стратегії або тактики, а хочуть використати соціологічні дані для піару. По усіх і міжнародним і українським законам Замовник, що сплатив опитування, є повним власником інформації, він може вибірково публікувати ту інформацію, яка йому подобається, результати того списку, де його політична сила краще виглядає. Замовникам КМИСа більше подобається один список, замовникам ЦР—інший.

За даними КМИСа (див. таблицю.1) "Батьківщина" отримує 8,4% електоральної підтримки, а за даними Центру Разумкова—дещо більше: 9,1%, тобто по партії Тимошенко відмінності незначимі. А ось по блоку Порошенка у КМИСа 5,8%, а у ЦР—9,5%, тобто більше на 3,7 процентних пункту, ця значима відмінність. Чому? У списку КМИСа на 7 партій більше, і є ще пункт "зіпсую бюлетень", ці партії можуть "відкушувати" що - те від рейтингу блоку Порошенка (особливо УДАР і "партія Гройсмана", разом 2%, і якщо їх додати до рейтингу блоку Порошенка, то відставання від "Батьківщини" буде лише в 1,3 процентних пункту). Але головні відмінності наших даних—у ЦР на 11% менше за тих, що не визначилися, з цих відсотків що - те додалося до рейтингу Порошенку.У КМИСа питання про вибори стояли на початку анкети, у ЦР—після питань про довіру до соціальних інститутів і політиків, що могло "розігріти" респондентів, дати час подумати над довірою до політиків і зменшити число ЦР, що не визначилися в результатах.

Резюме.У даних двох центрів про парламентські вибори немає драматичних відмінностейсмішно говорити, що за даними ЦР перемагає блок Порошенка, коли він випереджає "Батьківщину" на 0,4%, при помилці в 2%.Якщо список партій, що беруть участь у виборах, буде ближчий до списку КМИСа, то "Батьківщина" набере дещо більше, ніж блок Порошенка, а якщо ближче до списку ЦР—вони наберуть приблизно порівну. І ті і інші дані правильні, питання в тому, який список виявиться ближчий до реальності, коли пройдуть вибори.

Гірше йдуть справи з президентським рейтингом, але тут порівнянність списків ще нижча, співпадають лише 8 кандидатів з 14, при строгому професійному підході зазвичай таке не порівнюють (див. таблицю. 3, приведений, зрозуміло, лише рейтинг 1).

Тут в список КМИСа наш замовник чому - те вже не вставив Гройсмана і Кличка, та зате вони є в списку Центру Разумкова. Зате в списку Центру Разумкова немає Рабиновича, але є Тягнибок і Ярош (хоча на попередніх виборах Рабинович отримав більше, ніж Тягнибок і Ярош разом узяті). Передусім хочу відмітити, що Рабинович зовсім не зайняв 3 - е місце, як писали ЗМІвідмінності з 3 по 6 місць незначимі. Для чого ми усюди пишемо помилку вибірки, чому ніхто не звертає на це уваги?! Рабинович розділив з 3 по 6 місце з Гриценко, Ляшко і Бойком.

Максимальні відмінності в наших даних по пункту "інша партія" (13%!) і "не визначилися" (7,8%), на цьому фоні відмінності по Тимошенко (2,1%) і Порошенку (3,4%) не виглядають такими вже великими, проте проблема в тому, що вони спрямовані в різні боки. Можливими причинами розбіжностей, окрім вказаних вище, можуть бути особливості вибірки. У КМИСА Донбас входить у вибірку тільки пропорційно контрольованій частині Донбасу, а ЦР бере Донбас в тій пропорції, в якій він був до війни (мотивація—це єдино достовірні дані, мені здається, що це неправильно, хоча це питання дискусійне). Зрозуміло, відмінності долі Донбасу удвічі в наших двох опитуваннях вносить відмінності в рейтинги.

Проте у будь-якому разі для президентських виборів головне—хто проходить в другий тур, тут і ті і інші дані повністю співпадають: в другий тур виходять Порошенко і Тимошенко.Чому - те прийшов в голову похмурий анекдот про чукчу, якого велика біла людина найняла в провідники : він приїхав ловити рибу. Сидять вони з вудками у лунки і раптом вдалині помітили білого ведмедя, що біжить до них. Чукча схопився і став надівати лижі. Велика біла людина йому говорить:

—Все марно, невже ти думаєш, що зможеш бігти швидше за ведмедя?

—А мені, проте, і не потрібно бігти швидше за ведмедя. Мені потрібно бігти швидше тебе!

Так от, нам, соціологам, неважливо, хто там у нас біжить третім або четвертим, нам важливо правильно визначити перші два місця, ясно, що Порошенко і Тимошенко виходять в другий тур зі значним відривом від інших. І якби у ЦР були дані про результати другого туру, то в другому турі у нас були б повністю порівнянні однакові списки і можна було б говорити, чи дають соціологи різні результати.

Завершуючи сказане, скажу, що ситуація сильно драматизується. Частково в цьому винні самі соціологи: не можемо домовитися про стандарти. Частково це проблеми вибіркової публікації даних замовниками, які дозволені документами, що регламентують соціологічну діяльність (ми не приймаємо від замовників "наштовхуючі" питання або їх послідовність, для цього є спеціальні стандарти, але нічого не можемо зробити з вибірковою публікацією вигідних даних і замовчуванням невигідних). Це дозволені дії, але вони знижують довіру до нас, відбиваються на нашій репутації. Проте, багато в чому, це і проблема низької соціологічної культури не лише населення в цілому, але і журналістів, політиків, активних користувачів Фейсбука.Це подвійне відношення до соціології (точніше, до полстерам, складовим лише невелику частину соціології)—з одного боку, до соціологів відносяться з підозрою і недовірою, з іншою—абсолютизують дані вибіркових опитувань, ігноруючи навіть заявлені соціологами стохастичні погрішності (а вони, як правило, більше за заявлених, оскільки не враховують дизайн - ефект і систематичні помилки). Ну і, звичайно, ця наявність шахраїв і нефахових організацій, що претендують на проведення соціологічних досліджень. Тому будь-яка нова тенденція, виявлена нами, викликає, передусім, не думку про можливі помилки, а підозри в корупції (а коли ця тенденція стає вже очевидною, то нікому не спадає на думку вибачитися за висловлені підозри).

Володимир Паниотто Дзеркало тижня