Был ли опрос LA Times лучшим на этих выборах?

[kireev]

Я понимаю почему некоторых раздражает, когда я говорю, что невозможно анализировать результаты президентских выборов в США, искать их причины, если забывать о том, что Клинтон набрала больше голосов, чем Трамп. Никто не спорит, что для определения победителя есть электоральный колледж, а не popular vote, и я не ставлю под сомнение легитимность Трампа. Но я покажу прекрасный пример того, почему невозможен анализ результатов выборов без анализа результатов голосования избирателей.

У меня в комментах спрашивают:  "Вы комментировали опрос la times, который как скала единственный предсказал победу трампа?" Во-первых, не совсем единственный, еще опрос IBD/TIPP дал Трампу +2% (4-way, правда Клинтон +1% без третьих кандидатов). Смотрю передачу The Kelly File на Fox News: Мегин Келли говорит, что опрос LA Times единственный предсказал победу Трампа.

Да нет же, все с точностью до наоборот: опрос LA Times единственный (не считая  IBD/TIPP, результаты которого можно трактовать в любую сторону), который не смог предсказать победу Клинтон в голосовании избирателей.  Общенациональные опросы же предсказывают победителя в голосовании по стране. Это исходя из опросов по штатам еще можно делать прогнозы на победителя в электоральном колледже, но не из общенациональных опросов. Опрос LA Times был в буквальном смысле одним из худших, а не лучших. Он дал Трампу +3.2%. У Клинтон перевес над Трампом уже более 1%, и еще будет расти, но почти наверняка не дойдет до 2%. Но ошибка у этого опроса будет до 5%! Из всех опросов, которые были проведены в последнюю неделю хуже разве что будет NBC News/SM. А лучшим будет либо McClatchy/Marist, давший Клинтон +1%, либо Rasmussen, давшей ей +2%.

Comments

[jim-garrison.livejournal.com]

"Вы к чему этот комментарий написали? "
---
Поиронизировать.


"Во-вторых, Вам есть что возразить по поводу того, что написал я?"
---
Есть. Качество прогноза нужно определять по прогнозам голосований по штатам.
Если есть, грубо говоря, пять штатов, которые решили судьбу выборов, то нужно смотреть какие, опросы и что давали в этих штатах.

P.S. Я тут вместо слова "опрос" употребляю "прогноз" и наоборот, в данном случае так можно.

[kireev.livejournal.com]

Разумеется опросы по штатам и были наиболее важны для определения победителя выборов и в электоральном колледже. Но речь же не о них, а об общенациональных опросах. Для определения того, какие из общнациональных опросов были ближе нужны результаты popular vote по стране.

[jim-garrison.livejournal.com]

Это неверный подход. Опрос может сильно ошибаться по сравнению с другим по popular vote по стране, но если он дает более верный расклад по проблемным штатам, то он лучше. Гораздо.

С учетом того, что, как утверждается, Трамп бросил кампанию в бесперспективных, но больших штатах, то popular vote по стране - нерелевантен, а вот ситуацию в проблемных штатах такой прогноз дает. И этим можно пользоваться.

[kireev.livejournal.com]

=Это неверный подход. Опрос может сильно ошибаться по сравнению с другим по popular vote по стране, но если он дает более верный расклад по проблемным штатам, то он лучше. Гораздо. =

Да нет, же Вы ошибаетесь. В таких опросах просто недостаточно выборки для определения победителей по штатам. В общненациональном опросе нормальная выборка - тысяча человек, то такой опрос не может дать очень хорошую картину для каждого отдельного из 50 штатов, да еще очень разных по населению. Для этого и есть опросы по штатам.

=С учетом того, что, как утверждается, Трамп бросил кампанию в бесперспективных, но больших штатах, то popular vote по стране - нерелевантен, а вот ситуацию в проблемных штатах такой прогноз дает. И этим можно пользоваться.=

Вы вообще знакомы с американской политикой? За несеровновательные штаты кандидаты и не сражаются. Вне зависимости от численности их населения. И Клинтон не сражалась за Калифорнию и Нью-Йорк.

[jim-garrison.livejournal.com]

Ну, значит опросы popular vote по стране, в принципе, малоосмысленное занятие, имеющее столь малое отношение к реальности, что попадание/непопадание в пределах нескольких процентов туда-сюда никакого значения не имеют.

[kireev.livejournal.com]

Они действительно как минимум при близких показателях у кандидатов не предсказывают победителя. Хотя при значительном отставание по стране и в электоральный колледже выиграть невозможно. Да и вообще совсем бесполезными их тоже назвать нельзя. Ведь есть и интересные общенациональные тенденции. Да и вообще людям интересно общественное мнение в стране, а не только по штатах. Многие американцы вообще толком не понимают электоральный колледж.

[scabon.livejournal.com]

В принципе это верно. Однако на протяжении длительного времени считалось, что национальные опросы, которые проводят большие фирмы с глубокими карманами и большим опытом, дают возможность быстро и относительно точно показать, в какую сторону и насколько смещаются предпочтения избирателей по стране. А потом, мол, через несколько дней, когда будут проведены опросы в соревновательных штатах, результаты этих опросов покажут, что предпочтения местных избирателей тоже сдвинулись в эту же сторону.

Однако опыт 2012-го года, когда национальные опросы показывали, что Ромни и Обама идут вровень, а опросы по штатам показывали ощутимый перевес у Обамы, продемонстрировали, что национальные опросы не всегда правильно предсказывают даже процентный расклад, так как Обама победил с перевесом в 3,9%. После этого самая известная фирма, Gallup, перестала публиковать результаты опросов о предпочтениях избирателей на президентских выборах. А в 2016-м году национальные опросы ошиблись несколько меньше, но зато опросы по ряду самых важных штатов -- таких как Мичиган и Висконсин -- дали совершенно неверный результат.

Вообще тут есть много чисто технических проблем. Например, вот цифры одной из ведущих фирм Pew Research Center:

Процент домохозяйств, где фирме удалось войти с контакт с взрослым:
1997: 90
2000: 77
2003: 79
2006: 73
2009: 72
2012: 62

Процент "контактированных", которые дали интервью:
1997: 43
2000: 40
2003: 34
2006: 31
2009: 21
2012: 14

Процент домохозяйств, где удалось войти в контакт и где дали интервью:
1997: 36
2000: 28
2003: 25
2006: 21
2009: 15
2012: 9

Так что за 15 лет процент успешно проведённых интервью упал с 36% до 9%. Это затрудняет работу агентств по опросу общественного мнения и делает их более зависимыми от используемых ими моделей.

[kireev.livejournal.com]

Интересные цифры, а можно ссылку?

[scabon.livejournal.com]

http://www.people-press.org/2012/05/15/assessing-the-representativeness-of-public-opinion-surveys/

[scabon.livejournal.com]

Добавил URL, который был классифицирован как "spam".

[kireev.livejournal.com]

Открыл, спасибо!

[jim-garrison.livejournal.com]

Спасибо.

"Так что за 15 лет процент успешно проведённых интервью упал с 36% до 9%."
---
Интересно, что "плюс-минус лапоть " оно работает, то есть люди делают эту не очень нужную работу качественно.

[scabon.livejournal.com]

Они, конечно, стараются, так как это их профессия и им за это деньги платят, особенно тем, кого нанимают кандидаты, старающиеся понять, чего хотят разные избиратели. Потом кандидаты эту информацию используют для того, чтобы скорректировать свои позиции по разным вопросам и оптимизировать расходы.

Проблема тут в том, что при таком низком проценте отвечающих на опросы сильно возрастает роль моделей. Те 9%, которые отвечают на звонки, могут быть нерепрезентативны. Например, среди них может быть непропорционально высокий процент пенсионеров и безработных. Поэтому приходится создавать модель, описывающую то, как именно множество респондентов отличается от множества избирателей на основании возраста, партийной принадлежности, расы и т.д. Кроме того, надо попытаться предсказать, кто из избирателей пойдёт на выборы, а кто не пойдёт. У каждой фирмы своя модель, поэтому и предсказания разнятся.

Выборы 2012-го года показали, насколько неадекватны бывают эти модели. Вышеупомянутая фирма Gallup, самая известная американская фирма, занимающаяся опросами много десятилетий, подсчитала, что среди опрошенных ею зарегистрированных избирателей 46% поддерживало Ромни и 49% поддерживало Обаму. Иными словами у Обамы был перевес в 3%, что было близко к его реальному перевесу на выборах - 3,9%. Но когда сотрудники Gallup'а ввели эти цифры в свою модель, то модель им сказала, что после всевозможных поправок Ромни лидирует с перевесом в 1%. То есть модель им не только не помогла, а помешала правильно интерпретировать данные. После этого фиаско фирма Gallup подняла лапки вверх и сказала, что она не будет публиковать результаты опросов о президентских предпочтениях избирателей, пока её сотрудники не создадут новую, более адекватную, модель. Пока так и не создали...

[secondary-tea.livejournal.com]

Но ведь, наверняка, других опросов Гэллапа это касается еще в бОльшей мере, чем опрос по выборам президента

[scabon.livejournal.com]

Если опрос спрашивает не о том, как респонденты собираются голосовать на выборах, а об их отношении к тем или иным вопросам -- например, стоит ли легализовать марихуану -- то это снимает вопрос о том, кто пойдёт на выборы, а кто не пойдёт, что упрощает задачу. Да и если такой опрос ошибётся на пару процентов, то это не будет таким фиаско, как неправильное предсказание результатов выборов президента США.

[akor168.livejournal.com]

Впечатляет, однако. А как объясняют падение желания разговаривать аж в 4 раза всего за 15 лет. Это же суперфеномен, об этом кричать должны.

[scabon.livejournal.com]

Да, вопрос неоднократно поднимался. Например, известный публицист Арианна Хаффингтон ещё в октябре 1998-го (!) года писала, что "It's no wonder that the mushrooming number of opinion polls, coupled with the outrageous growth of telemarketing calls, have led to a soaring refuse-to-answer rate among people polled" (The New York Post, October 13, 1998, p. 27). В специальной литературе этому вопросу посвящены статьи, главы в книгах и т.д.

Что касается причин, то я не знаток этих вопросов, но, насколько мне известно, обычно среди них в первую очередь называют технические причины: распространение сотовых телефонов, технологий вроде caller ID, call screening и т.п.

[leonid8.livejournal.com]

Вот по ряду этих штатов не было опросов в последнее время. Только НХ.

[kireev.livejournal.com]

По каким конкретно не было?

[leonid8.livejournal.com]

Nate Silver говорил о Висконсине, к примеру. С другой стороны, он говорил, что все эти результаты опросов по штатам связаны между собой, то бишь звоночек в НХ относился не только у НХ.

[kireev.livejournal.com]

Не то что бы в Висконсине их не было. http://www.realclearpolitics.com/epolls/2016/president/wi/wisconsin_trump_vs_clinton-5659.html Их было мало, но ИМХО дело не в этом. В Пенсильвании их было много и прямо перед выборами, а все равно ошиблись. То есть тут дело явно не в том, что опросов было мало и мало свежих опросов. Просто опросы ошибались прилично и особенно в таких штатах.

[max-dnepr.livejournal.com]

В Пенсильвании как раз последний опрос показал лидерство Трампа (как и в Мичигане).

[kireev.livejournal.com]

Просто Trafalgar Group опросил этот штат. Он везде давал очень благоприятные опросы для Трампа, одни верные, другие нет, скажем, в Неваде он дал Трампу +5%, в Колорадо Клинтон всего +1%. То есть тело тут в этом полстере, а не конкретно в Пенсильвании или Мичигане.

[max-dnepr.livejournal.com]

Я тоже подумал, когда увидел их опросы, что они завышают республиканцам, но судя по итогам - возможно, проблема не в них, а в том, что остальные завышают демократам?

Все же предсказать такие штаты как Мичиган и Пенсильвания, вопреки ВСЕМ остальным опросам - очень нетривиальная задача. (Часто полстеры корректируют сами себя, подстраиваясь под остальных, если видят что-то из ряда вон).
Ошибка в Неваде на этом фоне уже не столь критична, все где-то ошибаются (кстати, не вижу их опроса в Неваде (http://www.realclearpolitics.com/epolls/2016/president/nv/nevada_trump_vs_clinton_vs_johnson-6004.html), но там был боевой штат, многие давали победу Трампу), а минимальная погрешность в Колорадо (вместо итоговых +2.9) - это и не ошибка вовсе, почти точное попадание. Нельзя ждать от опроса больше, чем он может дать.

[saccovanzetti.livejournal.com]

Самый точный по штатам был PPD Keystone State Battleground Poll. Но он почему-то не аггрегируется когда все опросы вместе складывают.

"Donald Trump took 48.4% of the vote in Pennsylvania to Hillary Clinton’s 47.8% in our last poll. The final results: Trump 48.8%, Clinton 47.6%. In Michigan and Wisconsin, the final PPD Battleground State Polls released on the same day found tied races also leaning to the Republican nominee by less than 0.5%."