538 vs Unskewed Polls

[kireev]

Я бы хотел написать о двух людях. Первый многим знаком - это Нэйт Сильвер, создатель сайта 538. Второй это Дин Чамберс, создатель сайта Unskewed Polls.

Эти выборы явились прямо звездным часом Сильвера. Его прогнозы были сильны и раньше, но сейчас он просто попал в точку. Даже  в последний момент вероятность победы Обамы во Флориде стала чуточку больше 50% и он действительно там победил с отрывом в 0.5%. Я думаю не только мне, но и другим людям, которым интересны опросы и статистика, было все эти месяцы просто невероятно интересно читать этот блог.



При этом Сильвер подвергался критике. Основные направления тут были два. Первое: откуда у Обамы может быть такая высокая вероятность победы? Откуда такой разрыв в голосах, если общенациональные опросы показывают равенство?  Причины непонимания были разные. Иногда банальное непониманием статистики. Такое часто встречается даже у образованных людей: в моем только блоге дикие примеры встречались неоднократно. Что, кстати, мне напоминает о толковом предложении учить статистике в школе, потому что это как раз то, что в жизни может пригодиться. Иногда непонимание было вызвано тем, что общенациональные опросы не учитывают то, что президент избирается коллегией выборщиков, и даже при равенстве по общнециональным опросам у Обамы было просто больше геогрфаических путей к достижению необходимых для победы 270 голосов выборщиков. Другая причина: Нэйт Сильвер уделял большое внимание опросах в штатах. Они ведь тоже дают представление об общенациональной популярности кандидатов, если таких опросов много. А их было просто невероятно много. И опросы в штатах отличались на этот раз от общенациональных опросов тем, что показывали лучшую ситуцию для Обамы, чем для Ромни. Если смотреть только на общенациональные опросы, то Обама выигрывал у Ромни с отрывом может быть в 1%, а если на опросы по штатам, то где-то на 2.5 - 3%. В последний раз такое было в 2000 г. Опросы в штатах показывали равенство между Гором и Бушем. А общенациональные опросы показывали преимущество Буша 2-3%. Более верную картину показали в тот раз опросы по штатам: Гор во многом тогда сенсационно даже с минимальным отрывом выиграл popular vote. Сейчас тоже опросы по штатам были несколько точнее. Это не значит, что надо использовать только их, а не общенациональные опросы. Но важно понять, что они имеют не менее важное значение в определении общенациональных тенденций, как и общенациональные опросы. Этот тезис Сильвера блестяще подтвердился на этих выборах. Но если смотреть только на общенациональные опросы, да еще на опросы, которые выбирает RealClearPolitics, одбрасывая часть опросов, которые почему-то чаще более благоприятны для демократов, то создавалось впечатление равенства шансов Обамы и Ромни, а то и преимущества Ромни. Поэтому такая высокая вероятность победы Обамы при опросах которые вроде как показывают другое, вызывало недоумение и даже подозрения.

Второе направление атак: Сильвер - гомосексуалист и либерал. Понятное дело, его статистика работает в пользу Обамы. Да, я такое реально читал. Люди, которые так говорили, на мой взгляд, и тогда и тем более сейчас просто сгореть от стыда. Нэйт Сильвер поднял объективность анализа на какой-то новый уровень. Во-вторых, он сам опросы не придумывает, он их лишь статистически обрабатывает. Хотя, есть и некотие фундаментальные основы более долгосрочных прогнозов. Скажем, он как-то писал, что экономические показатели должны дать перевес инкумбенту в 3%. Правда, при приближении даты выборов экономическая составляющая прогноза уменьшалась вплоть до нуля к дню выборов и увеличивалась опросная составляющая прогноза вплоть до 100% к дню выборов. Учитываться и история опросов: у кого-то больше демократический уклон, а у кого-то больше республиканский.

Плюс, Сильвера явно недолюбливали некоторые политические комментаторы, потому что по сравнением с ним они действительно выглядят шарлатанами. Некоторые, как Джо Скарборо и Дэвид Брукс вообще отвергали идею, что статистические модели могут что-то нам сказать об этих выборах. Особенно запонился случай с ведующим политического ток-шоу Джо Скарборо, который сказал:
JOE SCARBOROUGH (10/23/2012): Nate Silver says this is a 76.3% chance the President's going to win? ... Anybody that thinks that this race is anything but a tossup right now is such an ideologue, they should be kept away from typewriters ... because they're jokes.
На что Сильвер просто ответил: All you have to do is take an average, and count to 270. It's a pretty simple set of facts. I'm sorry that Joe is math-challenged.

Мне бы хотелось сравнить сайт 538 и другой сайт, который в последнее время перед выборами получил некоторую известность http://unskewedpolls.com/ Это наглядная демонстрация разницы между человеком, который занимается настоящим, профессиональным и объективным анализом реальности, и человеком, который создает для себя и для других людей свою, альтернативную реальность, которая им больше нравится. Весь сайт, название которого можно перевести как “неперекошенные опросы" построен на неверной идее, что опросы намеренно включали в выборку много демократов, что неименуемо создавало перевес Обаме. Это просто не так, как основная масса опросов лишь взвешивает выборку по демографческим характеристикам: пол, раса, возраст и т.д., коим партийное самоопределение не является, так как люди его сами для себя определяют и по своему желанию меняют. Автор сайта Дин Чамберс спокойно брал опросы, смотрел какой там перевес у демократов, сам решал, что такого быть не может, вычитал лишний процент демократов и соответственно перекос в пользу Обамы, и приходил к “настоящему” результату. Мне даже было интересно как он будет после выборов выкручиться. Но спасибо хоть он признал, что ошибался, а Нэйт Сильвер был прав. Это же целый сайт, тысячи цифр, недели скрупулезной работы... спокойненько берем, сворачиваем и опускаем в мусорное ведро. Спасибо большое за то, что все это время морочил тысячам людей голову.

Какие из всего этого выводы? Я бы сделал два. Во-первых, статистика и выборы совместимы. Я сам постоянно использую цифры и статистику в анализе результатов выборов и фальсификаций в России. Поэтому разумеется мои симпатии тут были на стороне Сильвера. Второй вывод: "You can evade reality, but you cannot evade the consequences of evading reality". Ayn Rand.

Comments

[revoltp.livejournal.com]

Статистика- не мой интерес,я много тут не знаю. Но все же знаю:отрыв 0.5 процентов не может быть предсказан. всякое совпадение здесь - дело случая и не имеет отношения к мастерству социолога.

[geneus.livejournal.com]

>Но все же знаю:отрыв 0.5 процентов не может быть предсказан

Обоснуйте

[revoltp.livejournal.com]

Границы статистической погрешности.

[kireev.livejournal.com]

Так он и не предсказал, что Флорида точно проголосует за Обаму. Этого действительно невозможно было знать точно. Но вероятность вычислена чуть более 50%, что уже говорит о том, что эта вероятность соотвествовала полученному результату.

[revoltp.livejournal.com]

совпадение.Если бы его вероятность была чуть меньше 50 процентов - он не стал бы худшим "предсказателем".

[milchar]

Странно, что Нью-Мексико настолько демократический штат, а Индиана настолько безнадёжно республиканская. Вы случайно не знаете -- чем это объясняется?

[geneus.livejournal.com]

Достаточно посмотреть на жителей Индианы, чтоб понять, что они - республикацы :-))

[kireev.livejournal.com]

В Нью-Мексико более 40% латинос. А Индиана не такой уж прямо и республиканский штат. Даже за Обаму в 2008 г. проголосовал. А белые там не многим более республиканские чем в целом по стране.

[milchar]

Т.е. в принципе оба штата -- колеблющиеся, и окончательный результат от каких-то текущих событий зависит (проблемы с экономикой, сложные отношения республиканцев с мексиканцами и т.п.)?

[geneus.livejournal.com]

Спасибо.

Я тоже пользовался как сайтом Силвера так и Haffington Post и немножко обошел Вас в нашем конкурсе по штатам (хотя все мы недооценили Обаму, никто не переоценил).

Последняя наглая просьба: я уже подвел итоги, не могли бы Вы их перепостить?

[kireev.livejournal.com]

Ок!

[soglyadataj.livejournal.com]

Гэллап - единственный, кто промазал в понедельничном опросе (кроме Расмуссена, который как я понял, совсем ни о чем). Извините за просветительский вопрос - давно так "низко пал секам"?

[kireev.livejournal.com]

Вы бы лучше меня просветили про выражение "низко пал секам" - я его никогда даже не слышал.

[soglyadataj.livejournal.com]

Интернет утверждает, что источник - квн-овская штука середины 90-х. Сейчас - сплошь и рядом присказка в ситуации, когда что-то знаменитое, с приличной репутацией замечено в чем-то нехорошем, или - как в данном случае - непрофессиональном. Наверно, чуть более точная присказка для данной ситуации давно ли "стал промахиваться Акела":)

[temur25.livejournal.com]

В США хоть данные неверных опросов/экзит-поллов судорожно не удаляют, как кое-кто) Но методика Чамберса конечно лоставляет))

[kireev.livejournal.com]

Зато в этот раз нет экзит-полов по всем штатам ((

[temur25.livejournal.com]

http://edition.cnn.com/election/2012/results/state/AL/president
А здесь разве не все штаты есть?

[chaotickgood.livejournal.com]

Человек на второй фотографии похож на Милонова )

[kireev.livejournal.com]

:)))

О мракобесии

[livejournal.livejournal.com]

User yakov_a_jerkov referenced to your post from О мракобесии (http://yakov-a-jerkov.livejournal.com/683243.html) saying: [...] , что-то мутят, что нельзя им доверять, они ангажированы. У 'a хорошая подробная запись об этом [...]

[tymofii.livejournal.com]

очень поучительно
имхо, на уровне легенды о молодом Геллапе

[barouh.livejournal.com]

По сути, единственное мало-мальское непопадание Сильвера - оценка вероятности победы Обамы в Огайо выше, чем в Айове, Колорадо и Вирджинии.
Я был уверен, что Обама в Огайо получит меньше, чем в Айове и Колорадо, и даже меньше, чем в Вирджинии. Так и вышло. Так что "уверенность" Сильвера в победе Обамы в Огайо удивляет

[kireev.livejournal.com]

Только в Огайо еще не подсчитана целая куча абсентии бюллетеней. А в них у Обамы большое преимущество. Так что в Огайо отрыв Обамы еще может прилично увеличиться. Хотя до Колорадо и Айовы вряд ли дойдет.

[yaceya.livejournal.com]

Главное непопадание Сильвера в том, что Огайо оказался не tipping point выборов, а оказалось Колорадо, как и 4 года назад. О чём он и сказал.
О том какой будет финальный разрыв по голосам мы ещё узнаем. Но опросы дают и возможность ошибки, конечно.

[kireev.livejournal.com]

Справедливости ради, вероятность того, что Огайо станет типпинг поинт была 50%. Плюс, там еще куча абсентии баллотс не подсичитана, а они должна увеличить разрыв в голосах.