Был ли опрос LA Times лучшим на этих выборах?

[kireev]

Я понимаю почему некоторых раздражает, когда я говорю, что невозможно анализировать результаты президентских выборов в США, искать их причины, если забывать о том, что Клинтон набрала больше голосов, чем Трамп. Никто не спорит, что для определения победителя есть электоральный колледж, а не popular vote, и я не ставлю под сомнение легитимность Трампа. Но я покажу прекрасный пример того, почему невозможен анализ результатов выборов без анализа результатов голосования избирателей.

У меня в комментах спрашивают:  "Вы комментировали опрос la times, который как скала единственный предсказал победу трампа?" Во-первых, не совсем единственный, еще опрос IBD/TIPP дал Трампу +2% (4-way, правда Клинтон +1% без третьих кандидатов). Смотрю передачу The Kelly File на Fox News: Мегин Келли говорит, что опрос LA Times единственный предсказал победу Трампа.

Да нет же, все с точностью до наоборот: опрос LA Times единственный (не считая  IBD/TIPP, результаты которого можно трактовать в любую сторону), который не смог предсказать победу Клинтон в голосовании избирателей.  Общенациональные опросы же предсказывают победителя в голосовании по стране. Это исходя из опросов по штатам еще можно делать прогнозы на победителя в электоральном колледже, но не из общенациональных опросов. Опрос LA Times был в буквальном смысле одним из худших, а не лучших. Он дал Трампу +3.2%. У Клинтон перевес над Трампом уже более 1%, и еще будет расти, но почти наверняка не дойдет до 2%. Но ошибка у этого опроса будет до 5%! Из всех опросов, которые были проведены в последнюю неделю хуже разве что будет NBC News/SM. А лучшим будет либо McClatchy/Marist, давший Клинтон +1%, либо Rasmussen, давшей ей +2%.

Comments

[affidavid.livejournal.com]

Целью всех опросов было максимально точное предказание победителя на выборах, и все опросы стремились именно к этому. Поэтому величина Х для всех была совершенно одинаковой.

[kireev.livejournal.com]

Во-первых, с чего Вы взяли, что у них такая цель? Во-вторых, то, что они делают и заявленная Вами цель - явно не совпадают. Они измеряют общенациональные предпочтения избирателей. Победа в этих предпочтениях может совпадать или не совпадать с победителем на выборах. Поэтому это именно что разные величины.

[affidavid.livejournal.com]

С того, что LAT не торгует семечками и не пишет академические статьи. Их главная цель - привлечение внимание и укрепление собственной репутации. То, что они верно предсказали победителя выборов запомнится и принесет им вполне реальные доходы. Безупречно выполненная академическая работа предсказывающая общенациональный процент голосов может заинтересовать считанное количество людей, и не принесет LAT ни копейки.

[kireev.livejournal.com]

Да, запомнится, но это не то, что они измеряли. Они не измеряли поддержку кандидатов в электоральном колледже. Они измеряли поддержку кандидатов именно в popular vote. Они просто случайно попали в результат в электоральном колледже, просто потому что у них оказалась больше ошибка в нужную сторону.

[affidavid.livejournal.com]

Они очень хотели предсказать победителя выборов, результаты их опросов были очень стабильны день ото дня, что исключает случайную ошибку в опросах. Они сильно отличались от почти всех остальных опросов. И правильно предсказали победителя выборов. Разумеется, совершенно случайно, просто им повезло. Я правильно излагаю вашу позицию?

[kireev.livejournal.com]

В ряде пунктов да, в ряде пунктов - нет. Они хотели предсказать победителя выборов - верно. Но их опрос измерял popular vote, а не электоральный колледж, то есть он измерял другую величину, нежели ту, которая важная для определения победителя выборов. Их опросы не были стабильно ото дня в день, а нормально варьировали - см график http://cesrusc.org/election/ Их опросы правильно предсказали победителя выборов и да, им случайно повезло, потому что это не то, что они измеряли.

[affidavid.livejournal.com]

Их целью было предсказать победителя выборов - именно это главный приз. Это были квалифицированные люди, которые прекрасно знали, чем отличается процент голосов от электорального коледжа, и старались предсказать победителя по результатам опроса специально выбранных групп населения. Когда вы измеряете расстояние до какой-нибудь галактики вы тоже меряете эту величину не напрямую.
Вы говорите, что их методология отбора групп привел к правильным результатам совершенно случайно. Но методологии отбора вы не знаете. То, что известно, что эта методология сильно отличалась от других поллстеров видно из намного больших отличий из резултатов от других поллстеров по сравнению с их собственными вариациями.

[kireev.livejournal.com]

Почему Вы считаете, что их методология неизвестна? Она тут детально описана http://cesrusc.org/election/ Я ее прочитал и там нет ничего о том, что бы мне говорило, что они опрашивали только соревновательные штаты. Это совершенно точно общенациональный опрос, который не может спрогнозировать расклад в электоральном колледже. Более того, он этот расклад, собственно, даже близко и не спрогнозировал, просто правильно угадал победителя. Причем, именно угадал, потому что иначе быть не может, если измеряется popular vote.

[affidavid.livejournal.com]

Победителя в электоральном колледже вполне можно пресказать делая опрос popular vote в специально отобранных группах. В крайнем упрощении это опрос жителей деревни Верхний Париж с 28 избирателями, выбор которых всегда совпадает общенациональным по электоральному колледжу по историческим данным. Если опрашивать множество подобных местечек, то шансы предсказать выбор по электоральному колледжу вполне возможен.

[kireev.livejournal.com]

Но это не то, что делал этот опрос. Это именно общенациональный опрос. Даже в их описании методики сказано, что люди выбраны случайно из всех домохозяйств США . Daybreak Poll members are participants in the ongoing UAS internet probability panel of about 6,000 U.S. residents who were randomly selected from among all households in the United States. http://cesrusc.org/election/

[affidavid.livejournal.com]

Если вы полагаете, что использовались просто случайные звонки то как вы можете объснить, почему результаты LAT всю дорогу отличались от десятков других поллов, предсказывая на 3-4 больший процент Трампу изо дня в день? Объяснить это простой случайность никак нельзя.

[kireev.livejournal.com]

Это и не была случайность. Я же ее объяснял уже. Они взвешивали выборку с учетом результатов выборов 2012 г, но на основе слов избирателей о том, как они голосовали. Я видел много таких опросов и в них общее то, что процент за Ромни ниже реального. Часть избирателей не говорит, что она голосовала за проигравшего тем более по прошествии длительного времени. Это очень известный феномен. Поэтому у них сразу же выборка оказалась более республиканской, и всегда такой и оставалась, потому что эту категорию они взвешивали.

[affidavid.livejournal.com]

Я не читал тех постов. Но почему вы называете такую методологию случайностью? Они ничем не хуже других, даже лучше.

[kireev.livejournal.com]

Она не обязательно хуже, пусть будут разные опросы с разными методологиями. Но это объясняет почему их опросы всегда были в пользу Трампа. Но это вообще никак не связано с электоральным колледжем и тем, что они случайно угадали его победу в нем.

[affidavid.livejournal.com]

>Эта величина коррелирована с Y, но даже точное знание X не дает возможности определить Y.
Поллстеры это высококвалифицированные люди у которых очень большая мотивация предказать Y. Предсказание Х само по себе никому не нужно. Поэтому продвинутые поллстеры делают свою методологию опросов, позволяющую предсказать Y формально получая величину Х. Это не "продвинутое моделирование", а просто введение эмпирических поправок в отбор опрашиваемых. Впрочем не уверен, что тут есть большая разница, вы сами знаете цену некоторым статьям с "продвинутым моделированием." То, что эти поправки были видно из того, что опросы LAT все время показывали большую разницу с другими поллами.

Нат Сильвер использовал опросы по штатам, что сильно лучше, но у него другие проблемы: у него не было контроля над качеством опросов в отдельных штатах. Поэтому garbage in garbage out. А когда electoral college и popular vote в согласии, то предсказание намного проще по-любому, так все попадут в мишень.

[affidavid.livejournal.com]

>Невозможно или очень сложно построить выборку избирателей так, чтобы математическое ожидание процента голосующих за определенного кандидата в той выборке было 100% (или близко к тому) коррелировано с количеством голосов выборщиков за этого кандидата.

За пределами точных наук таких невозможных проблем видимо-невидимо даже в той же инженерии. И считают инженеры по уравнениям с поправочными коэффициентами и дикими размерностями выведенными из крайне сомнительных экспериментов. Но ничего, не разваливаются мосты, и паровозы по ним ездят, не взрываются. Я не вижу, почему поллстеры хуже их. Но мы точно знаем, что результат LAT не случаен, а следствие отличия их методологии от других поллстеров.

У меня никаких претензий к Сильверу нет - он провел вполне нормальную работу. Он совершенно правильно позаботился о том, чтобы упомянуть, что реальные шансы есть у обоих кандидатов - хотя это случилось после того, как он жестоко облажался со своим категоричным прогнозом на праймариз.

[secondary-tea.livejournal.com]

В мостах, как правило, закладывается кратный запас по прочности. Так что ошибка даже на 10% не очень-то и опасна.