Специалисты по прогнозированию выборов о Дональде Трампе

[kireev]

Почти одновременно два знаменитых предсказателя результатов президентских выборов в США по-разному высказались о шансах Дональда Трампа победить на республиканских праймериз. Причем, я их обоих не раз цитировал у себя в ЖЖ. Алан Абрамовиц считает, что у Трампа очень хорошие шансы, а Нейт Сильвер считает, что у Трампа относительно невысокие шансы. Тут стоит заметить, что ни один из них не говорит, что Трамп точно победит или точно не победит. Скажем, Сильвер оценивает шансы Трампа как "точно выше 0%, но ниже 20%". Но все же это уже само по себе примечательно, что Трамп вызывает жаркие споры не только среди политических комментаторов, журналистов и широкой публики, но и разногласия среди специалистов по прогнозированию результатов выборов.

Comments

[ppl.livejournal.com]

Здесь как с тем динозавром (если помните тот анекдот) - он или получит или не получит :-) Мне бы казалось, что если не видно по какому набору сценариев эта вероятность считается, ответ совершенно бессмысленный (как и вопрос, впрочем). А такого набора никто разумно описать не может.

[kireev.livejournal.com]

Ну так это же просто субъективная оценка. Хотя, набор сценариев тоже есть http://fivethirtyeight.com/features/donald-trumps-six-stages-of-doom/

[ppl.livejournal.com]

Да, рассуждения выглядят разумно. Мне бы просто казалось, что "прикреплять" к ним какую-то цифру, будь-то 2% или 20% совершенно некорректно. Сильвер об этом в общем-то говорит, но цифру все равно называет.

[kireev.livejournal.com]

Ну вобщем, да, остальное уже тут субъективно.

[sevabashirov.livejournal.com]

Если знать количество кандидатов, расставить попарные приоритеты (у кого больше шансов), прикинуть разницу в шансах между соседями по полученному рэнкингу и учесть, что в сумме должно быть 100%, вполне можно и проценты расставить. Причем даже погрешность метода определить.

[ppl.livejournal.com]

А по мне так это шаманство, которое ни к чему не будет иметь отношения.

[sevabashirov.livejournal.com]

Ну так на то они и знатные шаманы :-) Букмекерство ведь тоже по сути шаманство, только еще и с бизнесом связано. А тут вместо денег они ставят свою репутацию прогнозистов.

[yaceya.livejournal.com]

Субъективные вероятности - все же довольно полезный механизм. Уж в слишком большом числе событий мы не можем описать вероятность как некое настоящее значение, к которому можно приблизиться бесконечным увеличением числа измерений.
То что эта вероятность влияет на поведение людей, а не гарантирует что "так оно и будет" - отдельный вопрос.
К счастью, в случае Сильвера эта называемая им цифра является priors к распределению, которое будет уточняться по ходу 2016 года моделированием экономических данных и опросов. Тоже, кстати, вероятность будет оставаться "вероятностю того что случится согласно такой то модели".
Адекватность модели всегда остается отдельным вопросом. Но что подобные вероятности применять нельзя - это позиция вполне проигравшая спор довольно давно. Будь это оценки вероятности дождя завтра, роста акций или чего угодно другого. Победа на выборах в этом вопросе ничем не лучше и не хуже.

[ppl.livejournal.com]

Если я правильно понимаю, "обобщенный Сильвер" вообще не пользуется никакой моделью, адекватной или нет. Можно начать с произвольного значения и быть уверенным в том, что результат "сойдется" к правильному. В принципе, такой метод работает, но только, на мой взгляд, нужно понимать, что начальные значения (20% вероятности номинации Трампа о которых идет речь сегодня) ни к какой реальности отношения не имеют.

[yaceya.livejournal.com]

Priors устарнавливаются "экспертом", и в отсутствии данных они и остаются самыми новыми субъективными вероятностями. Опять же, кроме оценки 20% есть ещё вопрос - а с каким разбросом. Скажем, если он сказал что у него данных как будто он бросил монетку пять раз и один раз выпала решка - это очень-очень слабые priors с ожиданием в 20%... в принципе не противоречащие его высказыванию что "а может быть и 2%".
По ходу года Силвер наверняка запустит свою модель предсказывающую итог - по крайней мере на прошлых выборах он это делал.
Насчет "ни к какой реальности отнрошения не имеет" - это мисинтерпретация. Конечно, имеет - например, в этой модели совершенно адекватно отражено что Путин не станет президентом США. И точно так же мисинтерпретацией является идея что субъективные вероятности по итогам работы модели перестают быть субъективными и "сходятся к правильному". Они сходятся к правильному только если модель в данном случае сходится с действительностью. Концептуально же то же можно сказать и о priors. И те и другие - были и остаются субъективными вероятностями, а не "правильными" вероятностями результатов выборов. И правильная вероятность результатов выборов никогда не будет ни 20% ни 90%. Потому что это не повторяющаеся событие - это не монетка, которую можно подбрасывать много раз.
Впрочем, то что это priors я не спорю, как и то, что разные люди их выставляют исходя из своих убеждений о том как устроена жизнь. Прост ещё раз хочу напомнить, что модель точно так же строится исходя из убеждений о том как устроена жизнь - вон, на прошлых выборах было полно людей веривших что опросы нужно сначала пересчитать (потому что они искажены), а уже потом вносить в модель. Они до последнего дня из своей модели предсказывали победу Ромни.

[ppl.livejournal.com]

Да, определенная модель, конечно, есть - Путин не сможет стать президентом и прочие ограничения. Но в остальном, как я понимаю, все сводится к экстраполяции результатов опросов. Сильвер это удачно делал в 2008 и 2012 и вроде бы менее удачно в других выборах. В принципе, при приближении к дате выборов такой подход вполне может иметь смысл. Но за год до выборов говорить о вероятности номинации Трампа просто невозможно.

Мне все-таки кажется, что если все правильно считать, то сходимость к правильному результату будет. Но вы правы - есть еще и разброс и может так быть, что неопределенность будет очень велика.

[yaceya.livejournal.com]

Я к тому что понятно что priors - это всегда всего-лишь priors, но всё-же даже они не совсем бесполезны.
В общем, в любом случае в данных интервью они скорее говорят о том, что летом даже первое место Трампа выглядело совершенно временным явлением, а вот после четырех месяцев на первом месте (минус короткий глюк Карсона) разумный человек все-же должен дать чуть больше шансов что Трамп все-же может выиграть.
В конце-концов, если мы считаем что есть 5 основных кандидатов и они равновероятны - это напрямую переводится как 20% на каждого. В данном случае на Рубио кладут больше, потому что он имеет лучшие завязки с эстеблишментом и нормальный антирейтинг. Но вряд ли можно ему отдать столько процентов, чтобы на Трампа совсем не осталось.

[easternwestern.livejournal.com]

А какая вероятность что на кубике "5" выпадет? Тут ж как с динозавром, либо выпадет "5" либо не выпадет и ставить цифру 16% совершенно не корректно.

[ppl.livejournal.com]

С кубиком как раз все корректно - вам известен набор сценариев.

[easternwestern.livejournal.com]

Это вам не известно основы статистики и теории вероятности.

Пятерка либо выпала либо нет. Если вам известен результат - вы можете говорить что случилось. Если вам известна только какая-то частичная информация - вы можете строить предположения о вероятности.
Если все что вам известно "был подброшен кубик" вы можете придти к выводу что шанс выпадения пятерки 16%.
Но если вам кроме этого известно, что этот кубик подбрасывал космонавт в космосе - шанс выпадения пятерки стремится к нулю. И куда делся ваш набор сценариев?
Это не делает прогноз "16%" при информации ограниченой "был подброшен кубик" неверным.

Оценивать вероятность можно при любом количестве полезной информации, а по президентских выборах в США полезной информации хоть отбавляй.
И то что оценка 10% или 28% будет не полностью верна не имеет значения, любая оценка будет не полностью верна, как из-за отсутствия полной информации так и из-за несовершенства анализа информации.

[ppl.livejournal.com]

Я не буду отрицать насчет знания основ статистики. Тем не менее, вопрос остается. Ваш пример с кубиком как раз показателен. На самом деле, если я бросаю кубик в первый раз, то я не могу сказать вообще ничего о вероятности. Даже 16% (17% если округлять, но пусть будет 16%). Мне же про кубик ничего не известно, А может он несимметричный и сделан так, что пятерка будет выпадать каждый раз? Единственный способ это понять - побросать его какое-то разумное количество раз, определить возможные исходы и разработать какую-то (физическую) модель поведения кубика. Вот тогда вы можете с какой-то определенностью утверждать что-то про вероятность выпадения пятерки.

Примерно то же работает в случае с динозавром - в реальной жизни вы оцениваете (пусть и не математически) вероятность встречи на основе своего опыта выхода на улицу и разумного (отмечу, не математического) представления о том существуют динозавры или нет. А в случае с президентскими прогнозами ничего такого вроде бы нет. Номинация Трампа - уникальное событие, у которого не было прецедентов. Нет и разумной (не статистической) модели выборного процесса, которая могла бы учесть все "физически" возможные варианты. То есть как раз полезной-то информации и нет.

Может быть можно сделать какие-то оценки исходя из опыта прошлых голосований - кандидат, получающий такую-то поддержку в ноябре года, предшествующего выборам, получал номинацию с такой-то вероятностью, но мне кажется, что при честном подходе доверительные интервалы таких оценок будут настолько велики, что сделают прогноз совершенно бессмысленным.

[easternwestern.livejournal.com]

>>Номинация Трампа - уникальное событие, у которого не было прецедентов.
Любое событие уникально. Любое событие чем-то похоже на любое другое событие. Вы вообще уводите в сторону которая не имеет в данном случае значения.

Для оценки вероятности нужна только информация о событии(насколько полна эта информация не имеет значения) и метод оценки(качество которого тоже не имеет значения).

Вам же, непойми почему, кажется что раз данные не полны, а метод не идеален, то нехрен вообще оценивать.
Почему вы не можете принять что если на столе лежит кубик и там готовый результат(который либо один либо другой), то в зависимости от информации о ситуации с кубиком и способностей обработать эту информацию оценка вероятностей одного и того же кубика может быть совершенно разной?
Да хорошо иметь результаты тысяч предыдущих аналогичных ситуаций и это сильно улутшит качество результата, но оценить вероятность можно и без этого. Да и выборы в США каждые 4 года, это вовсе не что-то сильно уникальное.

[ppl.livejournal.com]

Я в общем-то понимаю, что вы хотите сказать. На самом деле, мы говорим примерно о том же. Вы, как я понимаю, имеете в виду то, что неважно, что мы в начале ничего не знаем о кубике - мы его начинаем бросать и "подкручиваем" нашу оценку вероятности в зависимости от того, что выпадает (привет Байесу). Но тем самым вы реально строите некое "статистически полученное" описание той самой модели о которой я говорю. В каких-то случаях это разумно работает (но в каких-то не очень хорошо - тот же Сильвер прокалывался на каких-то выборах). Я клоню к тому, что если вы знаете (из независимого понимания ситуации), что кубик симметричный и условия "хорошие" - гладкий стол и проч, то вы можете оценить вероятность выпадения числа не прибегая к байесовской процедуре.

Как бы то ни было, в начале этого процесса (до того, как вы начали бросать кубик) вы ничего не можете сказать про вероятности. Информация о прошлых выборах может немного помочь, но не обязательно - вы каждый раз имеете дело с совершенно другим "кубиком" и, строго говоря, с другими обстоятельствами его бросания (кривой стол, другая гравитация и проч). Как бы то ни было, даже если этот процесс в итоге даст вам разумную оценку вероятности победы Трампа/выпадения пятерки, ваша оценка этой вероятности в начале процесса никакого отношения к реальной вероятности не имеет.

[sevabashirov.livejournal.com]

Если нам ставится задача о пятерке на кубике и ничего не говорится о свойствах кубика, все равно можно оценить вероятность - это будет средневзвешенное от вероятностей при каждой из гипотез о свойствах кубика. В случае с выборами количество весомых гипотез не особо велико (например, есть пять дихотомических (да-нет) факторов - всего 32 сочетания), и при каждом из наборов условий проценты считаются - следовательно, и средневзвешенный прогноз тоже находится. Если есть фактор, который на 99% предопределен, то гипотезы, соответствующие оставшемуся 1%, можно не рассматривать - у них малый вес, и на средневзвешенное они мало повлияют.

Остается лишь проблема выявить факторы. Профессионалы, надо полагать, это делают. Непрофессионалы довольствуются лишь интуитивными прикидками, примерно как в покере - да, можно пересчитать все раскладки и выяснить, во скольких % случаев рука А+А побеждает руку 2+7, но можно прикинуть "по чуйке", приближенными методами, была бы хватка. И если хватка есть, прикинутый результат будет близок к истинному.

[ppl.livejournal.com]

средневзвешенное от вероятностей при каждой из гипотез о свойствах кубика.

А как вы будете выбирать гипотезы если о свойствах кубика вам совершенно ничего не известно? Может он у вас улетит как только вы его оторвете от стола? Понятно, что в реальной жизни вы ограничите выбор неким кругом "разумных" гипотез. Что в случае с кубиком вполне работает. До определенной степени работает и с выборами, но все равно есть очень большой элемент произвола.

На самом деле, если я правильно понимаю как это работает, начальная оценка совсем несущественна - если вы проделываете достаточное количество экспериментов, то результат "сойдется". Но среди прочего это говорит о том, что ваша начальная оценка к реальной "вероятности того, что Трамп получит номинацию" отношения практически не имеет.

[sevabashirov.livejournal.com]

1) Если нам даются условия, что а) у кубика в любом случае 6 граней с числами от 1 до 6 и б) в любом случае итоговым результатом будет выпадение какой-либо грани, то средневзвешенное по гипотезам будет именно 1/6 на каждую цифру в силу принципа симметрии - если есть условия, при которых центр тяжести смещен в пользу одной цифры, до есть ровно столько же условий со смещением в пользу каждой из оставшихся.

2) Тут начинается философия. Дело в том, что реального понятия "вероятности того, что Трамп получит номинацию" вообще не существует. Просто при завершении эксперимента один получит номинацию, остальные не получат. Вероятность не подкрепится частотностью, так как будет лишь один эксперимент (это мы монетку можем подбрасывать 1000 раз в одинаковых условиях, а праймериз-то при этом наборе кандидатов лишь однажды будет, да и если вторые через неделю сделать, обнародованные итоги предыдущих исказят условия проведения). Ведь реальная вероятность - это предел частоты при количестве опытов, стремящихся к бесконечности, а при единичном опыте мы предел посчитать не можем.

[ppl.livejournal.com]

Дело в том, что реального понятия "вероятности того, что Трамп получит номинацию" вообще не существует.

Да, я именно об этом и веду речь.

[easternwestern.livejournal.com]

Извините, но вы упорно повторяете явную херню, квинтэссенцию которой вы выразили в фразе: "ваша оценка этой вероятности в начале процесса никакого отношения к реальной вероятности не имеет".

Во-первых, вы с чего-то выдумали себе существование какой-то "реальной вероятности". Что это такое вообще? Могут быть хорошие, плохие прогнозы, можно говорить о лучшем методе оценки наявной информации(который часто, как и полная информация, остается не известным), но никакой реальной вероятности не существует.

Очевидный пример: Пятеро друзей играют в карты, Вася вытащил с колоды карту. Какая вероятность что это король червей?
Спрашиваем Никиту: 5%.
Спрашиваем Ивана: даю 3%.
Спрашиваем Илью: в колоде 52 карты, 1/52 = 1.9%.
Спрашиваем Перта: я мельком заметил красный цвет. Это должна быть красная масть. 1/26 = 3.8%.
Спрашиваем Васю: я видел карту, 0%.
Спрашиваем ppl: какая реальная вероятность?

Повторяю, вероятность базируется на доступной информации и методе ее обработки. Оценка Пети как-бы использует лучшые данные чем у Ильи, и лучший метод оценки чем у Ивана. При этом, на самом деле, оценки что Ильи что Ивана ближе к истине чем у Пети...

Во-вторых, вы с чегото повторяете и повторяете что мол Трамп идет на выборы впервые и оценка вероятности его победы не имеет никакой ценности. Это не так. У нас полно информации о выборах. Наличие информации - это достаточно, никаких сотен аналогичных событий не нужно(хотя это и было бы прекрасным источником более качественной информации и следовательно более качественного прогноза). При этом оценить вероятность Трампа можно разными методами(очевидчно что ни один из них не будет идеальным), которые дадут разные результаты.

Очевидный пример: Линдси Грэм пробует стать президентом первый раз. Какие шансы что он станет президентом.
Илья: 80%.
Вася: 4%.

И Илья и Вася сделали свои оценки этой вероятности, как вы сказали, "в начале процесса". И, согласно вашему заявлению, не имеют никакого отношения к "реальной вероятности", что я так понимаю значит "не имеют никой реальной ценности".
Это явно не так. Прогноз Васи явно ближе к истине, имеет большую ценность и "ближе к реальной вероятности". Это несмотря на то, что Линдси Грэм никогда не принимал участия в президентской кампании. То есть, ваше утверджение явно не правильно.

П.С. Я постарался проявить максимум понимания и привести максимально понятные и простые примеры. Если до вас и счас ничего не дойдет, то я не могу вам ничего сказать, кроме как того, что теория вероятности и статистика - это явно не ваше...

[ppl.livejournal.com]

Я, конечно, ценю вашу готовность "проявить максимум понимания", но не уверен, что вы его проявляете. Я вам про теплое, а вы мне про мягкое.

Пример с картами, конечно, довольно прост, но он немного не о том. Карты - довольно простая система, про которую все известно. В отличие от уникальных и плохо понятных событий вроде выборов (несмотря на то, что они проходят довольно часто).

"Реальная вероятность" конечно не очень удачный термин, но я его использую лишь в том смысле в котором вы (Сильвер, хозяин этого журнала) говорите о вероятности/шансах Трампа получить номинацию. Я, собственно, и начал с вопроса о том, как эту вероятность понимать.

Возьмите ваш же пример про Линдси Грэма. С чего это вдруг Прогноз Васи [насчет 4%] явно ближе к истине, имеет большую ценность и "ближе к реальной вероятности"? Вот, например, в январе 2007 г. опросы показывали, что поддержка (в демократических праймериз) впервые участвующего в выборах сенатора Обамы составляла около 17%. Я не найду сейчас прогноза по поводу избрания Обамы президентом, который делался на основе этих данных, но не удивлюсь если этот прогноз был ближе к 4%, чем к 80%. И какое отношение эта цифра имела к вероятности избрания Обамы?

[easternwestern.livejournal.com]

>>"Реальная вероятность" конечно не очень удачный термин, но я его использую лишь в том смысле в котором вы (Сильвер, хозяин этого журнала) говорите о вероятности/шансах Трампа получить номинацию. Я, собственно, и начал с вопроса о том, как эту вероятность понимать.
Укажите аналог "реальной вероятности" в примере с картами. Какая из вероятностей реальна а какая нет?


>>И какое отношение эта цифра имела к вероятности избрания Обамы?
А какое отношение 5%, 3%, 1.9%, 3.8% имеют к вероятности Васиной карты быть королем червей?
В конце то концов карта окажется либо королем червей либо нет и все эти вероятности можно высмеивать, ибо они "не реальны".

>>Пример с картами, конечно, довольно прост, но он немного не о том. Карты - довольно простая система, про которую все известно. В отличие от уникальных и плохо понятных событий вроде выборов (несмотря на то, что они проходят довольно часто).
В том то и дело, что вы не понимая сути простых примеров пробуете судить о примерах сложней.

[ppl.livejournal.com]

Вероятность в случае с картами можно посчитать (и сделать прогноз) лишь постольку поскольку вы явно или неявно предполагаете наличие определенного множества сценариев, которые вам известны - вы знаете, что можете повторить эксперимент достаточное количество раз и, соответственно, можете говорить о вероятности определенного исхода. В отрыве от этой схемы - существования определенного известного вам множества событий - говорить о вероятности вообще бессмысленно. Если у вас в колоде нет короля червей, то ни 5% ни 3.8% к вероятности его вытянуть отношения не имеют.

[easternwestern.livejournal.com]

Вы бы лучше какой учебник почитали, чем нести явный бред.
Да и в данном случае у нас какраз есть определенное известное нам множество событий. Полный список возможных кандидатов уже известен, это всего-то десяток человек. Если бы нам о них было совершенно ничего не известно, то вероятность избрания любого из них была бы 1/n. Но так как нам известно много информации и кандидаты не равноценны, то кандидаты типа Клинтон получат значительно больше, другие - значительно меньше.

Пример с картами не имеет существенной разницы. Например играя в покер, какая вероятность что у соперников рука лучше вашей? Какая вероятность улучшится на флопе, а потом ривере? Какая вероятность что соперник сбросит на ваш рейз? Игрок имея ограниченое время на ход либо считает приблизительно либо вообще интуитивно. Это не делает его вероятность не имеющей никакого отношения к реальности, пускай вероятно можно бы было составить прогноз и лучше.
Игрок, видя что у него флеш, вполне логично оценивает свои шансы высоко. Как и видя текущую ситуацию, логично оценивать шансы Клинтон на победу выше других.
Вы же, с какого-то перепугу, настаиваете что раз мы не все знаем и не все идеально можем расчитать то ситуация оценке не подлежит.
Поймите, если бы мы все идеально знали и могли идеально расчитать - то мы бы точно спрогнозировали результат. Само то что мы говорим о вероятности события, а не точного его исхода, - это следствие того что мы не все знаем и метод обработки информации не идеален.

И я все-еще жду от вас какая из вероятностей является реальной.

[ppl.livejournal.com]

Учебник как раз вам сильно не помешал бы. Из того, что вы говорите, видно, что представление о предмете у вас не очень твердое. Хотя, конечно, в покер я с вами играть, конечно не сел бы..

Если вас так зацепили слова про "реальную вероятность", то попробую пояснить. Если я принесу вам колоду карт и спрошу какова вероятность того, что случайно вытянутая карта окажется королем червей, что вы мне ответите? Возможно, 1/52 будет разумной начальной оценкой (прогнозом). Но если я предварительно выбросил короля червей из колоды (и вам про это не сказал), то "реальная вероятность" его вытянуть будет равна ровно нулю. Ваш прогноз к этой реальной вероятности особого отношения не имеет - по той простой причине, что вы исходите из неверной (хотя и довольно разумной) модели колоды.

Давайте мы на этом здесь остановимся - убедить вас в чем-то у меня задачи нет, а все разумно полезное, что из этого разговора могло получиться, мы уже, наверное, извлекли.

[easternwestern.livejournal.com]

Ну так процитируйте мне этот учебник, покажите мне в нем определение термина "реальная вероятность". Или вы все-таки просто выдумываете себе какую-то псевдонауку?

>>то "реальная вероятность" его вытянуть будет равна ровно нулю. Ваш прогноз к этой реальной вероятности особого отношения не имеет - по той простой причине, что вы исходите из неверной (хотя и довольно разумной) модели колоды.
Ну так идите дальше. Подождите какую карту я вытяну, а потом скажите: "Вот вы вытянули туз пик, реальная вероятность вытянуть туз пик была 100%, а для остальных карт реальная вероятность была 0%".
Вы хоть в Википедии о теории вероятности читали? Ато ваши фантазии реально забавляют))

[ppl.livejournal.com]

Вас куда-то совсем не туда понесло.

[nameless--one.livejournal.com]

Посмотреть сколько финансовых спекулянтов будут готовы поставить деньги на победу Трампа при разных мультипликаторах на выплату.

Если tipping point наступит при выплате пять к одному - значит 20 процентов.

[ppl.livejournal.com]

Тоже метод, конечно. Но спекулянты полагаются в том числе и на данные опросов, может быть корректируя их согласно своим представлениям. Если бы этот метод работал надежно, то все спекулянты выигрывали бы на бирже. Чего, понятно, не происходит.