kireev: (Default)
kireev ([personal profile] kireev) wrote2014-10-26 05:49 am

Матрица евклидовых расстояний между прогнозами

[livejournal.com profile] sevabashirov поигрался с таблицей прогнозов результатов выборов в Верховную раду. Интересно, что у опытных прогнозистов отклонения от среднего чаще всего самые небольшие.

Матрица евклидовых расстояний между прогнозами, сортировка по расстояниям от среднего.

Методология: для каждой партии был посчитан средний прогноз по 61 участнику, а также среднеквадратичное отклонение.
Затем все прогнозы нормировались по формуле (Прогноз-Среднее)/Отклонение, чтобы выровнять вклады от прогнозов на каждую партию в общий результат.
Для каждой пары прогнозистов посчитано евклидово расстояние (корень из суммы квадратов расстояний по каждой из 10 партий).

Полный размер 3092х820 по клику.


[identity profile] sevabashirov.livejournal.com 2014-10-26 12:58 pm (UTC)(link)
Средний прогноз, среднеквадратичное отклонение и коэффициент вариации прогнозов по партиям:

Блок Петра Порошенко: 30,36±3,67 (12,1%)
Народный фронт: 11,68±2,00 (17,1%)
Радикальная партия: 10,98±2,42 (22,0%)
Батькивщина: 8,33±1,38 (16,6%)
Самопомощь: 7,93±2,08 (26,2%)
Оппозиционный блок: 6,03±1,64 (27,3%)
Сильная Украина: 5,26±1,06 (20,1%)
Гражданская позиция: 4,95±0,98 (19,9%)
Свобода: 4,34±0,93 (21,5%)
КПУ: 3,91±1,06 (27,1%)
___

Если что-то еще надо подсчитать, пишите, по возможности сделаю.

Вы же помните: на что easternwestern упор делал

[identity profile] 22he-travnya.livejournal.com 2014-10-26 01:03 pm (UTC)(link)
http://easternwestern.livejournal.com/17607.html

Re: Вы же помните: на что easternwestern упор делал

[identity profile] sevabashirov.livejournal.com 2014-10-26 04:36 pm (UTC)(link)
Кстати, хорошая идея подводить помимо индивидуального еще "командный зачет" по регионам. Интересно, фактор своего поля так сильно влияет только для прогнозов по Украине? Не было ли заметного лидерства москвичей на конкурсе по выборам мэра-2013, например?

[identity profile] temur25.livejournal.com 2014-10-26 01:10 pm (UTC)(link)
Классно будет, если итоговый результат всех партий уложится в одну сигму:-)

[identity profile] sevabashirov.livejournal.com 2014-10-26 01:19 pm (UTC)(link)
Вот да. Высока вероятность, что так и будет.
Как объявят результаты - посчитаю расстояния прогнозов и среднего от истинного.

[identity profile] temur25.livejournal.com 2014-10-26 01:22 pm (UTC)(link)
Ага, так можно и экзит поллы не проводить, и сразу публиковать средние результаты прогнозов в этом блоге с разбросом в сигму.

[identity profile] sevabashirov.livejournal.com 2014-10-26 01:25 pm (UTC)(link)
Только вслух об этом говорить не надо, а то придут ватноголовые и загубят к чертям всю репрезентативность выборки прогнозов от нашего коллектива :-)
Edited 2014-10-26 13:26 (UTC)

[identity profile] yaceya.livejournal.com 2014-10-26 02:59 pm (UTC)(link)
unfortunately typically experts tend to agree with each other too much, so they give too narrow variation. so there is no replacement to exit polls... just as there is no replacement to experts who predict future whereas exit polls record the past

[identity profile] temur25.livejournal.com 2014-10-27 01:55 pm (UTC)(link)
Вам предложение. Можно оценить "стадный инстинкт", сравнив СКО и коэффициент вариации в конкурсах с открытыми комментариями и в конкурсах с закрытыми.

[identity profile] sevabashirov.livejournal.com 2014-10-27 02:17 pm (UTC)(link)
Сложно сопоставить, поскольку конкурсы хоть на одних условиях, но по разным событиям. Даже если рассматривать только постоянных, гарантированно компетентных участников. По идее в открытых конкурсах стадный инстинкт имеет место быть, но делаются такие конкурсы на более популярные политические события, которые к тому же бурно обсуждаются участниками вне конкурса, что усиливает плюрализм мнений.

[identity profile] parol6342190.livejournal.com 2014-10-26 01:07 pm (UTC)(link)
Я что-то не догнал, в чем тут дело. Расскажите доступно

[identity profile] kireev.livejournal.com 2014-10-26 01:09 pm (UTC)(link)
Если грубо, то эта таблица показывает насколько сильно прогнозы участников отличаются от среднего и от каждого отдельного прогноза.

[identity profile] parol6342190.livejournal.com 2014-10-26 01:11 pm (UTC)(link)
Совсем грубо: лучше красный или фиолетовый?)

[identity profile] kireev.livejournal.com 2014-10-26 01:13 pm (UTC)(link)
Это покажут результаты выборов :) Но больше шансов на лучше, если красный цвет.

[identity profile] rumata-od.livejournal.com 2014-10-26 01:16 pm (UTC)(link)
не совсем уловил почему :)

[identity profile] kireev.livejournal.com 2014-10-26 01:21 pm (UTC)(link)
Если прогноз более средний, то человек будет либо в середине финальной таблицы, либо в верхней ее части. А если прогноз очень сильно отличается от срденего, то либо пан- либо пропал. Причем, шансов на пропал больше, потому что твой прогноз очень сильно может отличаться от среднего по целому ряду показателей, и даже если в одном ты угадаешь, то другие тебя потопят.

[identity profile] rumata-od.livejournal.com 2014-10-26 01:20 pm (UTC)(link)
допустим будет - БПП-25 , БЮТ- 6 , ОБ - 8 , ГП - 3,5 - все не укладывается в сигму и имеет не меньшую вероятность ( а может и большую ) , чем средние

[identity profile] temur25.livejournal.com 2014-10-26 01:37 pm (UTC)(link)
А и не должно обязательно уложиться в сигму.
Вот, допустим, у вас есть гипотеза, что среднее по конкурсу прогнозов у Киреева репрезентативно итоговому результату выборов.
Тогда гарантия того, что результат совпадет с отклонением в одну сигму - 68,3%, в две - 95,5%, в три 99,7%.

[identity profile] rumata-od.livejournal.com 2014-10-26 01:40 pm (UTC)(link)
это понятно

[identity profile] rumata-od.livejournal.com 2014-10-26 01:35 pm (UTC)(link)
для примера , если бы стояла задача угадать как можно ближе к результату , а не выиграть конкурс , я бы дал чуть другие цифры

[identity profile] sevabashirov.livejournal.com 2014-10-26 01:15 pm (UTC)(link)
Из текста поста можно заключить, что красный :-) Жаль, нет ПО, чтобы сделать кластерный анализ и представить результаты схемкой, было бы нагляднее. Правда, кластеры попробую вручную выделить.

[identity profile] temur25.livejournal.com 2014-10-26 01:16 pm (UTC)(link)
Красный - это серая масса, делающая прогнозы, как все, а фиолетовые - это уникальные личности, имеющие свой взгляд на вещи.
Чтобы быть повыше в конкурсе, лучше красный, чтобы почувствовать себя уникумом, лучше фиолетовый:)

[identity profile] timbes5.livejournal.com 2014-10-26 01:22 pm (UTC)(link)
//чтобы быть повыше в конкурсе, лучше красный

не факт. это если нет представления о раскладах, то лучше быть красным, чтобы точно не пролететь. а если представление есть, то есть смысл рисковать:) ну не прямо до фиолетового уровня, но всё же

[identity profile] temur25.livejournal.com 2014-10-26 01:26 pm (UTC)(link)
Понятно, например, конкурсы в world-elections обычно выигрывают те, кто дают наиболее экстремальные результаты(особенно, когда 2 кандидата), но могу поспорить, что первые 5 по отклонению займут место в конкурсе выше, чем последние 5.
Поэтому я и написал, что выше, победить юзеру с таким малым отклонением крайне тяжело.

[identity profile] rumata-od.livejournal.com 2014-10-26 02:35 pm (UTC)(link)
в Германии наверное желательно быть красным , в Украине оранжевым , а в Грузии уже фиолетовым :)

[identity profile] sevabashirov.livejournal.com 2014-10-26 01:23 pm (UTC)(link)
seyachaspomru вновь проявляет уникальность, но на этот раз шансов на розовые очки больше у elf-ociten'а :-)

[identity profile] seyachaspomru.livejournal.com 2014-10-26 08:18 pm (UTC)(link)
делать прогноз как все не интересно, гораздо интересней что бы все провалились, а ты угадал, хотя шансов так гораздо меньше. :)

[identity profile] sevabashirov.livejournal.com 2014-10-26 10:01 pm (UTC)(link)
Это зависит от того, чего участник желает - разового триумфа, пусть и маловероятного, или уверенно высокого места, но в плотном окружении единомышленников.

[identity profile] timbes5.livejournal.com 2014-10-26 01:20 pm (UTC)(link)
красный - наименее рискованный, т.е. если реальные результаты будут заметно отличаться от прогнозов в среднем, то он скорее всего будет в середине списка успешности прогнозов
фиолетовые - наиболее рискованные, т.е. могут оказаться как впереди всех с отрывом, так и хуже всех

какую стратегию выбирать - каждый решает сам:)

[identity profile] rumata-od.livejournal.com 2014-10-26 01:23 pm (UTC)(link)
как показывает практика , обязательно будет 3-4 результата сильно отличающихся от среднего . Нужно только угадать какие : ) Чем ближе к общему среднему - тем меньше вероятность выиграть . А чем ближе к среднему стабильных партий ( их в этот раз немного )- тем лучше

[identity profile] timbes5.livejournal.com 2014-10-26 01:24 pm (UTC)(link)
Нужно только угадать какие : )

и в какую сторону...)

[identity profile] sevabashirov.livejournal.com 2014-10-26 01:13 pm (UTC)(link)
Образно говоря - таблица прогнозов представляется как 10-мерное пространство, каждый прогноз представлется в нем точкой с 10 своими координатами. А в таблице указаны расстояния между этими точками - чем меньше цифра, тем больше сходство между мнениями прогнозистов.
(deleted comment)

[identity profile] sevabashirov.livejournal.com 2014-10-26 04:34 pm (UTC)(link)
Вот думал, делать или нет. Наверное, все-таки сделаю чуть позже, но все равно по нормированным значениям.
(deleted comment)

[identity profile] sevabashirov.livejournal.com 2014-10-26 08:17 pm (UTC)(link)
Готово, см. комментарий ниже!

[identity profile] rumata-od.livejournal.com 2014-10-26 06:20 pm (UTC)(link)
Блок Петра Порошенко: 30,36±3,67 (12,1%)
Народный фронт: 11,68±2,00 (17,1%)
Радикальная партия: 10,98±2,42 (22,0%)
Батькивщина: 8,33±1,38 (16,6%)
Самопомощь: 7,93±2,08 (26,2%)
Оппозиционный блок: 6,03±1,64 (27,3%)
Сильная Украина: 5,26±1,06 (20,1%)
Гражданская позиция: 4,95±0,98 (19,9%)
Свобода: 4,34±0,93 (21,5%)
КПУ: 3,91±1,06 (27,1%)



есть вероятность , что ни одна партия не попадет в диапазон :)
Edited 2014-10-26 18:21 (UTC)

[identity profile] sevabashirov.livejournal.com 2014-10-26 10:09 pm (UTC)(link)
А ведь действительно! Причем по экзит-поллу ближе всего к средним прогнозам - кто бы мог подумать - ОБ, ГП и КПУ.
Edited 2014-10-26 22:11 (UTC)

[identity profile] sevabashirov.livejournal.com 2014-10-26 08:13 pm (UTC)(link)
А вот манхэттенское расстояние (сумма абсолютных величин расстояний по 10 партиям):

Edited 2014-10-26 20:15 (UTC)