Category: литература

birds

Обзор книги "Superforecasting: The art and science of prediction".

Среди плотно заставленных полок в разделе “Smart Thinking” как-то мне на глаза попалась книга “Superforecasting”. Интригующая тема, подумал я, много упоминаний в элитной прессе – нужно читать! Если кратко, то эта книга о том, насколько хорошо люди могут предсказывать результаты важных глобальных событий, как это измерить и чему можно научиться у тех, кто предсказывает лучше.

Superforecasting cover

Каждый из нас регулярно занимается прогнозированием: мы размышляем над тем, на сколько нам повысят зарплату, упадёт ли доллар, и кто выиграет завтра в футбол. Вопросы могут быть очень разными: от обыденных вроде “пойдёт ли завтра дождь?” до жизненно важных: “стоит ли делать эту операцию?”. Иногда мы ошибаемся, иногда – нет. Неуспешные прогнозы быстро вылетают из головы, мало кто ведёт им счёт и пытается сделать выводы. Ладно, мы-то простые смертные.

Но когда в мире происходит что-то непонятное и неожиданное, мы обращаемся к экспертам. Они легко могут рассказать свои соображения на тему того, когда будет следующий кризис, кто победит в выборах США, когда искусственный интеллект наконец завоюет планету и тому подобные вопросы. Мы не всегда согласны с их мнением, но эксперты говорят уверенно и убедительно, мы склонны им верить, на то ведь они и эксперты! Однако даже знатоки иногда ошибаются. Часто это сходит с рук: в конце концов, вопрос был сложным, всякое могло произойти. Но измеряет ли кто-то точность предсказаний конкретных экспертов? Как это ни странно, ответ – “почти нет”. Даже в случае действительно важных решений и профессиональных аналитиков. Неудивительно, ведь в общем случае мнения специалистов слишком сложно трактовать однозначно: они защищают себя и избегают конкретных деталей и чётких фраз. Часто можно услышать “существует риск” (какой?), “вероятно, что” (насколько?) и прочие размытые фразы. Профессионалы не хотят лезть на рожон и в публичных высказываниях оставляют пути к отступлению. Если предсказанное не происходит, выражения можно обернуть в свою пользу: “риск на самом деле был небольшим”, “вероятно – не значит гарантированно” и т.д. Кроме того, люди часто не указывают временные рамки предсказаний: “ждите, всё ещё будет, как я сказал”.

В итоге, мы пребываем в ситуации, аналогичной состоянию медицины до начала двадцатого века. Врачи тогда лечили, базируясь на своём опыте и уверенности в своих методах. Никто и не думал количественно проверять какие лекарства работают, а какие нет; выздоровел ли больной именно от лекарства или сам по себе. Кровопускание, например, было популярно со времён Галена, лечившего римских императоров, до конца девятнадцатого века. Многие учёные мужи даже не сомневались, что оно работает. Однако качественный прорыв в медицине произошёл именно с изобретением клинических исследований, когда люди догадались использовать статистику: разбить случайным образом людей на две группы, одним дать лекарство, другим – нет и посмотреть, что будет. Одним – кровопускание, другим – пиявок, третьим – ничего и измерить результаты через две недели. Вот это подход! Но этот, кажущийся теперь весьма разумным, метод не сразу завоевал доверие. Мало кто из врачей хотел ставить на кон свою карьеру, дав измерить результаты своего лечения. Так и сейчас: эксперты с опаской и недоверием смотрят на попытки превратить свои глубокие и тонкие анализы в бездушные проценты вероятностей.

Филип Тетлок (Philip Tetlock), автор книги, считает, что это нужно наконец изменить: точность предсказаний следует измерять. Таким образом можно понять, кто предсказывает лучше и какие факторы на это влияют. Измерение даёт необходимый фидбек: люди могут понимать, что не работает и корректировать свои методы и рассуждения. В результате это может привести к революции, сходной с революцией в медицине.

У Филипа слова не расходятся с делом: с 1984-го по 2003-й, на протяжении почти двадцати лет, он проводил эксперименты и собрал около 28 тысяч предсказаний от 284 экспертов, которые согласились поучаствовать на условиях анонимности. Результаты были неутешительными: в среднем эксперты предсказывали чуть лучше случайного угадывания. Причём любопытно, что чем известнее персона, тем хуже у неё прогнозы. Эти результаты получили широкую огласку после того, как Тетлок опубликовал свою книгу “Expert Political Judgement”. Об экспертах стали говорить, что у них получается примерно так же, как у “dart-throwing chimpanzee”, что стало мемом в определённых кругах.

Так что же, всё, предсказать ничего нельзя и стоит покориться судьбе и бросать монетку? Зачем тогда эта новая книга “Superforecasting”? Оказалось, что не всё потеряно и у эксперимента Тетлока были и другие, менее замеченные результаты: во-первых, точность предсказаний значительно улучшается для более близких событий (до двух лет от даты предсказания), во-вторых, существовала некоторая группа людей, которые демонстрировала результаты заметно лучше средних, что давало пищу для размышлений.

Через некоторое время появилась возможность провести новый эксперимент. Разведка США допускает очень серьёзную ошибку, неверно предсказав наличие оружия массового поражения в Ираке. Результатом этого провтыка было вторжение в Ирак, дорогая и непопулярная кампания, которую Джордж Буш впоследствии назвал главной ошибкой своего президентства. Последовали разбирательства: кто виноват и что делать? Оказалось, что разведка не просто подыграла политикам, которые хотели начать войну, а действительно была сильно уверена в наличии ОМП в Ираке, что поставило под сомнение надёжность её методов. Как следствие, постановили организовать новый элитный отдел IARPA (аналогичная знаменитой DARPA, ответственной за создание Интернета) – Intelligence Advanced Research Projects Activity и заняться, наконец, предсказаниями серьёзно.

Для этого решили провести турнир по прогнозированию, в котором участвовало несколько исследовательских групп из известных университетов США. Каждый день, на сайте появлялся новый вопрос, вроде такого (примеры реальных вопросов): “Will Serbia be officially granted EU candidacy by 31 December 2011?”, “Will former Ukrainian Prime Minister Yulia Tymoshenko be found guilty on any charges in a Ukrainian court before 1 November 2011?”, “Will Japan officially become a member of the Trans-Pacific Partnership before 1 March 2012?” и т.д. В ответ ожидается число – вероятность события. Ответы можно (и нужно!) обновлять по мере поступления новой информации. Задача исследователей: найти много экспертов, понять как научить их предсказывать лучше, затем агрегировать полученные прогнозы и выдавать “на гора” ответы по каждому вопросу. Когда ответы на вопросы становятся известными, результаты каждого университета сравниваются с контрольной группой. Для сравнения использовались так называемые оценки Брайера (Brier score).

После первого года турнира одна группа исследователей заметно вырвалась вперёд, опережая контрольную группу и соперников на 30 процентов. Неплохо справляются, подумала разведка. Но может совпадение? На второй год эта же группа опередила контрольную группу на 60 процентов, а ближайших соперников – на 40 процентов. Причём согласно редактору Washington Post, они смогли даже побить аналитиков из разведки, которые имели доступ к засекреченной информации! Эксперимент решили приостановить – победители были известны. Surprise, surprise, ими оказалась группа Филипа Тетлока – “The Good Judgement Project”. Около 2800 добровольцев, очень разных людей: программисты на пенсии, танцоры, агрономы, студенты. Они участвовали в проекте в основном из интереса, получая в качестве награды подарочный сертификат на Амазоне стоимостью в $250. После первого года турнира, исследователи выбрали 2% участников с наилучшими результатами (так называемых “суперфорекастеров”), сгруппировали их в команды, и именно эти люди дали наиболее точный результат во втором году, который позволил выиграть турнир.

Целью эксперимента было не просто получение точных предсказаний и победа в турнире, а понимание того, что влияет на качество прогнозов. Собственно, об этом и повествует книга “Superforecasting”. Чем суперфорекастеры отличаются от большинства обычных экспертов, что даёт им возможность предсказывать лучше? Представьте себе суперфорекастера. Наверняка это умный и эрудированный человек, хорошо разбирается в экономике и политике, регулярно следит за новостями, дружит с математикой и программированием (чтобы строить хитрые модели и считать их на компьютере). Далее, автор, глава за главой, анализирует каждый из этих факторов и показывает насколько важным он оказался на практике.

Например, что насчёт IQ? Тесты показывают, что суперфорекастеры действительно умнее большинства людей, но не на уровне гениальности: IQ среднего суперфорекастера выше, чем у 80% людей. Важнее чем чистый интеллект оказалась способность смотреть на факты с разных точек зрения.

Философ Исайя Берлин когда-то написал эссе, где он выделял два типа людей: ежи и лисы. “Лисы знают много вещей, а ежи знают одну большую вещь”. Ежи любят выстраивать всё в одну систему, которая позволяет оценивать новые факты с точки зрения этой системы. Их взгляд сфокусирован: они видят мир через линзу основной идеи. Они когда-то решили придерживаться определённого мнения в политике, культуре, экономике и т.д. Они смогли разобраться в вопросе, найти аргументы в поддержку своих убеждений и уверены в своей правоте. Если новые знания противоречат системе, то их можно либо игнорировать, как очевидную неправду, либо как-то дискредитировать. Лисы же более осторожны, прагматичны, пытаются не иметь фиксированных взглядов и в спорах пытаются взглянуть на аргументы с обоих сторон. У них как правило нет резко выраженных мнений, они более склонны к сомнению и самокритике. Их любимые слова: “с одной стороны, с другой стороны”, в то время как у ежей: “более того”, “кроме этого, ещё”.

Угадайте, кто более популярен в качестве экспертов на телевидении? Конечно же ежи. Зрителям нравятся простые, доходчивые объяснения без излишних сомнений. Тогда не нужно думать самим, эксперт ведь так понятно объяснил! К сожалению, реальность часто выбивается из простых схем, и, как показывает практика, гораздо лучше справляются с предсказаниями именно лисы. Ежи часто бывают затуманены своей системой и закрыты к фактам, которые по хорошему должны повлиять на их мнение. “When the facts change, I change my mind. What do you do, sir?”, как говорится в известной цитате.

Это наблюдение насчёт лис и ежей мне показалось очень занимательным. Теперь, когда я читаю всякие интервью и статьи, на меня отовсюду смотрят лисы и ежи! “Если в руках есть молоток, всё кажется гвоздём”. Недавно Хиллари Клинтон во время избирательной компании заявила, что полезно посмотреть на мир глазами людей, которые поддерживают Дональда Трампа и даже попытаться их понять. “The Economist” одобрил. “Лиса!”, подумал я.

В общем, идея здесь в том, что не так важен багаж знаний в определённых областях, как умение посмотреть на вопрос с разных точек зрения и умело скомпоновать их. Нельзя быть одновременно экспертом в израильско-палестинском конфликте, криптовалютах, политике Руанды и экономике США, но тем не менее можно агрегировать имеющиеся мнения по каждой из этих тем, взвесить “за” и “против” и выдать неплохой прогноз.

Ещё в книге рассказывается о том, что важно уметь чередовать так называемый “внешний” взгляд с “близоруким” взглядом. Что имеется в виду? Предположим, что вам описывают семью Ронцетти из Нью-Йорке: папа Фрэнк, которому 42, мама Джулия и сын Томми, пяти лет. Они живут в небольшом доме в Бруклине, отец работает бухгалтером, мать временами подрабатывает официанткой, а ещё с ними живёт бабушка Камилла, мать Фрэнка. Вопрос: какова вероятность того, что у них есть собака?

Можно начать внимательно изучать детали: ага, семья, похоже, итальянская, наверняка Фрэнк сам вырос в многодетной семье, но теперь не может себе позволить больше одного ребёнка. Наверняка, он захочет немного пополнить свою семью домашним любимцем, так что вероятность большая, скажем процентов 75. Такие истории звучат убедительно, но это не то, как поступят суперфорекастеры. Они пойдут и банально погуглят статистику: у скольких семей в Нью-Йорке есть собака. Это сразу даст неплохую оценку, которую уже можно настраивать в зависимости от более тонких деталей. Почему важно сначала применить внешний взгляд, а потом тюнинговать, а не наоборот? Потому что существует такой забавный эффект, как “anchoring” – первое упомянутое число (даже если оно совершенно случайно и люди об этом знают) оказывает на нас значительное влияние, потому важно, чтобы оно было как можно более точным и непредвзятым. Anchoring подтверждается многими любопытными психологическими экспериментами.

Вообще, в книге рассматривается много экспериментов, многие из которых наверняка будут знакомыми прочитавшим бестселлер нобелевского лауреатаДаниэля Канемана “Thinking fast and slow”. Эти эксперименты демонстрируют разные эвристики, которые наш мозг применяет для того, чтобы быстро получить ответ. Иногда эти эвристики приводят к тому, что мы легко приходим к простому, но неправильному ответу.

Ещё в одной главе рассматривается влияние командной игры на качество анализа и предсказаний. С одной стороны хорошо, в команде люди могут делиться информацией или конструктивно критиковать друг друга, с другой стороны – согласие в команде может привести к иллюзии, что “миллион леммингов не может ошибаться” и излишней самоуверенности. Что окажется важнее? Интересна также “проблема лидера” – можно ли быть одновременно рациональным форекастером, чётко осознающим границы своего видения, и при этом уверенным в себе лидером, ведущим за собой компанию или армию?

Отдельно хочется отметить большое количество ссылок на оригиналы: ни одна цитата не остаётся без явного указания источника, даже если источником является личная переписка автора. После такого подхода становится сложно читать обычные научно-популярные книги, в которых вместо источников в конце просто библиография.

Если по прочтению книги, вам захочется попробовать свои силы в прогнозировании – к вашим услугам авторы подготовили открытый турнир форекастеров GJOpen.com, где можно развлекаться и продвигать науку одновременно. Мне кажется, что это должно сильно вдохновить гиков, которые любят всё измерять, в том числе и себя. А здесь можно делать всё сразу: смотреть на вероятности событий, используя это для ориентирования на геополитической местности, самому влиять на предсказания, видеть насколько твои предсказания хороши и в идеале даже улучшать свои методы.

В заключение хочу сказать следующее. Эта книга не сделает из вас суперфорекастера сама по себе, она лишь даёт понять, что для этого важно, а что нет. Основная работа, как всегда, за читателем. Но однозначно книга даёт пищу для любопытных размышлений, ставит под сомнение вещи, которые считаются очевидными, подчёркивает важность экспериментов. В целом, она может достаточно сильно поменять взгляд на вещи, что для меня является признаком действительно хорошей книги.



“Beliefs are hypotheses to be tested, not treasures to be protected.” – Philip Tetlock

birds

Заметки о SPQR. Пролог.

Недавно я начал читать новую книгу об истории Древнего Рима, которая называется “SPQR. A history of Ancient Rome”. О ней были хорошие отзывы в The Economist, Financial Times и других уважаемых изданиях. Более того, книга даже рекламируется в Лондоне в метро! Автор – Мэри Бирд (Mary Beard), кембриджский профессор антиковедения, достаточно известная женщина, часто появляющаяся на телевидении и в дебатах (например с мэром Лондона – Борисом Джонсоном). Что такое SPQR? Это сокращение от “Senatus PopulusQue Romanus” – сенат и римский народ. Раньше такую надпись можно было найти на римских монетах, монументах, в конце официальных документов. И даже сейчас эта аббревиатура не теряет актуальности: например, она, как символ городской власти, выбита на крышках канализационных люков в Риме!

SPQR manhole cover

Чтобы лучше понять и запомнить о чём говорится в книге, я решил попробовать вести заметки, пытаясь пересказать основные идеи каждой главы. Это интересная практика. С одной стороны нужно пытаться не сбиться в банальный, близкий к тексту пересказ, а стараться уловить суть. С другой стороны, нужен более критический подход, чем при обычном чтении: перед тем как транслировать какое-то утверждение хочется получить больше аргументов в его поддержку и убедиться в том, что правильно понял автора. Если убедиться не получается – утверждение приходится просто опускать. Ещё я с неприятным удивлением отметил, что после первого прочтения не могу полно пересказать даже всего пять страниц текста – приходится перечитывать. Кроме того, поскольку я не специалист в истории, стоит предупредить, что некоторые мои рассуждения и комментарии могут быть весьма наивными.

Начнём с пролога книги. Как мне кажется, основная идея, которую автор хочет донести – это то, что история Рима важна и что она не статична, а меняется, потому продолжает иметь смысл её изучать. История не статична, как это? Во-первых, появляются новые научные методы исследования: теперь можно поднимать затонувшие корабли с римскими грузами, исследовать ДНК, химический составокаменелых экскрементов или даже влияние римской промышленности на окружающую среду с помощью изучения ледников Гренландии! Во-вторых, со временем меняется фокус историков: в двадцать первом веке людям стали более интересны новые темы, скажем, гендерные вопросы или рацион древних римлян.

Почему история Рима важна? Видимо из-за того, что римляне и их наследие сильно повлияли на нынешнюю западную цивилизацию, политику и культуру, потому в контексте этой истории можно понять разные интересные вещи или упрощённые их версии. Вообще, мне лично кажется, что древняя история хороша для изучения любителями, потому что она даёт относительно простые модели, не замутняя их излишними сложностями, огромным количеством событий, личностей и нюансов. Часто мелочи утеряны из-за неполной информации, часто сами изучаемые процессы и институты только возникают, потому они относительно просты и показывают саму суть вместо сложной паутины взаимосвязей и последующих наслоений.

Зачастую решения, принятые римлянами много веков назад до сих пор играют свою роль: например, Лондон является столицей Англии, потому что римляне когда-то так решили. Романская группа языков (французский, испанский, португальский, итальянский, румынский), как несложно догадаться, базируется на языке римлян – латыни. В политике мы употребляем слова “диктатор”, “кандидат” и “сенатор”. Многие крылатые фразы: “хлеба и зрелищ”, “разделяй и властвуй”, “пока дышу – надеюсь” – тоже напрямую пришли из Древнего Рима и до сих пор активно используются.

Историю Рима сложно излагать с уверенностью, т.к. не осталось письменных источников относительно ранних времён (возникновения Рима, его первых царей и ранней Республики), потому можно лишь пересказывать полу-мифические рассказы ранних историков, подправленные или дополненные современными археологическими находками. Относительно более поздних времён (поздняя Республика и Империя) письменные свидетельства уже есть, и даже в большом количестве. Но это не делает задачу намного легче, т.к. иногда источники противоречат друг другу или, опять же, археологическим сведениям.

Мэри Бирд в основном интересует вопрос почему Рим достиг таких высот и превратился из небольшой деревни на берегу Тибра в огромную империю, а не почему это всё потом пришло в упадок и развалилось (что интересовало многих других авторов). Такой вопрос предполагает оптимистичное и положительное описание, но тем не менее книга – это не ода Риму, Бирд старается быть объективной и подчёркивать в том числе и негативные стороны римской цивилизации. Разные авторы выбирают разный конец для своих историй – кто-то считает, что можно заканчивать, когда Константин принял христианство, кто-то – когда готы разграбили Рим. “SPQR” же заканчивается во время правления императора Каракаллы, который раздал всем свободным жителям империи гражданство, таким образом размыв границы между победителями и побеждёнными.

Кроме того, в книге будут развенчиваться или по крайней мере критически обсуждаться некоторые распространённые мифы о древнем Риме: например то, что территория Римской империи расширялась согласно какому-то глобальному плану, в стиле государств девятнадцатого и двадцатого веков. Или то, что римляне были как бы младшими и более брутальными братьями Древней Греции, которым больше нравилось воевать и строить акведуки, чем предаваться радостям философии и ходить в театр. Эта позиция слишком проста, чтобы быть правдой: древним грекам точно так же нравилось побеждать, как и римлянам, и многие из их городов имели мало общего с кратковременным демократическим экспериментом в Афинах. С другой стороны, некоторые римские философы и историки жёстко осуждали римский империализм и методы ведения войны, и вполне могли сойти по духу за миролюбивых греков.

Пролог заканчивается кратким вступлением к первой главе, которая, презрев хронологические соображения, начнётся с одного показательного эпизода периода Поздней Республики – противостояния между каноническим оратором Цицероном (который был ещё и консулом) и “заговорщиком-террористом” Катилиной.

SPQR book cover

birds

Уроки Typeclassopedia

В хаскелле есть довольно много стандартных классов типов (type classes), ноги у которых растут изо всяких теоретических источников (в основном из теории категорий), например Functor, Monad, Applicative, Arrow и прочие. Чтобы немного в них разобраться, я недавно начал читать отличную статью "Typeclassopedia", написанную Brent Yorgey и опубликованную ещё в тринадцатом номере "The Monad Reader".

Standard type classes

Пока я прочёл небольшую часть статьи, которая описывает такие классы типов:

  • Functor
  • Pointed (его нет в стандартной библиотеке, но он полезен для понимания)
  • Applicative
  • Monad

Раздел о каждом классе состоит из собственно его описания, примеров и части, посвящённой "выработке интуиции". Часть про интуицию, пожалуй, наиболее интересна, но для того, чтобы действительно начать интуитивно понимать суть классов нужно попрактиковаться и, возможно, почитать статьи из подразделов "Further reading". Для практики есть упражнения, в духе "выразить join через return и >>=", весьма уместно размещённые по ходу изложения.

Всякие наблюдения, почёрпнутые из статьи и сопутствующей литературыCollapse )
birds

Как я готовил презентацию. Часть 1. LaTeX.

Когда наступила надобность сверстать слайды для следующей презентации — я наконец решил воспользоваться LaТеХ-ом (это уже далеко не первый мой подход, но пока самый продуктивный). В процессе работы у меня возникали различные мелкие задачи: нарисовать диаграмму, нарисовать синтаксическое дерево, нарисовать несколько деревьев "в разных позах", раскрасить исходный код, ну и наконец всё это представить в виде более или менее симпатичных слайдов.

Поскольку часто полученные знания были достойны того, чтобы ими делиться, а весь этот подход по сравнению с традиционным WYSIWYG (в лице Open или Microsoft Office) весьма любопытный и просветляющий — я решил написать на эту тему несколько постов. Они не будут претендовать на роль учебных, т.к. я постараюсь быть кратким и выражать самую суть, чтобы позволить прочувствовать эту атмосферу, заинтересовать и дать толчок к дальнейшему изучению. Кроме того, я сам только изучаю LaTeX, потому не могу служить авторитетом в данной области.

Итак, начнём с LaTeXCollapse )
birds

Киев - СПб

Вчера благополучно переехали в Санкт-Петербург, буду теперь некоторое время здесь жить :)
Старый номер телефона можете смело удалять, теперь контакты такие: +7 921 3782469.

У нас тут есть чукотские сказки, шахматы, автомобильная сирена по утрам и новый нескрипящий диван!
Все желающие повидать меня в СПб are welcome! :)

Кроме того, примерно 15 июля ещё вернусь на несколько дней в Киев.
  • Current Mood: excited excited
Tags:
birds

Белорусский арабский алфавит

Захотел я почитать в Википедии статью про DSL (domain specific languages) и не пожалел :) Набрал не в той раскладке "dsl", и по запросу "выд" английская Википедия достаточно неожиданно выдала мне с релевантностью 9,9% интересную статью про белорусский арабский алфавит. Поначалу я подумал, что это очередной википедийный вандализм (а-ля недавняя байка про МГУ), но нет.

Как оказалось, белорусский язык записывался в XVI-м веке арабскими буквами местными татарами, которые почти в абсолютном большинстве забыли родной язык, но не хотели терять свою религию и нашли такое решение: пересказать Коран на белорусском и записать его с помощью арабской письменности. Возникли проблемы с некоторыми звуками, которых изначально не было в арабском ("ж", "ч", "п", "дз", "ц", а также "у краткое"), но они были решены введением новых символов. Таким образом, возникли "китабы" (kitabs) - целые книги, записанные подобным образом - преимущественно религиозные и фольклорные.

Сейчас китабы хранятся в библиотеках АН Беларуси, АН Литвы, Вильнюсского, Петербургского и Казанского университетов, а также в частных коллекциях.
Такой вот интересный пример транслита.


Ссылки по теме:
Статья на русской Википедии
Более подробная статья о кетабах (англ.)
  • Current Mood: weird weird
Tags: