Недавно начала разбираться в анализе текстов. Один из самых популярных датасетов – речи американских президентов. Наверное еще и потому, что он легкодоступный: есть несколько ресурсов, откуда можно спарсить ежегодные послания.

Первая визуализация - анализ от NYT. Они изобразили, как часто президенты говорили термины, причем иногда весьма специфичные, вроде terror (понятно, когда был пик) и innovative (только Обама активно использовал слово innovation, даже начал выпускать Стратегию инновации).

Данные заканчиваются 2011 годом и чешутся руки их обновить, но даже так есть о чем подумать. Самое интересное, что я там нашла, это:
1) в выборке самый топ по частоте - основа Америки - tax;
2) cooperate вышло из употребления, как и bipartisan, чей пик пришелся на Рейгана и Клинтона, все время прорывавшихся через враждебный Конгресс (хотя это скорее норма для американской политики);
3) small business практически не произносилось до Клинтона, что странно, его всегда было много, backbone of US economy, все дела.

Вторая инфографика еще красивее и новее (до 2016 года). WP провел похожий анализ, но разделил слова по темам и посчитал относительную частоту. И там сразу видны логичные вещи:
1) названия стран произносят практически только когда с ними воюют;
2) про демократию говорят, когда есть очевидно недемократичные враги;
3) про работу и нефть вспоминают чаще, если их нет.
Еще интересно, что почему-то Рузвельт называл Советский Союз Россией🤔 Все до и после него редко так говорили.

Конечно, серьезных выводов из таких датасетов делать не стоит. Я бы строила гипотезы и сопоставляла с текстовыми данными исполнительных указов, международных договоров, биллей и др. данных.
Но для анализа дискурса это ценный контент.

Ну и напоследок по этой теме, казалось бы кек, но абсолютно научный: политики стали разговаривать намного проще.

Чем сложнее текст/речь, тем более образованным надо быть, чтобы их понять. Есть несколько индексов оценки читаемости. Они считают количество слов, слогов и/или букв. Итоговая цифра индекса обозначает уровня какого года школы/института достаточно, чтобы понять текст.

Согласно индексу сложность посланий американских президентов стабильно снижается: от последнего курса университета у Вильсона до 8 класса у Трампа. Здесь можно сравнить кандидатов 2016 года и некоторых старых президентов: заумнее всех была речь Линкольна.

Несколько исследований говорят, что демократы/либералы любят использовать более сложные слова, чем их оппоненты, хотя на победу уровень речи напрямую не влияет.

Еще одна большая работа показывает, что в Конгрессе выступления тоже стали проще примерно с 70-х. Авторы связали это с развитием СМИ.

О самой важной палитре в американской политике: blue states vs. red states. Эти цвета стали классикой иллюстрации выборов. В общественном сознании они прочно закреплены за партиями, но это произошло всего 20 лет назад. Как они к этому пришли и что было раньше?

Партии никогда не назначали официальные цвета, просто использовали палитру флага в кампаниях. До конца XX-го века единого стандарта, как и выражений "red states" и "blue states" не было.

Путаница началась с появлением цветного телевидения. На самой первой цветной карте юго-востока страны телеканал CBS в 1972 году отдал демократам красный, а республиканцам – синий. В следующие выборы все три основных американских новостных канала транслировали свою версию визуализации: NBC использовал палитру CBS, сам CBS ее перевернул, а ABC вообще покрасил республиканские штаты в желтый. Каждый канал выбрал цвета, опираясь на собственные эстетические и идеологические причины.

Было достаточно поводов отдать GOP синий цвет. Во-первых, республиканцы периода Линкольна, северяне в Гражданской войне, носили синюю форму и поэтому даже на некоторых картах XIX века их округа красили в синий. Во-вторых, в британской традиции синий используют правые (консерваторы), а красный – левые (лейбористы), и общие политические ассоциации были именно такими. Как сказал корреспондент NBC: "Годами обе партии составляли красно-синие карты. Но каждая делала красным оппонента. Кто во время Холодной войны захочет быть красным?"

Ассоциации сторонников современной карты были намного проще: red, Reagan и republican начинаются с "R".👌🏻Ещё говорили, что если бы множество красных штатов Рейгана стали синими, карта получилась бы слишком темная.

С 1984 года ABC и CBS использовали "современную" палитру, а NBC - изначально выбранную “перевернутую”, как и некоторые издания, например, Washington Post и Time magazine. Все это создавало путаницу для зрителей. По этой причине в 1996 году NBC сдался и поменял карту.

Они сделали это весьма вовремя, потому что на следующих выборах, в 2000 году, был электоральный кризис Буша-Гора: из-за пересчета голосов целый месяц было непонятно, кто же станет президентом. Сине-красные карты постоянно обсуждались в новостях, и для простоты штаты кандидатов стали назвать синими и красными. Эти фразы так быстро укрепились в лексиконе, что к 2004 году уже ни у кого не возникало сомнений по поводу цветов.

Серия невероятных графиков 1900 (!) года. Авторы - команда William Edward Burghardt Du Bois, первого доктора социологии афроамериканского происхождения. ДюБуа проводил эмпирические исследования проблем «чёрной Америки». На Всемирной выставке в Париже он представил тогда глубоко шовинистическому обществу доказательства развития афро-американского сообщества и хотел подтолкнуть к обсуждению системного расизма.

Эти графики - настоящий научный дата-арт. Они доносят мысль, а благодаря нестандартному стилю врезаются в память. Работы ДюБуа настолько круты, что датавиз сообщество проводило челлендж по воссозданию графиков на компьютере - это сложнее, чем кажется. Энтузиасты разработали палитру и шрифты, имитирующие его фирменный стиль. А несколько лет назад дата-журналистка Mona Chalabi обновила его визуализации, добавив современные данные.

ДюБуа был визионером и опережал своё время: белое научное сообщество не приняло его. Посмотреть все графики можно здесь, почитать серию статей тут и отрывки из книги о нем там.