Ivan Begtin
7.98K subscribers
1.85K photos
3 videos
101 files
4.56K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Db.nomics.world [1] - это открытая база макроэкономических показателей по всему миру от французских исследователей-экономистов из Cepremap [2]. Он часть проекта их инструментария для экономистов Macro.nomics.world [3] включающего:
- DbNomics - базу индикаторов экономик мира
- Dynare [4] - программный продукт для Mathlab по построению моделей на основе этих данных
- Policy - воспроизводимые результаты исследований

Для DbNomics данные собираются из 50 официальных источников, все данные отдаются через REST API, дампами, через библиотеки кода для R, Python, Stata, а также специализированые приложения для эконометрического анализа вроде Gretl [5].

Проект разработан полностью с открытым исходным кодом [6], основного сайта, сборки данных, библиотек и даже первичных собранных данных [7].


Сссылки:
[1] https://db.nomics.world/
[2] https://www.cepremap.fr/
[3] https://macro.nomics.world/
[4] https://www.dynare.org/
[5] https://gretl.sourceforge.net/
[6] https://git.nomics.world
[7] https://git.nomics.world/dbnomics-source-data

#opendata #opensource #economy
Давно ищу примеры симуляторов действующих экономик с измерением того как повлияет принятие тех или иных законов или те или иные внешние или внутренние события. С прогнозами последствий, конечно.

Всё что удалось найти - это Budget Model [1] в центре Penn Wharton в Университете Пенсильвании. У них есть действующая модель экономики США и регулярные оценки последствий тех или иных законопроектов. Например, у них есть анализ принятия закона о налогообложении богатых (Wealth Tax) [2] и многое другое, включая симуляторы принятия решений [3].

Знаете ли Вы что-то подобное в России или в других странах?

Ссылки:
[1] https://budgetmodel.wharton.upenn.edu/our-model-0
[2] https://budgetmodel.wharton.upenn.edu/estimates/2019/12/12/senator-elizabeth-warrens-wealth-tax
[3] https://budgetmodel.wharton.upenn.edu/social-security

#economy #data #simulation
Вышел глобальный отчёт о мировом богатстве за 2019 год от Credit Suisse Research [1] и хотя напрямую к теме моего канала он не относится, но будет интересен всем кто интересуется как распределяется мировое богатство по богатым и бедным. Цифр в отчете собрано немало, есть профили отдельных стран, включая Россию и много показателей по всему миру

Интересные факты:
- ~ 361триллионов USD - глобальное богатство в 2019 году
- ~47 миллионов долларовых миллионеров в 2019 году
- 70849 USD - среднее богатство в 2019 году на одного взрослого
- 459 триллионов USD - ожидаемое мировое богатство к 2024 году

В отчете есть немало примеров того есть ли зависимость между богатством и ценами на недвижимость, доля женщин в списке Forbes 400 которые не наследовали, а сами сформировали своё богатство и многое другое.

Прямая ссылка на PDF отчёта [2] и на приложенный к нему Databook с таблицами и пояснениями [3]

Ссылки:
[1] https://www.credit-suisse.com/about-us/en/reports-research/global-wealth-report.html
[2] https://www.credit-suisse.com/media/assets/corporate/docs/about-us/research/publications/global-wealth-report-2019-en.pdf
[3] https://www.credit-suisse.com/media/assets/corporate/docs/about-us/research/publications/global-wealth-databook-2019.pdf

#economy #wealth #globalwealth
Тема совсем не про данные, но не менее актуальное. The Economist Intelligence Unit (EIU) опубликовали прогноз рецессии по странам G20 [1].

Прогноз неутешителен, падение ВВП везде, почти везде в отрицательные значения в прогнозе ВВП на год.

Особенно:
- Италия: -7%
- Германия: -6,8%
- Аргентина: -6.7%
- Бразилия: -5,5%
- Мексика: -5,4%

Несмотря на то что падение ВВП России ожидается в -2%, ничего хорошего ждать не стоит. Происходящее в экономике сейчас будет даже хуже чем сама эпидемия, из-за наложения многих факторов ситуация, во многом, не до конца поддаётся прогнозам.

Тем не менее, я повторюсь, сейчас не хватает не прогностических моделей распространения эпидемии, а систем оперативного мониторинга и прогнозирования экономики и мировой торговли. Хотя, казалось бы, самое что ни на есть практическое применение собираемым данным.

Ссылки:
[1] https://www.eiu.com/n/covid-19-to-send-almost-all-g20-countries-into-a-recession/

#economy #coronavirus
В России, так сложилось, что открытый код ассоциируется у многих, слишком многих, либо с халявой, либо с любительскими проектами, либо с фриками. Ничто из этого, конечно же, действительности не соответствует. А вот экономика в открытом коде присутствует и она даже более чем конкурентна.

О том как она устроена лучше всего начинать с книги Nadia Eghbal (Надя Эгбал) под названием "Roads and Bridges:The Unseen Labor Behind Our Digital Infrastructure" [1] написанной ей в 2016 году для Фонда Форда. Надя 5 лет изучала сообщества разработчиков, работа в Github, и подошла к вопросу с академической дотошностью сохранив ясность и краткость изложения.

Буквально в ближайшее время, 4 августа, выходит её вторая книга "Working in Public: The Making and Maintenance of Open Source Software" [2].

Лично я давно подписан на её блог в Substack [3] и могу сказать что она однозначно очень интересно и структурированно мыслит и также Nadia Eghbal курирует Lemonade Stand [4], большой список источников финансирования для открытого кода.

Возвращаясь к книге "Roads and Bridges:The Unseen Labor Behind Our Digital Infrastructure" там есть много хорошо описанных примеров того что именно мотивирует разработчиков открытого кода, о сложных отношениях сообществ открытого кода с деньгами и о проблемах с которым сталкивается сообщество(-а).


Ссылки:
[1] https://www.fordfoundation.org/media/2976/roads-and-bridges-the-unseen-labor-behind-our-digital-infrastructure.pdf
[2] https://www.amazon.com/dp/0578675862/
[3] https://nayafia.substack.com/
[4] https://github.com/nayafia/lemonade-stand

#opensource #economy
Очередная еженедельная рассылка. На этот раз тема #5. Экономика открытых данных и коммерческие проекты на их основе. [1]

1. Один из ключевых вызовов перед всеми движениями за открытость - это их экономическая обоснованность. При том что этих движений много: open knowledge, open source, open data, open hardware, в итоге оказывается что устойчивая экономически обоснованная модель существования пока существует только вокруг открытого кода (open source).
...

Ссылки:
[1] https://begtin.substack.com/p/5-

#opendata #data #economy
Правительство тут регулярно вводит те или иные меры экономической поддержки в России. Иногда читаешь и думаешь, вот люди, вот молодцы, вот заботятся наконец-то о нас простых предпринимателях, но, честно говоря, все этим меры совсем не кажутся чем-то реально помогающим.

Я не могу не перечислить то что делать надо и надо было ещё очень давно, вне зависимости от степени экономической катастрофы в России:
1. Резкое сокращение госаппарата
В 2-3 раза начиная с вице-премьеров, министров и их заместителей. Как минимум необходимо:
- сократить число вице премьеров до 2-х. Сейчас их 10
- сократить число ФОИВов в 2 раза. Сейчас их более 60, а достаточно будет 20-30
- сократить число заместителей министров до 2-х. Сейчас кое-где их 9 [1], а кое-где 7 [2]
и так далее.

2. Бессрочная отмена всех контрольных и надзорных мероприятий
Не на 1-2-3 года, а бессрочно отмена вместе с ликвидацией надзорных и контрольных органов. Какое-то время будут проблемы и много жалоб на нарушения, и там где их будет много там и восстанавливать госнадзор. С нуля и только там где это будет остро необходимо.

Не буду объяснять почему эти меры не будут приняты. И так всё понятно.

У меня ещё много разных идей с тем что можно сделать чтобы выправить текущую ситуацию, но большая их часть ограничена свежими и несвежими федеральными законами о-том-о-чём-нельзя-говорить.

Ссылки:
[1] https://government.ru/gov/persons/#vice-premiers
[2] https://minfin.gov.ru/ru/ministry/
[3] https://minstroyrf.gov.ru/about/structure/

#economy #sanctions
Я всё хотел написать про ГИС "Экономика" которую Минэкономразвития РФ заказывает за 269 млн руб., конкурс объявлен ещё в апреле, сейчас сопоставляются заявки [1].

Кому-то может показаться что большие деньги, большая система, интересная задача. Кому-то что деньги потрачены ни на что и всё заранее поделено или заранее бессмысленно.

Я же отмечу те "нюансы" которые я вижу из чтения ТЗ и не только.

1. Это ТЗ на разработку аналитической системы, по сути и по описанию ближе всего к BI системе с особенностями восприятия и специфики понимания таких систем органами власти.
2. Есть как минимум две, а реально больше крупные ГИС с пересекающимися функциями. Это ГАС Управление и ЦАП (Цифровая аналитическая платформа) Росстата. Первая система существует давно и как раз проектировалась примерно в тех же целях что сейчас создаётся ГИС Экономика. Вторая всё ещё не запущено, публичных результатов пока нет. Почему не развивается одна из этих систем и создаётся новая - вот в чём вопрос.
3. Разработка систем подобного уровня должно, вначале, предварятся разработкой технического задания. ТЗ приложенное к конкурсу не выглядит как разработанное, в принципе, из ТЗ не ясно кто его автор, не ясна практика использования и тд.
4. В ГИС Экономика хотят перенести внутренние системы Минэкономразвития РФ, используется термин "инфраструктура системы". Например, туда собираются перенести систему управления проектами Минэкономразвития.
5. В ТЗ есть ссылки на документы которые невозможно найти в открытом доступе. Например, из текста "Подсистема управления корпоративной шиной обмена данными создана при исполнении государственного контракта от 09.10.2020 №ГК-105-АМ/Д34."․ Это внутренний номер госконтракта у Минэка, по нему невозможно найти его на сайте госзакупок, а в эту дату такого контракта точно у Минэка не было. Секретный контракт? Сумма меньше сумму запроса котировок? Недостоверная информация в ТЗ? Вопросов много

Если внимательно изучать ТЗ, то там есть много такого к чему будет много вопросов.

Но ключевое другое, ключевое то что работы по созданию таких систем состоят из довольно понятных крупных задач:
1. Разработка методологии - проведение одного или более НИР, определение задач, источников данных, типов показателей и тд., а по результатам разработка ТЗ.
2. Создание/выбор платформы - платформы для аналитики более универсальны или недостаточно готовы, но в любом случае почти никогда не делаются с нуля.
3. Сбор/приобретение данных - это, на самом деле, одна из сложнейших задач, как сформировать показатели на доступных данных и как получить данные которых сейчас может не быть
4. Построение аналитических панелей на основе методологии, платформы и данных.

Важно то что при разумном планировании каждая из этих задач - отчуждаема и задачи эти делают разные люди в параллельно или последовательно.

Ситуация с этим ТЗ такова что методологии за ним нет, приобретение данных описано невероятно скромно, только данные Роспатента, ФНС и Казначейства. Аналитические панели описаны без какого-либо пользовательского опыта, наборами функций.

Выводы у меня удручающие. Даже если там нет коррупции, то качество проектирования такое что смысл и назначение этой системы совершенно непонятны и, самое главное, к пониманию состояния экономики страны никого из нас не приблизит. Скорее станет именем нарицательным.
- Как там у нас с экономикой, также как с ГИС "Экономика", никак. (с)
- Какая Экономика такая экономика (с)

Ссылки:
[1] https://zakupki.gov.ru/epz/order/notice/ok20/view/common-info.html?regNumber=0173100008622000005

#government #russia #economy #it
В Евросоюзе, очень похоже, начался сезон индексов и рейтингов и вышел рейтинг Digital Economy and Society Index (DESI) 2022 [1] о состоянии цифровой экономики и общества.

Индекс по 4-м направлениям:
- человеческий капитал
- цифровая инфраструктура
- интеграция цифровых технологий
- цифровые государственные услуги

Он почти полностью основан на статистике Евростата, данных опросов Еврокомиссии, данных по участию стран ЕС в общих проектах и данные о стартапах из Startup Genome.

Сравнение стран - это, конечно, важно, но самое интересное в таких публикациях это материалы о многочисленных страновых проектах перечисленные в документах профилей стран. Среди этих проектов немало национальных порталов открытых данных и иных проектов по обмену данными.

Ссылки:
[1] https://digital-strategy.ec.europa.eu/en/library/digital-economy-and-society-index-desi-2022

#opendata #government #eu #opengov #digital #economy
В рубрике интересных проектов на открытых данных и создающих открытые данные база DB Nomics [1]. Это общедоступная база открытых данных показателей собранных из 65 источников таких как UN Data, портал открытых данных Всемирного банка, данные центральных банков многих стран, Евростата и так далее. Даже с сайта российского Росстата собирается несколько показателей [2]. Все содержимое сайта доступно через через открытое API [3] и в репозиториях на Git вместе с его кодом, который также полностью открыт [4]. Кроме того существуют клиенты для доступа к данным для языков программирования Python, R, Julia и для продуктов Mathlab, Stata и многих других. В общей сложности там собрано 24862 показателя, многие из которых обновляются ежедневно.

DB Nomics можно отнести к проектам для исследователей экономистов. Его команда работает во французском мозговом центре CEPREMAP и данные индикаторов, собираемых в проекте, используются для формирования макроэкномических моделей и прогнозов․ Таких как Macroeconomic outlook [5] от 23 декабря 2022 года.

Проектов собирающих данные показателей по странам довольно много, но важное отличие именно DB Nomics в открытости данных и кода и при этом довольно высоком качестве реализации.

Ссылки։
[1] https://db.nomics.world/
[2] https://db.nomics.world/ROSSTAT
[3] https://api.db.nomics.world/v22/apidocs
[4] https://git.nomics.world/dbnomics
[5] https://www.cepremap.fr/depot/2022/12/2022-12-23-Macroeconomic-Outlook.pdf

#opendata #dataset #economy #france #indicators
Кстати, про закрытые в России данные отдельная история о том что со временем, некоторые данные, воспроизводятся из других источников. Например, реальные данные по экспорту/импорту хотя российской таможней более не публикуются, но публикуются странами с которыми идёт торговля и доступны в международных базах открытых и коммерческих. Сейчас почти везде в открытых базах фигурирует статистика торговли за 2021 год, но где-то к середине 2024 года будут доступны цифры и за 2023 год и тогда в продуктах которые их используют можно будет много увидеть наглядно. Тот же Atlas of Economical complexity [1] более чем нагляден и в нём используется база COMTRADE. Правда, по России выдаёт данные только за 2020 год [2].

Но пока нет международных данных, есть возможность посмотреть на данные национальные, некоторые статслужбы публикуют их весьма оперативно и детально. Например, я недавно [не]случайно изучал статистику импорта и экспорта одной арабоязычной страны и там видно наглядно как импорт из России в 2021 году составляет $34.3 миллиона, в 2022 году $16.9 миллионов, а в 2023 году $8,6 миллионов. Там правда вполне очевидные последствия санкций на российских сталелитейщиков и угледобытчиков, тем не менее, за 2022-2023 годы изменения в структуре торговых балансов стран и изменения путей и объёмов поставок весьма существенные и есть источники данных на которые, например, российское Пр-во повлиять никак не может.

А это означает что можно собирать "данные о России которые находятся вне России". Впрочем есть риски что российские власти начнут (уже начали?) влиять на страны ЕАЭС для сокрытия их таможенной статистики, так что это ещё один из видов сведений требующих внимания и проактивной архивации.

Ссылки:
[1] https://atlas.cid.harvard.edu
[2] https://atlas.cid.harvard.edu/explore?country=186&queryLevel=location&product=undefined&year=2020&productClass=HS&target=Partner&partner=undefined&startYear=undefined

#russia #economy #statistics #customs #thoughts #data