The Economist выложили данные и скрипты для расчёта Индекса Бигмака [1]. Много данных, ещё с 1986 года, когда впервые Big Mac Index [2] был заявлен.

Все подробности на их Github репозитории [3]

Ссылки:
[1] https://medium.economist.com/peeling-back-the-curtain-487bd3be0c47
[2] https://www.economist.com/bigmac
[3] https://github.com/TheEconomist/big-mac-data

Знаете почему в обсуждениях, пересказанных встречах и материалах, например, к Национальной системе управления данных (почти нет материалов, но всё же). Так вот знаете почему к этому всему нет отсылок к результативному международному опыту и примеров?

Потому что нет успешных мировых проектов в этой области, а вот провальных много. И проваливались они из-за исключительной сложности интеграции негармонизированных данных, тяжёлом процессе разработки стандартов и сильнейшему сопровотивлению всех отраслевых регуляторов. Ну или незаинтересованности.

Очень не хочется быть мрачным предсказателям и объяснять куда пойдет и что будет с этой затеей без должного проектирования.

#government #data

Госуслуги дают мощный сбой в Сургуте [1] и в Красноярске [2], Татарстане [3] [4], Оренбурге [5] и это не в первый и не в последний раз, ранее были сбои при подключении школ и детских садов в Бурятии [6].

Причина сегодняшнего сбоя в запуске Единого государственного реестра записей актов гражданского состояния созданного ФНС России. Благая цель по объединению всех ЗАГСов в одну федеральную государственную информационную систему, в первую очередь, в целях учёта налогоплательщиков, привела к тому что система работает с перебоями.

Но беда не только в этом, беда в том что на федеральные госинформсистемы сейчас завязана вся цифровая инфраструктура субъектов федерации. Кабель оборванный пьяным экскаваторщиком, сбой ПО, вирусная атака, отказ оборудования и многое другое может привести к катастрофическим последствиям резкой де-цифровизацией значительных областей нашей жизни завязанных на централизованные сервисы.

Это страшнее чем внедрение Большого брата, это хрупкий мир.

Ссылки:
[1] https://sitv.ru/arhiv/news/gosuslugi-dali-sboj-v-surgutskom-zagse-naplyv-posetitelej/
[2] www.prima-tv.ru/news/society/49550-v_zagsakh_obrazovalis_ogromnye_ocheredi/
[3] https://ntr-24.ru/index.php?newsid=52251
[4] https://www.evening-kazan.ru/news/na-portale-gosuslug-rt-proizoshel-proizoshel-sboy-nedostupna-podacha-zayavleniy-v-zags.html
[5] https://www.orenday.ru/novosti/novostnaya-lenta/091018160605
[6] https://vtinform.com/news/147/130940/

#госуслуги

В Ирландии Open Data Governance Board выделил 30 тыс. евро на Open Data Engagement Fund, Фонд вовлечения работы с открытыми данными [1] с максимальным финансированием одного проекта до 5 тыс. евро.

В рублях это 2,3 миллиона рублей фонд, и до 380 тыс. рублей соответственно. Прямо скажем суммы очень скромные, но в подробностях его работы можно узнать что из него дают средства в том числе на презентации, блоггинг, проведение мероприятий, разработку приложений и тд. [2]

Лично я давно думал о необходимости такого Фонда микрогрантов в России, и даже не так много денег нужно на него, менее 10 миллионов рублей в год с учётом отличий по численности граждан и размере территории, но в России институциональная поддержка каких-то тем вроде открытых данных очень усложнена.

Ссылки:
[1] https://data.gov.ie/pages/open-data-engagment-fund
[2] https://data.gov.ie/uploads/page_images/2018-09-21-094351.783158Open-Data-Engagement-Fund-2018-2019.pdf

#opendata #ireland

Wikileaks опубликовали карту дата центров Amazon [1] и нанесли их на карту мира [2]. Всё это из конфиденциального документа утекшего в Wikileaks относительно недавно [3].

Amazon давно был известен своей секретностью по местонахождению их дата центров, не раскрывая их местонахождения много лет.

При этом у Amazon уже 34% рынка облачных сервисов [4], их активно использует разведывательное сообщество США, Минобороны США и тясячи компаний и госучреждений. Это всё со ссылками и примерами и упоминают WikiLeaks

Сейчас дата-центры Amazon'а есть во всех ключевых юрисдикциях: США, Евросоюз, Япония, Китай, Австралия.
Но они полностью отсутствуют в странах СНГ, арабских странах и в Африке.

Ссылки:
[1] https://wikileaks.org/amazon-atlas/
[2] https://wikileaks.org/amazon-atlas/map/
[3] https://wikileaks.org/amazon-atlas/document/AmazonAtlas_v1/AmazonAtlas_v1.pdf
[4] https://www.srgresearch.com/articles/cloud-revenues-continue-grow-50-top-four-providers-tighten-grip-market

#privacy #hosting #amazon

Оказывается Андрей Мовчан перевёл выступление Рубини по поводу криптовалют в сенате США. Вот лишь несколько фраз оттуда [1]
---
«Крипто – самый серьезный скам и (уже лопнувший) пузырь в истории, а блокчейн – самая переоцененная технология, которая в реальности не лучше чем таблица Экселя или обычная база данных»
«Падение биткоина на 70% было хорошим исходом – более 95% остальных криптовалют обвалились более чем на 95%. 81% ICO оказался простым мошенничеством, 11% умерли не родившись, только 8% торгуются на биржах»
«Называть криптовалюты «шиткоин» - это оскорбление субстанции, которая является важным органическим удобрением»
---
Лично у меня, в маленькой чёрной записной книжечке и в онлайн контактах давно напротив некоторых людей стоит маленькая пометочка: "Осторожно! Пропагантировал(-а) крипту и блокчейн". И если блокчейну (вернее: distributed ledger technology) ещё, в ооочень редких случаях, но есть применения, то крипта мало чем от скама отличается.

Ссылки:
[1] https://www.facebook.com/andrei.movchan/posts/2140224592700406

#crypta #scam

Новость которая чуть было не прошла незаметно "Adobe, Microsoft and SAP announce the Open Data Initiative to empower a new generation of customer experiences" [1]

Майкрософт, SAP и Adobe запустили свою инициативу по Open Data.

Что описывают как:
- каждая организация владеет и обеспечивает полный прямой контроль за своими данными
- клиенты могут включить процессы основанные на ИИ для получения инсайтов и знания из унифицированных поведенческих и операционных данных
- широкая экосистема партнёров должна помочь легкому подключению моделей данных к решениям

Иначе говоря - это не про открытость, а про "открытое предложение для бизнеса". Определение никак не бьётся с определением из Open Definition [2] и я предвижу уже многочисленные конфликты который возникнут из-за названия "Open Data Initiative". Понятно что вкладывается принцип что это "Открытая инициатива по работе с данными", а открытость - это открытость для вендоров и партнёров, но, близость терминов до смешения не поможет ей.

Тем временем соответствующие разделы на сайте Microsoft [3], Adobe [4] и SAP [5] уже появились.

Ссылки:
[1] https://news.microsoft.com/2018/09/24/adobe-microsoft-and-sap-announce-the-open-data-initiative-to-empower-a-new-generation-of-customer-experiences/
[2] https://opendefinition.org
[3] https://www.microsoft.com/en-us/open-data-initiative
[4] https://www.adobe.com/experience-platform/open-data-initiative.html
[5] https://www.sap.com/about/announcement/open-data-initiative.html

#opendata

OpenMultilaterals [1] - это небольшой интересный проект про прозрачность межгосударственных организаций. Они выкладывают данные по контрактам и статистику ООН, Всемирного банка и НАТО с разбивкой по странам поставщикам и подрядчикам.

Оттуда можно узнать, например, о контрактах НАТО с российскими поставщиками в 2012 году

Ссылки:
[1] https://openmultilaterals.org/

#opendata #un #nato #wb

Не только в России много дискуссий по поводу систем идентификации граждан. Fergus Hanson из Australian Strategic Policy Institute пишет о провалах австралийской программы идентификации граждан в статье "Preventing another Australia Card fail" [1].

В том числе он упоминает о том что:
1. Программ идентификации по лицам в Австралии две Face Verification Service и Face Identification Service
2. Программ электронных паспортов тоже две Digital ID и GovPass
3. Отдельного законодательства регулирующего эти системы нет

Статья уже побудила ответ австралийского Digital Transformation Agency [2], что мол всё это не совсем так и автор просто плохо читал документы.

Как бы то ни было, это интересное чтение и напоминание что глобальные проекты по идентификации граждан идут не только в России. И скорее всего не в России они будут первыми завершены.

Ссылки:
[1] https://www.aspi.org.au/report/preventing-another-australia-card-fail
[2] https://www.dta.gov.au/news/digital-identity-a-statement-from-dta/

#privacy

Первый подход к снаряду систематизации трендов в гос ИТ в мире.
Я пока успел описать 8 и далее продолжу:
1. Открытая разработка в гос ИТ (открытый код, открытые репозитории)
2. Открытые государственные данные
3. Машиночитаемые законы
4. Гособлака
5. Отказ от внешних подрядчиков и команды разработки in-house
6. Электронная цифровая подпись
7. Внедрение цифровых паспортов и онлайн идентификации для граждан
8. Внедрение страновых биометрических банков данных

Вот тут я их систематизирую более подробно у себя в блоге
https://begtin.tech/govit-trends/

В следующий раз распишу:
- реформы закупок ИТ в государстве;
- построение сверхцентрализованных ИТ систем;
- подготовка кадров и изменение требований к квалификации;
- экосистемы API
- построение типовых компонентов
- построение сообществ разработчиков в гос ИТ
- госсистемы цифровых платежей
- типовые дизайн шаблоны ИТ систем и сайтов
- единые сайты органов власти (один на все органы)
- частно-государственные партнерства
- приватизация госорганизаций владельцев ИТ систем и баз данных

Ну а в целом каждая тема требует отдельного обстоятельного текста.

Часть из этих тем касающиеся данные я буду раскрывать на курсе CDTO в ВШГУ РАНХиГС в это воскресение и далее в ноябре и декабре для топ чиновников субъектов федерации и федеральных органов власти.

#opendata #data #cdto #cdo

Twitter раздает более 300 ГБ данных для борьбы со спамом, манипуляциями и тд [1]
Много возможностей для исследователей это даёт.

Ссылки:
[1] https://about.twitter.com/en_us/values/elections-integrity.html#data

Только ленивый уже не написал про падение акций Яндекса после даже только намёка на то что Сбербанк готов купить 30% пакет его акций. Я затрудняюсь сказать хорошо ли будет с этого Яндексу или плохо глобально. Внутри страны точно лучше и проще, будет точка опоры для конкуренции. А вот снаружи врядли станет лучше хоть в какой-то форме.

Главные вопросы тут:
1. Станет ли Яндекс уже точно однострановой компанией, а то есть не имеющей существенных доходов за пределами России?
2. Подпадёт ли когда-либо Сбербанк под санкции и Яндекс соответственно?
3. Сбербанк активно сейчас работает с госсектором, войдет ли Яндекс на этот рынок хоть с одним продуктом ?

#yandex #sberbank

Ещё один проект по бизнесу на открытых данных - DataPress [1] позволяет городским властям быстро создать портал открытых данных города и сразу добавить туда красивую инфографику.

DataPress это один из проектов подобного типа. Кроме него вот уже много лет существуют подобные PaaS проекты создаваемые OpenDataSoft и Socrata. Все они конкурируют по лучшей подаче данных, визуализации, наличию API и многим другим возможностям.

Конкретно DataPress пока мало чем отличается кроме как более смазливым видом. Но то что в этой среде есть конкуренция - это оченб хорошо, помимо открытых проектов CKAN, DKAN, JKAN есть и сильные коммерческие продукты.

Ссылки:
[1] https://datapress.com/

#opendata

Тема дня (вечера) - это свежевнесённый закон о больших данных [1]. В нём, например, прописано что если у тебя есть база на 1 тыс. абонентов то это большие пользовательские данные. Ещё там написано что спецслужбы имеют право нарушать тайну личности и много чего другого, включая то что реестр операторов больших пользовательских данных будет вести Роскомнадзор.

И тут возникает сразу несколько важнейших вопросов:
1. Оператором данных более 1000 абонентов являются большинство управляющих компаний и невероятное число мелкого и среднего бизнеса. Реестр будет тотальным
2. А зачем тогда нужно было придумывать АНО Цифровая экономика, большую госпрограмму, Сколково которое создало кучу тематических работчих групп по нормативке если потом пара депутатов может "вот так взять и внести закон". Иначе говоря, очень хочется большей предсказуемости.
3. С каких пор маркетинговый термин big data оказался частью законопроекта. Это тревожный сигнал.

Ссылки:
[1] https://asozd2c.duma.gov.ru/addwork/scans.nsf/ID/50B9D24C5F2541B84325832F00378819/$FILE/571124-7_23102018_571124-7.PDF?OpenElement

#data #bigdata

Замечательный стартап из Республики Беларусь - OpenSoil [1] мониторит посадки в сельхозугодиях в странах и даёт высокую точность определения того что посажено и что растёт: трава, кукуруза, пшеница и тд. Оказывается в мире такого мало, очень активно его комментируют на ProductHunt [2].

Я бы сказал что ему прямая дорога на внедрение в госсекторе, это куда эффективнее многих инструментов мониторинга, но скорее первыми пользователями будут крупнейшие агрохолдинги, аналитики и тд.

Ссылки:
[1] https://onesoil.ai/ru/
[2] https://www.producthunt.com/posts/onesoil-map-2

#opendata #data

Возможно кто-то помнит про OpenData bullshit bingo, игра в которую мы играли во время обсуждения открытых данных с чиновниками.

Смысл был в том чтобы пока слушаешь выступление надо ставить крестики в полях и когда колонка или ряд будут заполнены полностью то надо встать и крикнуть "Бинго!".

Игра не потеряла актуальности и для неё наш дизайнер Павел сделал крутые стикерпаки для Телеграма.

Вот тут они https://t.iss.one/addstickers/infoculture

Пользуйтесь стикерами на здоровье.

#opendata

Стикерпак

Не только у Google есть поиск по наборам данных. В Австралии разработали позаказу правительства движок Magda [1] который агрегирует данные со всех порталов открытых данных страны и дает возможность быстрого и удобного поиска на search.data.gov.au [2].

Кроме публичных порталов он агрегирует данные и из закрытых порталов и вычищает данные от ошибок, сломанных ссылок и так далее.

Но пользователь всегда по умолчанию видит поисковую строку с возможностью предпросмотра результатов в виде таблиц и графиков.

Если сравнить с поиском по датасетам Гугла, то австралийский поиск куда удобнее. С той лишь оговоркой что поиск Гугла ориентирован на наборы данных по которым предпросмотр очень ограничен их объёмами.

Ссылки:
[1] https://magda.io/
[2] https://search.data.gov.au/

#opendata #search