Для всех кто думает о собственной безопасности в сети - вот тут подробный список сервисов с двухфакторной аутентификацией (2FA) https://twofactorauth.org/

В этом списке их более 100 и все разбиты по категориям и с детализацией того как именно двухфакторная авторизация поддерживается.

Основные сервисы там зарубежные, но многими из них пользуется большое количество потребителей в России. И, там же, есть возможность написать твит с запросом двухфакторной авторизации тем сервисам кто её не поддерживает.

Хороший и полезный проект с правильной идеей и простой, но точной реализации.

В России сервисов с двухфакторной авторизацией очень мало, но вполне можно было бы составить и их список. Например, далеко не все банки её поддерживают. Если Альфа-Банк для физических лиц обязательно поддерживает 2FA в Альфа Клике через СМС, то банк Тинькофф вместо этого присылает только уведомляющую СМС с предупреждением о входе.

Большинство других банков, сервисов, хостинг провайдеров не делает даже этого.

#privacy #security

Несколько изданий в последнее время спрашивали моё мнение по поводу закона Яровой, историей с «обособлением трафика» в Рунете и тд. Это тема на которую невозможно дать короткий ответ, а развёрнутый ответ будет о том что это только начало и что, безусловно, в будущем вполне возможны и будут меры гораздо больше посягающие на приватность не только граждан, но и бизнеса.

В общем-то, отсутствие сильного присутствия государства в интернете связано исключительно с распилом бюджетов. Как бы странно это не звучало, но многие годы именно коррупционнеры, распильщики и бюрократы были главным барьером между современным состоянием общества и повсеместным внедрением «Большого Брата». Неэффективность государства спасала нас от его «людоедства». И будет ли «гуманным» наше государство если повысит эффективность своей работы - это очень большой вопрос.

История с «законом Яровой», кстати, лишь подтверждает эту модель. Введение налога на операторов потребовало бы проведения его через множество министерств, согласования, утряски множества интересов, в первую очередь с финансовым блоком. Поэтому в законе и прописали именно в такой форме «донагрузив» операторов необходимостью хранения звонков, сообщений и тд. В данном случае у нас ситуация когда неэффективность текущей бюрократии сыграла многократно против общественного интереса.

Однако есть множество мер которые до сих пор просто «лежат под сукном» и могут быть активированы во вполне короткие сроки. И, если быть честными с самими собой, то нет простых способов их остановить.

1. Внедрение и постепенное использование «белых списков» сайтов, например, для доступа детей в школах. С постепенным внесением в реестры вообще всех онлайн ресурсов имеющих российскую аффилированность. Миллионы доменов - это не так много как может показаться. Перспективы подобного 2-3 года.

2. Учёт, контроль и дублирование инфраструктуры во всех смыслах. Учёт и контроль всех внешних каналогв Создание государственных DNS серверов, центры мониторинга трафика, сбора данных со счётчиков (внутрироссийских), статистики провайдеров и так далее. 3-4 года - это крайний срок когда это произойдет.

3. Активизация внедрения ЕСИА для социальных сетей, банков, онлайн сервисов и так далее. Сейчас ЕСИА используется только органами власти и проектами вроде РОИ, но неизбежен тот момент когда государства в лице профильных регуляторов начнёт активно навязывать этот инструмент. Я бы предположил что не более 2-х лет когда эта инициатива будет публично озвучена и запущена.

4. Государством контролируемая инфраструктура для коммерческих облаков. История с тем как 1С сейчас внедряет единое корпоративное облако для всех бюджетных учреждений Москвы должна наводить на важные мысли. Не пройдёт и 5 лет как ФНС внедрит одну из двух важнейших стратегий или гибридную.
1-я - обязать всех провайдеров бухгалтерий в облаке хостить их на их инфраструктуре и, соответственно, иметь круглосуточный и полный доступ ко всем данным.
2-я - ввести требования ко всем онлайн бухгалтериям в предоставлении непрерывного доступа к данным о всех операциях компаний. И, постепенное, принуждение всех компаний вести бухгалтерию только онлайн. Вначале через «морковку» снижение риска проверок, далее через принуждение.

5. Введение требований по «вечному хранению» переписки, смс, сообщений и тд. Всего кроме видео и аудио контента. В течении 4-х лет это произойдет. Собственно текущие требования к операторам можно рассматривать как репетицию перед этими изменениями.

6. Самое сложное, но очень важное. Попытки перейти к контролю конечных устройств. До тех пор пока пользователь сам контролирует свой компьютер невозможно его контролировать полностью. Он может настроить VPN, хранить у себя запрещённый контент, или же как-либо иначе избегать внимания государства. Государство неизбежно придёт (или хотя бы активно попытается) внедриться на каждый компьютер и каждый гаджет так чтобы собирать информацию о каждом человеке. Как это будет - через скупку ключевых приложений окологосударственными структурами, через тесную аффиляцию с производителями антивирусов или полу-легальными метод

ами - сейчас говорить ещё рано. Но то что попытки внедрится будут - это точно. Пока в мире есть только одна страна которая может делать это «естественными образом» - это США, в юрисдикции которых находятся Apple, Microsoft, Google. Но даже они не контролируют всех производителей устройств. Я бы поставил на то что в течении 5-6 лет мы увидим несколько попыток российских властей это реализовать. Скорее всего попыток безуспешных, но кто знает.

#security #privacy

Надо признать, в позапрошлом посте я поспешил обвинить Тинькофф банк что у них нет двухфакторной авторизации. Она оказывается есть, но её надо активировать отдельно в настройках, так как по умолчанию она не включена.

Однако, конечно нехватает российского аналога https://twofactorauth.org/ в котором можно было бы рассмотреть все банки и ключевые сервисы

#security #privacy

Открытые данные, открытые проекты и открытый исходный код.

Я продолжаю систематизировать и постепенно выкладывать исходный код и открытые данные проектов накопленных за эти годы.
Начну с самого интересного.

Латиница в госзакупках, "слепые закупки" и так далее теперь выложено в репозиторий в открытом доступе вот тут https://github.com/infoculture/blindprocurement

В репозиторий opegosduma добавлены данные по депутатам https://github.com/infoculture/opengosduma/tree/master/data включая все выгруженные тексты их выступлений (на 2011 год)

Сбор данных с портала госуслуг в 2011 году https://github.com/infoculture/gosuslugi_2011

Открытая Счётная Палата - https://github.com/infoculture/openchamber данные собираемые с их сайта (2010 год)

Открытые выборы - https://github.com/infoculture/openelections данные по выборам собранные в 2011 году.

А также множество другого исходного кода можно найти в аккаунтах Инфокультуры на Github'е https://github.com/infoculture и в моём личном аккаунте там же https://github.com/ivbeg?tab=repositories

(вопросы можно задавать мне по почте [email protected] или в телеграм @ibegtin)

#‎opendata #‎opensource #‎opengov

Поскольку прошлый день был неполон, то расширил свой "день паранойи" на сегодняшний день и подумал, не использовать ли его как тренировку в формате 1 проект - 1 день.
Тренировку я выбрал следующую:
1. Разобраться в коде twofactorauth.org
2. Склонировать его и перевести на русский язык - не только интерфейс, но и комментарии к сервисам, удалить неактуальные для Рунета и добавить актуальные, например, авиакомпании.
3. Развернуть обновлённый сервис.
4. А заодно разобраться в том как будет работать связка Github+Jekyll+Travis+PubStorm и с привязкой произвольного домена.
На всё про всё 5 часов - я уложился в 3.5 часа начав в 14:35 и закончив сегодня в 18:03 чистого времени, не считая 20 минут на обед.
С оговоркой что большую часть используемых технологий, кроме Github, я лично видел впервые.
Пришлось конечно отключить все мессенжеры или не отвечать тем кто писал. На несколько часов.
Итого что я сделал:
1. Развернул https://2fa.infoculture.ru адаптированный под рунет каталог сервисов с поддержкой двухфакторной авторизации
2. Добавил туда несколько российских сервисов
3. Заодно проверил и обновил политики безопасности в собственных, малоиспользуемых аккаунтах.
По итогам могу сказать что однодневное развёртывание проектов, это очень и очень просто.
К чему это всё. К тому что при желании взять готовых код и чуть его дошлифовав. Для чего бы то ни было, для участия в хакатоне или для личного удовольствия.
Готовых проектов для чего бы то ни было столько что не пересчитать. Визуализация бюджетов? Да, пожалуйста. Анализ погодных данных? Да тоже есть.
#‎opensource #‎opendata

Муниципальные данные, как и в целом данные гиперлокальные - это одна из актуальных и сложных тем во всех более-менее крупных странах со сложной системой управления. Мало того что муниципальная статистика часто искажается из благих и не очень побуждений, так ещё и трудно получить данные достаточно наглядно для принятия решений или для оценки качества жизни (что тоже для принятия решений).

К сожалению, проект OpenlyLocal [1] в Великобритании давно закрылся. Крисс Таггарт, его создатель, с головой переключился на проект OpenCorporates. А проект был более чем интересен, это наглядная возможность посмотреть аналитику и данные по сотням муниципалитетов. Огромная работа, жаль, теперь недоступная.

Живой проект «приборной панели» муниципалитета - это давняя мечта многих. В каких то случаях её частично подменяет визуализация местного бюджета, но это узкие проекты и развитием только от бюджета территории.

Из последнего что я видел в этой области - это британский Local Authorities Profiles [3] где для каждого графства (муниципалитета) приведены цифры и аналитика. Относительно простой и неплохо сделанный проект. Что характерно, в рамках проект Open Data Communities [4] британского правительства. А самое сложное в том что это реальный проект на связанных открытых данных с подробной документацией [5] в данном случае использование связанных данных оправдано сложностью самих данных.

Ведомством которое могло бы сделать аналогичное в России мог бы быть Росстат, но пока больше вероятность что если такой проект и появится то он будет частным - общественным или коммерческим.

(вопросы можно задавать мне по почте [email protected] или в телеграм @ibegtin)

Ссылки:
[1] OpenlyLocal https://openlylocal.com
[2] https://irvineca.opengov.com/transparency
[3] https://apps.opendatacommunities.org/showcase/dashboard
[4] https://opendatacommunities.org/
[5] https://docs.publishmydata.com/developers/100_linked_data_api.html

Keybase.io [1] , свежий стартап помогающий использовать открытые ключи шифрования максимально удобно. Специально для параноиков желающих сохранить комфорт, а не приобрести нервозность. Это совмещение соцсети, identity management и управления открытыми ключами + возможность безопасного обмена файлами и сообщениями. Интересное в проекте то что он позволяет на базе себя в коротком будущем построить доверенный мессенжер.

Проект получил 10.8 миллионов долларов венчурного финансирования в июле 2015 года [2] и

Со мной в keybase можно связаться по аккаунту https://keybase.io/ibegtin

Сам проект находится в стадии альфы (очень рабочей альфы, правда) и для участия надо или долго ждать или получить инвайт.

Пишите мне на @ibegtin в телеграме свой email и я сразу вышлю Вам инвайт - у меня их осталось 25 штук.

Ссылки:
[1] https://keybase.io
[2] https://www.crunchbase.com/organization/keybase

#privacy

Появляется всё больше и больше публикаций о том что big data - это необязательно манна небесная, но наоборот, меняет и разрушает существующие социальные и экономические отношения. Oliver Ralph в статье в Financial Times [1] пишет о том что некоторые граждане рискуют стать (и становятся) нестрахуемыеми, даже точнее, «непригодными для страхования».

Всё дело как раз в современных алгоритмах и накопленным данным которые позволяют страховым компаниям отказывать потенциальным получателям страховки в виду их высокой рискованности.

Однако такая выгода для страховых компаний оборачивается разрушением роли страховых компаний для общества. В мире где страховка необходима для зарубежных поездок, получения работы и многого другого где она является обязательной, в этом мире мы сталкиваемся с ситуацией «новых неприкасаемых». Это люди чьи поступки, действия или чьё окружение в прошлом привели к тому что они исключаются из значительных областей человеческой жизни. Ими могут оказаться как те кто ранее был осуждёт, пережил серьёзную болезнь, так и те у кого может быть обнаружена генетическая болезнь.

В особенности это касается медицинского страхования и особенные риски создаёт как раз доступность генетических данных. Уже сейчас медицинское страхование устроено так что если у Вас выявлено серьёзное хроническое заболевание, то стоимость медицинской страховки при платном страховании значительно вырастает. А в ситуации когда будущие хронические заболевания можно предсказать по генетическим данным мы окажемся в ситуации появления активной генетической дискриминации, очень похожей на ту которую можно было увидеть в фильме Гаттака [2].

Здесь нельзя не напомнить о Genetic Information Nondiscrimination Act of 2008 законе США, пока единственной известной мне стране где подобная практика запрещена законом, что впрочем не означает что она не будет практиковаться там и в других странах, включая Россию.

Ссылки:
[1] https://www.ft.com/cms/s/0/1900a88c-4e71-11e6-88c5-db83e98a590a.html#axzz4F2wBoLG3 (требует регистрации и подписки)
[2] https://ru.wikipedia.org/wiki/%D0%93%D0%B0%D1%82%D1%82%D0%B0%D0%BA%D0%B0
[3] https://www.genome.gov/10002328/genetic-discrimination-fact-sheet/

#bigdata #opendata #privacy #genetics

Для всех кто всё это время был подписан на канал, но не имел возможности обсудить новости - появился канал https://telegram.me/begtinchat где можно обсудить любую новость, задать вопросы мне или кому-либо ещё из участников. Присоединяйтесь прямо сейчас!

Также напоминаю что у нас есть отдельное сообщество которое посвящено только открытым данным - https://opendatarussia.slack.com и оно работает только по приглашению. Если вы активно интересуетесь открытыми данными и у Вас есть вопросы или темы которыми хотелось бы поделиться, то пишите мне на @ibegtin и я пришлю Вам приглашение.

#opendata #opengov #messengers

Институт открытых данных (The ODI) выпустили версию 0.4 приложения Comma Chameleon [1] - по валидации CSV файлов, а заодно и по исправлению в них ошибок. Эта версия наиболее стабильная из всех предыдущих и существует для Mac, Linux, Windows и просто как открытый код в репозитории [2].

Полезный инструмент для всех кто готовит данные для публикации и думает об автоматизации и упрощении очистки данных.
Также напомню что существуют такие сервисы и инструменты как:
- CSVLint [3] - онлайн сервис по валидации CSV файлов и с открытым кодом [4]
- CSVkit [5] - библиотека для Python по многочисленным манипуляциям с CSV файлами и множеством инструментов для командной строки
- textql [6] - инструмент по запуску SQL запросов на CSV/TSV файлах
- PapaParse [7] - парсер очень больших CSV файлов
- Countries [8] - страны мира в JSON, CSV, XML и YAML
- Tablib [9] - библиотека для работы с любыми табличными данными включая CSV

(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)

Ссылки:
[1] https://github.com/theodi/comma-chameleon/releases/tag/0.4.0
[2] https://github.com/theodi/comma-chameleon
[3] https://csvlint.io/
[4] https://github.com/theodi/csvlint
[5] https://github.com/wireservice/csvkit
[6] https://github.com/dinedal/textql
[7] https://github.com/mholt/PapaParse
[8] https://mledoze.github.io/countries/
[9] https://github.com/kennethreitz/tablib

#opendata #opengov #csv #datacleaning

В свежем постановлении Правительства о снятии ограничений на закупку иностранного оборудования, ПО и тд с силовых ведомств [1] мало текста, но много важного на что можно и стоит обратить внимание.

1. Перечислены всего 6 ведомств: МВД, ФСБ, ФСО, СВР, Управделами Президента, ФСТЭК. При этом не упомянуты: Росгвардия, Следственный комитет и Минобороны.

В случае Росгвардии могли просто забыть, они ещё только доформируются как ведомство. Минобороны, возможно, будет регулироваться полностью отдельно. А вот то что не упомянут Следственный комитет - я бы насторожился. Следственный комитет закупает весьма немало зарубежного ПО (особенно израильского) и как они теперь будут проводить forensic investigations (дознавательные действия) лично для меня загадка.

2. Всё это выглядит, конечно, несерьёзно. В мире правительства наоборот ужесточают требования к оборудованию и ПО используемых для обеспечения безопасности, а в России перевёрнутая схема. Ужесточаются требования к гражданским ведомства и ослабляются к силовым. При этом инвестиций в создание российской экосистемы программного обеспечения ни те ни те не делали. Силовые органы массово закупают ПО и оборудование в США, Германии и Израиле и у них нет российских альтернатив, а если их создавать, то это миллиардные инвестиции лет на 10. Один только рынок информационных лабораторий - это регулярные закупки израильского ПО Cellerbrite по вскрытию мобильных приложений всех типов. Но у них все конкуренты тоже не российские. В качестве базового ПО всё равно используются продукты Microsoft и в качестве баз данных - тяжёлые коммерческие решения зарубежных вендоров.

Но что сделало федеральное правительство чтобы хотя бы инвентаризировать текущую инфраструктуру? Чтобы ввести грантовую поддержку разработчиков по ключевым направлениям? Короткий ответ - ничего.

Поэтому дело не только в том что «импортозамещение» - это большая системная ошибка, но и в том что даже его текущая вертикаль госуправления внедрить не сможет.

(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)

Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001201607210022

#privacy #goszakaz

Всего полторы недели назад кнессет Израиля принял во втором и третьем чтениях закон о иностранных агентах [1] . Несмотря на то что в итоговую редакцию закона не попало изначальное предложение [2] по принуждении представителей НКО полуающих иностранные деньги носить бэджи с указанием организации, тем не менее никуда не делось положение о регистрации таких НКО как иностранных агентов (foreign agent).

Особенность закона в том что при 30 тысячах НКО в Израиле, активны около половины и лишь 70 специализируются на Палестино-Израильском конфликте и выступают за мирное урегулирование. Их финансирование проистекает от Евросоюза и отдельных европейских стран. Мало сомнений в том что закон направлен именно против них. Это можно прочитать в речах Министра юстиции Аелет Шакед и остальных выступающих в поддержку закона в кнессете.

Израиль не первая и не последняя страна мира где принимаются подобные законы регулирования «мягкой силы» в лице НКО. Помимо России и Беларуси, такая практика уже есть в Кении и Азербайджане.

(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)

Ссылки:
[1] https://www.ynetnews.com/articles/0,7340,L-4827203,00.html
[2] https://www.ynetnews.com/articles/0,7340,L-4669382,00.html

#opendata #transparency #opengo

Не рекламы, а пользы ради.

Телеграм каналы которые я читаю и рекомендую:
- https://telegram.me/roskomsvoboda - Роскомсвобода. Крайне полезный канал и ресурс для тех кто хочет знать как государство обкладывает нас в интернете со всех сторон
- Университет КГИ https://telegram.me/univerkgi - в рамках Комитета Гражданских Инициатив есть серия школ, лекций и других публичных мероприятий. Некоторые весьма интересные
-https://telegram.me/addmeto - канал Григория Бакунова, директора по распространению технологий Яндекса

#channels

Инструменты для тех кто очень хочет, но не очень умеет визуализировать данные быстро и просто:

- Charted - https://www.charted.co/ быстро визуализирует CSV файл
- Venngage - https://venngage.com/ коммерческий сервис для инфографики неплохо сделанный
- Dipity - https://www.dipity.com/ красивые таймлайны онлайн
- Easily - https://piktochart.com/ удобный генератор инфографики
- Automatic Infographic Generator https://petercv.com/aig/ - название говорит само за себя

(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)

#‎opendata #‎vizual

Для всех кто ищет инструменты по визуализации или готов ими поделиться напоминаю что у нас большой каталог ресурсов для журналистов данных
https://github.com/infoculture/awesome-datajournalism/blob/master/README.md
И его легко пополнять при наличии аккаунта на github'е. Нажимаете на кнопку "редактировать" и редактируете используя Markdown разметку.

Также у нас есть такой же список по открытости бюджетов
https://github.com/infoculture/awesome-openbudget

И по открытым данным на русском языке (не в России, а на русском языке, обратите внимание)
https://github.com/infoculture/awesome-opendata-rus
Это свободноредактируемые общедоступные пополняемые списки куда всех призываю добавлять интересные ресурсы и использовать их как справочные материалы для всех хакатонов и конкурсов

Большой список подобных списков (список списков) есть по адресу https://awesome.re

(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)


#‎opendata #‎opengov

Появился интересный текст о том как развиваются открытые данные на Украине [1] , можно смело сказать что развиваются они там вполне неплохо и есть хорошие шансы что институционально Украина может обогнать и Россию и многие другие пост-советские страны. Можно лишь сожалеть сейчас о текущей ситуации в отношениях.

Проектов на базе открытых данных и по созданию открытых данных в мире много, но проектов на постсоветском пространстве не так много. Россия, Казахстан, Узбекистан [2] и Украина - пока это ограниченный список стран где развитие дошло до создания порталов открытых данных и явно прописанной государственной политики.

Ситуация в других странах далеко не так однозначна. Азербайджан «де факто» исключён [3] из Open Government Partnership, в Киргизии открытые данные развиваются параллельно государству и при поддержке зарубежных фондов [4], как и в Таджикистане [5].

А в Беларуси открытые данные - это частная инициатива [6].

Можно ещё взглянуть на Литву, Латвию и Эстонию, но там открытые данные неизбежны хотя бы из-за общей политики Евросоюза.

(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)

Ссылки:
[1] https://habrahabr.ru/post/306414/
[2] https://data.gov.uz/ru
[3] https://www.opengovpartnership.org/blog/open-government-partnership/2015/05/18/statement-government-azerbaijan%E2%80%99s-participation-ogp
[4] https://www.opendata.kg/
[5] https://opendata.tj/
[6] https://opendata.by/

#opendata #opengov

В ProPublica вышла интерсная статья «Set It and Forget It: How Default Settings Rule the World» [1] о том как «настройки по умолчанию» менюят мир в лучшую и худшую стороны. Например, то что в Испании, Португалии и Австрии гораздо больше водителей готовы пожертвовать свои органы в случае аварии. И причина этого в том что именно в этих странах в анкетах на получении водительских прав реализован принцип opt-out [2]. По умолчанию водитель соглашается с тем что он отдаёт свои органы, но он имеет право отказаться отметив соответствующую галочку.

Книга 2009 года «Nudge: Improving Decisions About Health, Wealth, and Happiness» [3] от Richard Thailer и Cass Sunstein посвящена именно тому как можно изменять жизнь и себя и многих других меняя «настройки по умолчанию в окружающей жизни».

Также как и реорганизация расположения приложений на главном экране Вашего телефона [4] и редизайн окружающего пространства для ежедневных решений [5].

Ссылки:
[1] https://www.propublica.org/article/set-it-and-forget-it-how-default-settings-rule-the-world
[2] https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-014-0131-4
[3] https://www.amazon.com/Nudge-Improving-Decisions-Health-Happiness/dp/014311526X
[4] https://medium.com/human-output/make-it-easy-to-do-what-s-good-for-you-fc0da235e16f#.2kbo7rrjq
[5] https://jamesclear.com/design-default

#infoculture #информационнаякультура #defaults

Одна из особенностей и ощутимых проблем в том как в России продвигается (буксует?) тема открытости и тысячи других немаловажных тем - это архаичная бюрократизация любой новой темы, направления развития или инновации. Вместо демонстрации лидерства гораздо чаще видна демонстрация де-мотивации через формирование комиссий, рабочих групп и советов.

Вместо деятельного соучастия и со-созидания с вовлечением участников внутри государства - мы получаем модель управления основанную исключительно на контроле, мониторинге, протокольных поручениях и безусловным доминированием кулуарного общения над любой даже не публичной дискуссией, а публичные дискуссии превращаются исключительно в PR мероприятия.

Это очень сильно контрастирует с тем что происходит в мире, особенно в тех странах которые приводят как примеры - США и Великобритания, но примеры приводятся с точки зрения технологий и конкуренцию пытаемся создать технологическую, в то время как отличия не в технологиях, а в организации работы.

В Великобритании для обеспечения лидерства и создания плеяды их государственных сайтов включая GOV.UK и DATA.GOV.UK была создана специальная команда AlphaGov [1] внутри Government Digital Service. Эта команда с самого начала состояла из более чем квалифицированных проектировщиков, дизайнеров и программистов и они использовали открытую модель разработки с публикацией всех материалов на Github’е [2], опубликовав к середине 2016 года 378 репозиториев исходного кода. Их подход был описан в манифесте «Coding in the Open» [3] и сейчас AlphaGov - это один из ключевых участников экосистемы открытого кода, публикуя не только специализированный код для госсайтов, но и общего типа ПО такие как Unicon Herder [4], утилита управления серверами gunicorn и многое другое.

В США, чуть позже и с оглядкой на AlphaGov появилась команда 18F [5]. Команда построенная на тех же принципах «бережливого стартапа» (lean startup) [6] что и AlphaGov, но с ещё большим охватом. На середину 2016 года у 18F в их аккаунте на Github’е [7] было опубликовано 542 репозитория исходного кода.

Обе эти команды - это лидерские модели по цифровой трансформации государственного управления. Для них открытые данные - не обременение, не «фишка» или дополнение, это просто часть экосистемы и принцип реализации «по умолчанию».

Чтобы понять разницу в подходах стоит сравнить руководства которые публикует и рекомендует 18F [8] и гайды AlphaGov по Government Service Design Manual [9] против российских «Методических рекомендаций по публикации открытых данных государственными органами и органами местного самоуправления, а такжетехнические требования к публикации открытых данных» [10] состоящих из 100 страниц крайне детализированных и забюрократизированных требований. При том что само Минэкономразвития России выпустившее эти рекомендации, мягко говоря, недостаточно работает по открытию даже собственных данных на своих официальных сайтах [11].

Неспособность к лидерству заменяется инструментами принуждения, когда муниципалитеты, субъекты и ФОИВы понуждают к раскрытию бессмысленных и бесполезных данных с соблюдением кучи формальных и не менее бессмысленных требований, вместо целенаправленной работы по формированию консенсуса того зачем открытие данных нужно обществу, бизнесу и государству.

Ссылки:
[1] https://en.wikipedia.org/wiki/Alphagov
[2] https://github.com/alphagov
[3] https://gds.blog.gov.uk/2012/10/12/coding-in-the-open/
[4] https://github.com/gds-operations/unicornherder
[5] https://en.wikipedia.org/wiki/18F
[6] https://18f.gsa.gov/what-we-deliver/
[7] https://github.com/18F
[8] https://pages.18f.gov/guides/
[9] https://www.gov.uk/service-manual
[10] https://ar.gov.ru/js/pdfjs/web/viewer.html?file=/files/library/1433255770.src.pdf-d#/files/library/1433255770.src.pdf-d
[11] https://www.infoculture.ru/wp-content/uploads/2016/01/annual_report_2015.pdf

#opendata #opengov

специально для студентов и только что окончивших ВУЗы о том что можно сделать полезного на открытых данных.
Идея N31 "Открытое API и данные университета [типовой проект]"
https://github.com/infoculture/datatasks/issues/31

Цель
Создать типовой проект с открытыми данными и открытым API любого университета с возможностью распространения и на другие университеты

Задача
- выбрать произвольный университет
- собрать все открытые данные более-менее актуальные и относящиеся к нему включая: курсы, списки учебной литературы, бюджет, состав преподавателей (сотрудников), контракты, меню столовой, новости, события, декларации ректоров и всё остальное.
- систематизировать данные и загрузить в реляционную или NoSQL базу данных
- создать API для доступа к этим данным

Контекст
Современные университеты представляют собой сложные иерархичные структуры накапливающие большие объёмы данных и раскрывающие данные на различных онлайн ресурсах. Предоставление данных университета в виде API позволит студентам использовать данные университета для создания новых мобильных приложений, сервисов и иных проектов на их основе,

Требования
- открытый исходный код в Github под свободной лицензией
- использование REST API с предоставлением данных в JSON
- открытые данные под лицензией Creative Commons

Пожелания
- интерактивная визуализация
-инфографика

Оценки трудоёмкости
Ожидаемое время на задачу не более от 1 до N недель

Вспомогательные материалы:
- Каталог открытых API университетов https://campusdata.org/rankings/
- Проект открытых данных и API университета Waterloo https://uwaterloo.ca/open-data/ и https://github.com/uWaterloo/api-documentation#accessing-the-api
- Open Data at York University https://data.info.yorku.ca/
- Открытое API Университета Каталонии https://open-api.uoc.edu/documentacio/uoc-public-api/
- Открытое API библиотеки Университета Хельсинки https://api.hulib.helsinki.fi/
- Открытое API Университета Мэриленда https://umd.io/
Вопросы

Обратите внимание что если Вы будете использовать данные о бюджетах и контрактах, то Вы ещё можете успеть на конкурс BudgetApps

#opendata #opengov

Заметный тренд последнего года - это всё более активное использование генераторов статичных сайтов вместо «классического» использования готовых CMS систем с базами данных и динамическим созданием контента. В обзоре в Smash Magazine [1] ещё в ноябре 2015 года приведены многие такие проекты позволяющие быстро создавать сайты и развертывать их онлайн. В другой их статье [2] приведены причины этого и статистика роста создания именно статических сайтов.

Главными причинами создания именно статистических сайтов можно обозначить:
- безопасность (мало рисков взлома CMS, дефэйса и тому подобного);
- несравнимая скорость отдачи сервером. Статический сайт может обслуживать многократно большее число пользователей
- отсутствие рисков с базами данных. Минус компонент и система становится проще. Нет риска если база данных подвиснет
- поддержка на уровне CDN (Content Delivery Network). Сейчас использование CDN - это стандарт де-факто для посещаемых сайтов и интегрировать статический сайт гораздо проще.

Большая роль в популяризации именно статических сайтов у платформы Jekyll [3]. При том что препроцессоры и генераторы статических HTML страниц существовали давно, Jekyll был реализован как идеальная интеграция с Github, позволяя создавать очень быстро статические сайты из текстовых файлов в форматировании Markdown. Это оказалось удобным и Github Pages [4] - это сейчас один из наиболее удобных способов быстро создавать сайты редактируя их через редактор Markdown в своем репозитории.

Однако Jekyll далеко не единственный такой генератор. В проекте StaticGen [5] собрано несколько десятков таких генераторов имеющих открытый исходный код. А для тех кто любит привычный интерфейс CMS появляются такие проекты как CloudCannon [6] предоставляющие возможность редактировать страницы онлайн и автоматически осуществляя их преобразование в статические.

Многие из этих проектов создавались изначально как проекты по быстрой подготовке документации, мануалов и онлайн книг. К ним можно отнести Gitbook [7]. А некоторые для замены блогоплатформ, особенно Wordpress’а, например, Hexo [8]

Генераторы статических сайтов активно используются и для государства. Главная причина как раз в безопасности, то о чём особенно беспокоятся создатели сайтов специальных служб и силовых органов. Статический контент в России многие из них используют вот уже давно. Сайт Gov.ru [9] управляется ФСО и его можно было бы заменить на статический (хотя бы статический) сайт с лучшим дизайном и наполнением.

Но кроме этой причины - конечно дело в удобстве. Ранее упоминавшиеся мной 18F Guides [10] созданы на базе Github Pages, также как и Open Data Policy руководство [11] из Project Open Data.

Многие и даже очень многие сайты можно создавать в крайне короткие сроки и минимальными затратами за счёт использования простых и правильных инструментов. Генераторы статических сайтов - это один из таких примеров. Они же вполне могут использоваться для быстрого создания онлайн проектов на хакатонов.

Ссылки:
[1] https://www.smashingmagazine.com/2015/11/static-website-generators-jekyll-middleman-roots-hugo-review/
[2] https://www.smashingmagazine.com/2015/11/modern-static-website-generators-next-big-thing/
[3] https://jekyllrb.com
[4] https://pages.github.com
[5] https://www.staticgen.com
[6] https://cloudcannon.com
[7] https://www.gitbook.com
[8] https://hexo.io
[9] https://gov.ru
[10] https://pages.18f.gov/guides/
[11] https://project-open-data.cio.gov/

#opendata #opengov