Несколько изданий в последнее время спрашивали моё мнение по поводу закона Яровой, историей с «обособлением трафика» в Рунете и тд. Это тема на которую невозможно дать короткий ответ, а развёрнутый ответ будет о том что это только начало и что, безусловно, в будущем вполне возможны и будут меры гораздо больше посягающие на приватность не только граждан, но и бизнеса.
В общем-то, отсутствие сильного присутствия государства в интернете связано исключительно с распилом бюджетов. Как бы странно это не звучало, но многие годы именно коррупционнеры, распильщики и бюрократы были главным барьером между современным состоянием общества и повсеместным внедрением «Большого Брата». Неэффективность государства спасала нас от его «людоедства». И будет ли «гуманным» наше государство если повысит эффективность своей работы - это очень большой вопрос.
История с «законом Яровой», кстати, лишь подтверждает эту модель. Введение налога на операторов потребовало бы проведения его через множество министерств, согласования, утряски множества интересов, в первую очередь с финансовым блоком. Поэтому в законе и прописали именно в такой форме «донагрузив» операторов необходимостью хранения звонков, сообщений и тд. В данном случае у нас ситуация когда неэффективность текущей бюрократии сыграла многократно против общественного интереса.
Однако есть множество мер которые до сих пор просто «лежат под сукном» и могут быть активированы во вполне короткие сроки. И, если быть честными с самими собой, то нет простых способов их остановить.
1. Внедрение и постепенное использование «белых списков» сайтов, например, для доступа детей в школах. С постепенным внесением в реестры вообще всех онлайн ресурсов имеющих российскую аффилированность. Миллионы доменов - это не так много как может показаться. Перспективы подобного 2-3 года.
2. Учёт, контроль и дублирование инфраструктуры во всех смыслах. Учёт и контроль всех внешних каналогв Создание государственных DNS серверов, центры мониторинга трафика, сбора данных со счётчиков (внутрироссийских), статистики провайдеров и так далее. 3-4 года - это крайний срок когда это произойдет.
3. Активизация внедрения ЕСИА для социальных сетей, банков, онлайн сервисов и так далее. Сейчас ЕСИА используется только органами власти и проектами вроде РОИ, но неизбежен тот момент когда государства в лице профильных регуляторов начнёт активно навязывать этот инструмент. Я бы предположил что не более 2-х лет когда эта инициатива будет публично озвучена и запущена.
4. Государством контролируемая инфраструктура для коммерческих облаков. История с тем как 1С сейчас внедряет единое корпоративное облако для всех бюджетных учреждений Москвы должна наводить на важные мысли. Не пройдёт и 5 лет как ФНС внедрит одну из двух важнейших стратегий или гибридную.
1-я - обязать всех провайдеров бухгалтерий в облаке хостить их на их инфраструктуре и, соответственно, иметь круглосуточный и полный доступ ко всем данным.
2-я - ввести требования ко всем онлайн бухгалтериям в предоставлении непрерывного доступа к данным о всех операциях компаний. И, постепенное, принуждение всех компаний вести бухгалтерию только онлайн. Вначале через «морковку» снижение риска проверок, далее через принуждение.
5. Введение требований по «вечному хранению» переписки, смс, сообщений и тд. Всего кроме видео и аудио контента. В течении 4-х лет это произойдет. Собственно текущие требования к операторам можно рассматривать как репетицию перед этими изменениями.
6. Самое сложное, но очень важное. Попытки перейти к контролю конечных устройств. До тех пор пока пользователь сам контролирует свой компьютер невозможно его контролировать полностью. Он может настроить VPN, хранить у себя запрещённый контент, или же как-либо иначе избегать внимания государства. Государство неизбежно придёт (или хотя бы активно попытается) внедриться на каждый компьютер и каждый гаджет так чтобы собирать информацию о каждом человеке. Как это будет - через скупку ключевых приложений окологосударственными структурами, через тесную аффиляцию с производителями антивирусов или полу-легальными метод
В общем-то, отсутствие сильного присутствия государства в интернете связано исключительно с распилом бюджетов. Как бы странно это не звучало, но многие годы именно коррупционнеры, распильщики и бюрократы были главным барьером между современным состоянием общества и повсеместным внедрением «Большого Брата». Неэффективность государства спасала нас от его «людоедства». И будет ли «гуманным» наше государство если повысит эффективность своей работы - это очень большой вопрос.
История с «законом Яровой», кстати, лишь подтверждает эту модель. Введение налога на операторов потребовало бы проведения его через множество министерств, согласования, утряски множества интересов, в первую очередь с финансовым блоком. Поэтому в законе и прописали именно в такой форме «донагрузив» операторов необходимостью хранения звонков, сообщений и тд. В данном случае у нас ситуация когда неэффективность текущей бюрократии сыграла многократно против общественного интереса.
Однако есть множество мер которые до сих пор просто «лежат под сукном» и могут быть активированы во вполне короткие сроки. И, если быть честными с самими собой, то нет простых способов их остановить.
1. Внедрение и постепенное использование «белых списков» сайтов, например, для доступа детей в школах. С постепенным внесением в реестры вообще всех онлайн ресурсов имеющих российскую аффилированность. Миллионы доменов - это не так много как может показаться. Перспективы подобного 2-3 года.
2. Учёт, контроль и дублирование инфраструктуры во всех смыслах. Учёт и контроль всех внешних каналогв Создание государственных DNS серверов, центры мониторинга трафика, сбора данных со счётчиков (внутрироссийских), статистики провайдеров и так далее. 3-4 года - это крайний срок когда это произойдет.
3. Активизация внедрения ЕСИА для социальных сетей, банков, онлайн сервисов и так далее. Сейчас ЕСИА используется только органами власти и проектами вроде РОИ, но неизбежен тот момент когда государства в лице профильных регуляторов начнёт активно навязывать этот инструмент. Я бы предположил что не более 2-х лет когда эта инициатива будет публично озвучена и запущена.
4. Государством контролируемая инфраструктура для коммерческих облаков. История с тем как 1С сейчас внедряет единое корпоративное облако для всех бюджетных учреждений Москвы должна наводить на важные мысли. Не пройдёт и 5 лет как ФНС внедрит одну из двух важнейших стратегий или гибридную.
1-я - обязать всех провайдеров бухгалтерий в облаке хостить их на их инфраструктуре и, соответственно, иметь круглосуточный и полный доступ ко всем данным.
2-я - ввести требования ко всем онлайн бухгалтериям в предоставлении непрерывного доступа к данным о всех операциях компаний. И, постепенное, принуждение всех компаний вести бухгалтерию только онлайн. Вначале через «морковку» снижение риска проверок, далее через принуждение.
5. Введение требований по «вечному хранению» переписки, смс, сообщений и тд. Всего кроме видео и аудио контента. В течении 4-х лет это произойдет. Собственно текущие требования к операторам можно рассматривать как репетицию перед этими изменениями.
6. Самое сложное, но очень важное. Попытки перейти к контролю конечных устройств. До тех пор пока пользователь сам контролирует свой компьютер невозможно его контролировать полностью. Он может настроить VPN, хранить у себя запрещённый контент, или же как-либо иначе избегать внимания государства. Государство неизбежно придёт (или хотя бы активно попытается) внедриться на каждый компьютер и каждый гаджет так чтобы собирать информацию о каждом человеке. Как это будет - через скупку ключевых приложений окологосударственными структурами, через тесную аффиляцию с производителями антивирусов или полу-легальными метод
ами - сейчас говорить ещё рано. Но то что попытки внедрится будут - это точно. Пока в мире есть только одна страна которая может делать это «естественными образом» - это США, в юрисдикции которых находятся Apple, Microsoft, Google. Но даже они не контролируют всех производителей устройств. Я бы поставил на то что в течении 5-6 лет мы увидим несколько попыток российских властей это реализовать. Скорее всего попыток безуспешных, но кто знает.
#security #privacy
#security #privacy
Ivan Begtin
Несколько изданий в последнее время спрашивали моё мнение по поводу закона Яровой, историей с «обособлением трафика» в Рунете и тд. Это тема на которую невозможно дать короткий ответ, а развёрнутый ответ будет о том что это только начало и что, безусловно…
Надо признать, в позапрошлом посте я поспешил обвинить Тинькофф банк что у них нет двухфакторной авторизации. Она оказывается есть, но её надо активировать отдельно в настройках, так как по умолчанию она не включена.
Однако, конечно нехватает российского аналога https://twofactorauth.org/ в котором можно было бы рассмотреть все банки и ключевые сервисы
#security #privacy
Однако, конечно нехватает российского аналога https://twofactorauth.org/ в котором можно было бы рассмотреть все банки и ключевые сервисы
#security #privacy
BrainStation
Two Factor Auth | BrainStation®
Learn about two-factor authentication (2FA), an extra layer of security that includes SMS, email, phone calls, hardware, and software.
Открытые данные, открытые проекты и открытый исходный код.
Я продолжаю систематизировать и постепенно выкладывать исходный код и открытые данные проектов накопленных за эти годы.
Начну с самого интересного.
Латиница в госзакупках, "слепые закупки" и так далее теперь выложено в репозиторий в открытом доступе вот тут https://github.com/infoculture/blindprocurement
В репозиторий opegosduma добавлены данные по депутатам https://github.com/infoculture/opengosduma/tree/master/data включая все выгруженные тексты их выступлений (на 2011 год)
Сбор данных с портала госуслуг в 2011 году https://github.com/infoculture/gosuslugi_2011
Открытая Счётная Палата - https://github.com/infoculture/openchamber данные собираемые с их сайта (2010 год)
Открытые выборы - https://github.com/infoculture/openelections данные по выборам собранные в 2011 году.
А также множество другого исходного кода можно найти в аккаунтах Инфокультуры на Github'е https://github.com/infoculture и в моём личном аккаунте там же https://github.com/ivbeg?tab=repositories
(вопросы можно задавать мне по почте [email protected] или в телеграм @ibegtin)
#opendata #opensource #opengov
Я продолжаю систематизировать и постепенно выкладывать исходный код и открытые данные проектов накопленных за эти годы.
Начну с самого интересного.
Латиница в госзакупках, "слепые закупки" и так далее теперь выложено в репозиторий в открытом доступе вот тут https://github.com/infoculture/blindprocurement
В репозиторий opegosduma добавлены данные по депутатам https://github.com/infoculture/opengosduma/tree/master/data включая все выгруженные тексты их выступлений (на 2011 год)
Сбор данных с портала госуслуг в 2011 году https://github.com/infoculture/gosuslugi_2011
Открытая Счётная Палата - https://github.com/infoculture/openchamber данные собираемые с их сайта (2010 год)
Открытые выборы - https://github.com/infoculture/openelections данные по выборам собранные в 2011 году.
А также множество другого исходного кода можно найти в аккаунтах Инфокультуры на Github'е https://github.com/infoculture и в моём личном аккаунте там же https://github.com/ivbeg?tab=repositories
(вопросы можно задавать мне по почте [email protected] или в телеграм @ibegtin)
#opendata #opensource #opengov
GitHub
GitHub - infoculture/blindprocurement: Blind Procurement. Code to find corrupted procurement in Russia. Слепые закупки. Код алгоритмов…
Blind Procurement. Code to find corrupted procurement in Russia. Слепые закупки. Код алгоритмов выявления искажения анонсов госзакупок так чтобы их не могли находить "чужие" поста...
Поскольку прошлый день был неполон, то расширил свой "день паранойи" на сегодняшний день и подумал, не использовать ли его как тренировку в формате 1 проект - 1 день.
Тренировку я выбрал следующую:
1. Разобраться в коде twofactorauth.org
2. Склонировать его и перевести на русский язык - не только интерфейс, но и комментарии к сервисам, удалить неактуальные для Рунета и добавить актуальные, например, авиакомпании.
3. Развернуть обновлённый сервис.
4. А заодно разобраться в том как будет работать связка Github+Jekyll+Travis+PubStorm и с привязкой произвольного домена.
На всё про всё 5 часов - я уложился в 3.5 часа начав в 14:35 и закончив сегодня в 18:03 чистого времени, не считая 20 минут на обед.
С оговоркой что большую часть используемых технологий, кроме Github, я лично видел впервые.
Пришлось конечно отключить все мессенжеры или не отвечать тем кто писал. На несколько часов.
Итого что я сделал:
1. Развернул https://2fa.infoculture.ru адаптированный под рунет каталог сервисов с поддержкой двухфакторной авторизации
2. Добавил туда несколько российских сервисов
3. Заодно проверил и обновил политики безопасности в собственных, малоиспользуемых аккаунтах.
По итогам могу сказать что однодневное развёртывание проектов, это очень и очень просто.
К чему это всё. К тому что при желании взять готовых код и чуть его дошлифовав. Для чего бы то ни было, для участия в хакатоне или для личного удовольствия.
Готовых проектов для чего бы то ни было столько что не пересчитать. Визуализация бюджетов? Да, пожалуйста. Анализ погодных данных? Да тоже есть.
#opensource #opendata
Тренировку я выбрал следующую:
1. Разобраться в коде twofactorauth.org
2. Склонировать его и перевести на русский язык - не только интерфейс, но и комментарии к сервисам, удалить неактуальные для Рунета и добавить актуальные, например, авиакомпании.
3. Развернуть обновлённый сервис.
4. А заодно разобраться в том как будет работать связка Github+Jekyll+Travis+PubStorm и с привязкой произвольного домена.
На всё про всё 5 часов - я уложился в 3.5 часа начав в 14:35 и закончив сегодня в 18:03 чистого времени, не считая 20 минут на обед.
С оговоркой что большую часть используемых технологий, кроме Github, я лично видел впервые.
Пришлось конечно отключить все мессенжеры или не отвечать тем кто писал. На несколько часов.
Итого что я сделал:
1. Развернул https://2fa.infoculture.ru адаптированный под рунет каталог сервисов с поддержкой двухфакторной авторизации
2. Добавил туда несколько российских сервисов
3. Заодно проверил и обновил политики безопасности в собственных, малоиспользуемых аккаунтах.
По итогам могу сказать что однодневное развёртывание проектов, это очень и очень просто.
К чему это всё. К тому что при желании взять готовых код и чуть его дошлифовав. Для чего бы то ни было, для участия в хакатоне или для личного удовольствия.
Готовых проектов для чего бы то ни было столько что не пересчитать. Визуализация бюджетов? Да, пожалуйста. Анализ погодных данных? Да тоже есть.
#opensource #opendata
Муниципальные данные, как и в целом данные гиперлокальные - это одна из актуальных и сложных тем во всех более-менее крупных странах со сложной системой управления. Мало того что муниципальная статистика часто искажается из благих и не очень побуждений, так ещё и трудно получить данные достаточно наглядно для принятия решений или для оценки качества жизни (что тоже для принятия решений).
К сожалению, проект OpenlyLocal [1] в Великобритании давно закрылся. Крисс Таггарт, его создатель, с головой переключился на проект OpenCorporates. А проект был более чем интересен, это наглядная возможность посмотреть аналитику и данные по сотням муниципалитетов. Огромная работа, жаль, теперь недоступная.
Живой проект «приборной панели» муниципалитета - это давняя мечта многих. В каких то случаях её частично подменяет визуализация местного бюджета, но это узкие проекты и развитием только от бюджета территории.
Из последнего что я видел в этой области - это британский Local Authorities Profiles [3] где для каждого графства (муниципалитета) приведены цифры и аналитика. Относительно простой и неплохо сделанный проект. Что характерно, в рамках проект Open Data Communities [4] британского правительства. А самое сложное в том что это реальный проект на связанных открытых данных с подробной документацией [5] в данном случае использование связанных данных оправдано сложностью самих данных.
Ведомством которое могло бы сделать аналогичное в России мог бы быть Росстат, но пока больше вероятность что если такой проект и появится то он будет частным - общественным или коммерческим.
(вопросы можно задавать мне по почте [email protected] или в телеграм @ibegtin)
Ссылки:
[1] OpenlyLocal https://openlylocal.com
[2] https://irvineca.opengov.com/transparency
[3] https://apps.opendatacommunities.org/showcase/dashboard
[4] https://opendatacommunities.org/
[5] https://docs.publishmydata.com/developers/100_linked_data_api.html
К сожалению, проект OpenlyLocal [1] в Великобритании давно закрылся. Крисс Таггарт, его создатель, с головой переключился на проект OpenCorporates. А проект был более чем интересен, это наглядная возможность посмотреть аналитику и данные по сотням муниципалитетов. Огромная работа, жаль, теперь недоступная.
Живой проект «приборной панели» муниципалитета - это давняя мечта многих. В каких то случаях её частично подменяет визуализация местного бюджета, но это узкие проекты и развитием только от бюджета территории.
Из последнего что я видел в этой области - это британский Local Authorities Profiles [3] где для каждого графства (муниципалитета) приведены цифры и аналитика. Относительно простой и неплохо сделанный проект. Что характерно, в рамках проект Open Data Communities [4] британского правительства. А самое сложное в том что это реальный проект на связанных открытых данных с подробной документацией [5] в данном случае использование связанных данных оправдано сложностью самих данных.
Ведомством которое могло бы сделать аналогичное в России мог бы быть Росстат, но пока больше вероятность что если такой проект и появится то он будет частным - общественным или коммерческим.
(вопросы можно задавать мне по почте [email protected] или в телеграм @ibegtin)
Ссылки:
[1] OpenlyLocal https://openlylocal.com
[2] https://irvineca.opengov.com/transparency
[3] https://apps.opendatacommunities.org/showcase/dashboard
[4] https://opendatacommunities.org/
[5] https://docs.publishmydata.com/developers/100_linked_data_api.html
Keybase.io [1] , свежий стартап помогающий использовать открытые ключи шифрования максимально удобно. Специально для параноиков желающих сохранить комфорт, а не приобрести нервозность. Это совмещение соцсети, identity management и управления открытыми ключами + возможность безопасного обмена файлами и сообщениями. Интересное в проекте то что он позволяет на базе себя в коротком будущем построить доверенный мессенжер.
Проект получил 10.8 миллионов долларов венчурного финансирования в июле 2015 года [2] и
Со мной в keybase можно связаться по аккаунту https://keybase.io/ibegtin
Сам проект находится в стадии альфы (очень рабочей альфы, правда) и для участия надо или долго ждать или получить инвайт.
Пишите мне на @ibegtin в телеграме свой email и я сразу вышлю Вам инвайт - у меня их осталось 25 штук.
Ссылки:
[1] https://keybase.io
[2] https://www.crunchbase.com/organization/keybase
#privacy
Проект получил 10.8 миллионов долларов венчурного финансирования в июле 2015 года [2] и
Со мной в keybase можно связаться по аккаунту https://keybase.io/ibegtin
Сам проект находится в стадии альфы (очень рабочей альфы, правда) и для участия надо или долго ждать или получить инвайт.
Пишите мне на @ibegtin в телеграме свой email и я сразу вышлю Вам инвайт - у меня их осталось 25 штук.
Ссылки:
[1] https://keybase.io
[2] https://www.crunchbase.com/organization/keybase
#privacy
Появляется всё больше и больше публикаций о том что big data - это необязательно манна небесная, но наоборот, меняет и разрушает существующие социальные и экономические отношения. Oliver Ralph в статье в Financial Times [1] пишет о том что некоторые граждане рискуют стать (и становятся) нестрахуемыеми, даже точнее, «непригодными для страхования».
Всё дело как раз в современных алгоритмах и накопленным данным которые позволяют страховым компаниям отказывать потенциальным получателям страховки в виду их высокой рискованности.
Однако такая выгода для страховых компаний оборачивается разрушением роли страховых компаний для общества. В мире где страховка необходима для зарубежных поездок, получения работы и многого другого где она является обязательной, в этом мире мы сталкиваемся с ситуацией «новых неприкасаемых». Это люди чьи поступки, действия или чьё окружение в прошлом привели к тому что они исключаются из значительных областей человеческой жизни. Ими могут оказаться как те кто ранее был осуждёт, пережил серьёзную болезнь, так и те у кого может быть обнаружена генетическая болезнь.
В особенности это касается медицинского страхования и особенные риски создаёт как раз доступность генетических данных. Уже сейчас медицинское страхование устроено так что если у Вас выявлено серьёзное хроническое заболевание, то стоимость медицинской страховки при платном страховании значительно вырастает. А в ситуации когда будущие хронические заболевания можно предсказать по генетическим данным мы окажемся в ситуации появления активной генетической дискриминации, очень похожей на ту которую можно было увидеть в фильме Гаттака [2].
Здесь нельзя не напомнить о Genetic Information Nondiscrimination Act of 2008 законе США, пока единственной известной мне стране где подобная практика запрещена законом, что впрочем не означает что она не будет практиковаться там и в других странах, включая Россию.
Ссылки:
[1] https://www.ft.com/cms/s/0/1900a88c-4e71-11e6-88c5-db83e98a590a.html#axzz4F2wBoLG3 (требует регистрации и подписки)
[2] https://ru.wikipedia.org/wiki/%D0%93%D0%B0%D1%82%D1%82%D0%B0%D0%BA%D0%B0
[3] https://www.genome.gov/10002328/genetic-discrimination-fact-sheet/
#bigdata #opendata #privacy #genetics
Всё дело как раз в современных алгоритмах и накопленным данным которые позволяют страховым компаниям отказывать потенциальным получателям страховки в виду их высокой рискованности.
Однако такая выгода для страховых компаний оборачивается разрушением роли страховых компаний для общества. В мире где страховка необходима для зарубежных поездок, получения работы и многого другого где она является обязательной, в этом мире мы сталкиваемся с ситуацией «новых неприкасаемых». Это люди чьи поступки, действия или чьё окружение в прошлом привели к тому что они исключаются из значительных областей человеческой жизни. Ими могут оказаться как те кто ранее был осуждёт, пережил серьёзную болезнь, так и те у кого может быть обнаружена генетическая болезнь.
В особенности это касается медицинского страхования и особенные риски создаёт как раз доступность генетических данных. Уже сейчас медицинское страхование устроено так что если у Вас выявлено серьёзное хроническое заболевание, то стоимость медицинской страховки при платном страховании значительно вырастает. А в ситуации когда будущие хронические заболевания можно предсказать по генетическим данным мы окажемся в ситуации появления активной генетической дискриминации, очень похожей на ту которую можно было увидеть в фильме Гаттака [2].
Здесь нельзя не напомнить о Genetic Information Nondiscrimination Act of 2008 законе США, пока единственной известной мне стране где подобная практика запрещена законом, что впрочем не означает что она не будет практиковаться там и в других странах, включая Россию.
Ссылки:
[1] https://www.ft.com/cms/s/0/1900a88c-4e71-11e6-88c5-db83e98a590a.html#axzz4F2wBoLG3 (требует регистрации и подписки)
[2] https://ru.wikipedia.org/wiki/%D0%93%D0%B0%D1%82%D1%82%D0%B0%D0%BA%D0%B0
[3] https://www.genome.gov/10002328/genetic-discrimination-fact-sheet/
#bigdata #opendata #privacy #genetics
Financial Times
Use of big data risks making some people uninsurable - FT.com
More sophisticated use of data could create an “underclass” of people who cannot afford insurance. According to a new report from the Chartered Institute of Insurance, consumers could miss out on some types of cover altogether if insurers deem them
Для всех кто всё это время был подписан на канал, но не имел возможности обсудить новости - появился канал https://telegram.me/begtinchat где можно обсудить любую новость, задать вопросы мне или кому-либо ещё из участников. Присоединяйтесь прямо сейчас!
Также напоминаю что у нас есть отдельное сообщество которое посвящено только открытым данным - https://opendatarussia.slack.com и оно работает только по приглашению. Если вы активно интересуетесь открытыми данными и у Вас есть вопросы или темы которыми хотелось бы поделиться, то пишите мне на @ibegtin и я пришлю Вам приглашение.
#opendata #opengov #messengers
Также напоминаю что у нас есть отдельное сообщество которое посвящено только открытым данным - https://opendatarussia.slack.com и оно работает только по приглашению. Если вы активно интересуетесь открытыми данными и у Вас есть вопросы или темы которыми хотелось бы поделиться, то пишите мне на @ibegtin и я пришлю Вам приглашение.
#opendata #opengov #messengers
Telegram
Чат к каналу @begtin
Ivan Begtin's chat about data, open data, open gov, forensics and privacy
Институт открытых данных (The ODI) выпустили версию 0.4 приложения Comma Chameleon [1] - по валидации CSV файлов, а заодно и по исправлению в них ошибок. Эта версия наиболее стабильная из всех предыдущих и существует для Mac, Linux, Windows и просто как открытый код в репозитории [2].
Полезный инструмент для всех кто готовит данные для публикации и думает об автоматизации и упрощении очистки данных.
Также напомню что существуют такие сервисы и инструменты как:
- CSVLint [3] - онлайн сервис по валидации CSV файлов и с открытым кодом [4]
- CSVkit [5] - библиотека для Python по многочисленным манипуляциям с CSV файлами и множеством инструментов для командной строки
- textql [6] - инструмент по запуску SQL запросов на CSV/TSV файлах
- PapaParse [7] - парсер очень больших CSV файлов
- Countries [8] - страны мира в JSON, CSV, XML и YAML
- Tablib [9] - библиотека для работы с любыми табличными данными включая CSV
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://github.com/theodi/comma-chameleon/releases/tag/0.4.0
[2] https://github.com/theodi/comma-chameleon
[3] https://csvlint.io/
[4] https://github.com/theodi/csvlint
[5] https://github.com/wireservice/csvkit
[6] https://github.com/dinedal/textql
[7] https://github.com/mholt/PapaParse
[8] https://mledoze.github.io/countries/
[9] https://github.com/kennethreitz/tablib
#opendata #opengov #csv #datacleaning
Полезный инструмент для всех кто готовит данные для публикации и думает об автоматизации и упрощении очистки данных.
Также напомню что существуют такие сервисы и инструменты как:
- CSVLint [3] - онлайн сервис по валидации CSV файлов и с открытым кодом [4]
- CSVkit [5] - библиотека для Python по многочисленным манипуляциям с CSV файлами и множеством инструментов для командной строки
- textql [6] - инструмент по запуску SQL запросов на CSV/TSV файлах
- PapaParse [7] - парсер очень больших CSV файлов
- Countries [8] - страны мира в JSON, CSV, XML и YAML
- Tablib [9] - библиотека для работы с любыми табличными данными включая CSV
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://github.com/theodi/comma-chameleon/releases/tag/0.4.0
[2] https://github.com/theodi/comma-chameleon
[3] https://csvlint.io/
[4] https://github.com/theodi/csvlint
[5] https://github.com/wireservice/csvkit
[6] https://github.com/dinedal/textql
[7] https://github.com/mholt/PapaParse
[8] https://mledoze.github.io/countries/
[9] https://github.com/kennethreitz/tablib
#opendata #opengov #csv #datacleaning
Telegram
Чат к каналу @begtin
Ivan Begtin's chat about data, open data, open gov, forensics and privacy
В свежем постановлении Правительства о снятии ограничений на закупку иностранного оборудования, ПО и тд с силовых ведомств [1] мало текста, но много важного на что можно и стоит обратить внимание.
1. Перечислены всего 6 ведомств: МВД, ФСБ, ФСО, СВР, Управделами Президента, ФСТЭК. При этом не упомянуты: Росгвардия, Следственный комитет и Минобороны.
В случае Росгвардии могли просто забыть, они ещё только доформируются как ведомство. Минобороны, возможно, будет регулироваться полностью отдельно. А вот то что не упомянут Следственный комитет - я бы насторожился. Следственный комитет закупает весьма немало зарубежного ПО (особенно израильского) и как они теперь будут проводить forensic investigations (дознавательные действия) лично для меня загадка.
2. Всё это выглядит, конечно, несерьёзно. В мире правительства наоборот ужесточают требования к оборудованию и ПО используемых для обеспечения безопасности, а в России перевёрнутая схема. Ужесточаются требования к гражданским ведомства и ослабляются к силовым. При этом инвестиций в создание российской экосистемы программного обеспечения ни те ни те не делали. Силовые органы массово закупают ПО и оборудование в США, Германии и Израиле и у них нет российских альтернатив, а если их создавать, то это миллиардные инвестиции лет на 10. Один только рынок информационных лабораторий - это регулярные закупки израильского ПО Cellerbrite по вскрытию мобильных приложений всех типов. Но у них все конкуренты тоже не российские. В качестве базового ПО всё равно используются продукты Microsoft и в качестве баз данных - тяжёлые коммерческие решения зарубежных вендоров.
Но что сделало федеральное правительство чтобы хотя бы инвентаризировать текущую инфраструктуру? Чтобы ввести грантовую поддержку разработчиков по ключевым направлениям? Короткий ответ - ничего.
Поэтому дело не только в том что «импортозамещение» - это большая системная ошибка, но и в том что даже его текущая вертикаль госуправления внедрить не сможет.
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001201607210022
#privacy #goszakaz
1. Перечислены всего 6 ведомств: МВД, ФСБ, ФСО, СВР, Управделами Президента, ФСТЭК. При этом не упомянуты: Росгвардия, Следственный комитет и Минобороны.
В случае Росгвардии могли просто забыть, они ещё только доформируются как ведомство. Минобороны, возможно, будет регулироваться полностью отдельно. А вот то что не упомянут Следственный комитет - я бы насторожился. Следственный комитет закупает весьма немало зарубежного ПО (особенно израильского) и как они теперь будут проводить forensic investigations (дознавательные действия) лично для меня загадка.
2. Всё это выглядит, конечно, несерьёзно. В мире правительства наоборот ужесточают требования к оборудованию и ПО используемых для обеспечения безопасности, а в России перевёрнутая схема. Ужесточаются требования к гражданским ведомства и ослабляются к силовым. При этом инвестиций в создание российской экосистемы программного обеспечения ни те ни те не делали. Силовые органы массово закупают ПО и оборудование в США, Германии и Израиле и у них нет российских альтернатив, а если их создавать, то это миллиардные инвестиции лет на 10. Один только рынок информационных лабораторий - это регулярные закупки израильского ПО Cellerbrite по вскрытию мобильных приложений всех типов. Но у них все конкуренты тоже не российские. В качестве базового ПО всё равно используются продукты Microsoft и в качестве баз данных - тяжёлые коммерческие решения зарубежных вендоров.
Но что сделало федеральное правительство чтобы хотя бы инвентаризировать текущую инфраструктуру? Чтобы ввести грантовую поддержку разработчиков по ключевым направлениям? Короткий ответ - ничего.
Поэтому дело не только в том что «импортозамещение» - это большая системная ошибка, но и в том что даже его текущая вертикаль госуправления внедрить не сможет.
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001201607210022
#privacy #goszakaz
Telegram
Чат к каналу @begtin
Ivan Begtin's chat about data, open data, open gov, forensics and privacy
Всего полторы недели назад кнессет Израиля принял во втором и третьем чтениях закон о иностранных агентах [1] . Несмотря на то что в итоговую редакцию закона не попало изначальное предложение [2] по принуждении представителей НКО полуающих иностранные деньги носить бэджи с указанием организации, тем не менее никуда не делось положение о регистрации таких НКО как иностранных агентов (foreign agent).
Особенность закона в том что при 30 тысячах НКО в Израиле, активны около половины и лишь 70 специализируются на Палестино-Израильском конфликте и выступают за мирное урегулирование. Их финансирование проистекает от Евросоюза и отдельных европейских стран. Мало сомнений в том что закон направлен именно против них. Это можно прочитать в речах Министра юстиции Аелет Шакед и остальных выступающих в поддержку закона в кнессете.
Израиль не первая и не последняя страна мира где принимаются подобные законы регулирования «мягкой силы» в лице НКО. Помимо России и Беларуси, такая практика уже есть в Кении и Азербайджане.
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://www.ynetnews.com/articles/0,7340,L-4827203,00.html
[2] https://www.ynetnews.com/articles/0,7340,L-4669382,00.html
#opendata #transparency #opengo
Особенность закона в том что при 30 тысячах НКО в Израиле, активны около половины и лишь 70 специализируются на Палестино-Израильском конфликте и выступают за мирное урегулирование. Их финансирование проистекает от Евросоюза и отдельных европейских стран. Мало сомнений в том что закон направлен именно против них. Это можно прочитать в речах Министра юстиции Аелет Шакед и остальных выступающих в поддержку закона в кнессете.
Израиль не первая и не последняя страна мира где принимаются подобные законы регулирования «мягкой силы» в лице НКО. Помимо России и Беларуси, такая практика уже есть в Кении и Азербайджане.
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://www.ynetnews.com/articles/0,7340,L-4827203,00.html
[2] https://www.ynetnews.com/articles/0,7340,L-4669382,00.html
#opendata #transparency #opengo
Telegram
Чат к каналу @begtin
Ivan Begtin's chat about data, open data, open gov, forensics and privacy
Не рекламы, а пользы ради.
Телеграм каналы которые я читаю и рекомендую:
- https://telegram.me/roskomsvoboda - Роскомсвобода. Крайне полезный канал и ресурс для тех кто хочет знать как государство обкладывает нас в интернете со всех сторон
- Университет КГИ https://telegram.me/univerkgi - в рамках Комитета Гражданских Инициатив есть серия школ, лекций и других публичных мероприятий. Некоторые весьма интересные
-https://telegram.me/addmeto - канал Григория Бакунова, директора по распространению технологий Яндекса
#channels
Телеграм каналы которые я читаю и рекомендую:
- https://telegram.me/roskomsvoboda - Роскомсвобода. Крайне полезный канал и ресурс для тех кто хочет знать как государство обкладывает нас в интернете со всех сторон
- Университет КГИ https://telegram.me/univerkgi - в рамках Комитета Гражданских Инициатив есть серия школ, лекций и других публичных мероприятий. Некоторые весьма интересные
-https://telegram.me/addmeto - канал Григория Бакунова, директора по распространению технологий Яндекса
#channels
Telegram
Roskomsvoboda
Новости, аналитика, мониторинг реестров
Помощь: donate.roskomsvoboda.org
Чат: @roskomsvoboda_discuss
18+
23.12.2022г Минюст включил Роскомсвободу в реестр иноагентов. Мы не согласны с этим и обжалуем это в суде
Помощь: donate.roskomsvoboda.org
Чат: @roskomsvoboda_discuss
18+
23.12.2022г Минюст включил Роскомсвободу в реестр иноагентов. Мы не согласны с этим и обжалуем это в суде
Инструменты для тех кто очень хочет, но не очень умеет визуализировать данные быстро и просто:
- Charted - https://www.charted.co/ быстро визуализирует CSV файл
- Venngage - https://venngage.com/ коммерческий сервис для инфографики неплохо сделанный
- Dipity - https://www.dipity.com/ красивые таймлайны онлайн
- Easily - https://piktochart.com/ удобный генератор инфографики
- Automatic Infographic Generator https://petercv.com/aig/ - название говорит само за себя
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
#opendata #vizual
- Charted - https://www.charted.co/ быстро визуализирует CSV файл
- Venngage - https://venngage.com/ коммерческий сервис для инфографики неплохо сделанный
- Dipity - https://www.dipity.com/ красивые таймлайны онлайн
- Easily - https://piktochart.com/ удобный генератор инфографики
- Automatic Infographic Generator https://petercv.com/aig/ - название говорит само за себя
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
#opendata #vizual
Для всех кто ищет инструменты по визуализации или готов ими поделиться напоминаю что у нас большой каталог ресурсов для журналистов данных
https://github.com/infoculture/awesome-datajournalism/blob/master/README.md
И его легко пополнять при наличии аккаунта на github'е. Нажимаете на кнопку "редактировать" и редактируете используя Markdown разметку.
Также у нас есть такой же список по открытости бюджетов
https://github.com/infoculture/awesome-openbudget
И по открытым данным на русском языке (не в России, а на русском языке, обратите внимание)
https://github.com/infoculture/awesome-opendata-rus
Это свободноредактируемые общедоступные пополняемые списки куда всех призываю добавлять интересные ресурсы и использовать их как справочные материалы для всех хакатонов и конкурсов
Большой список подобных списков (список списков) есть по адресу https://awesome.re
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
#opendata #opengov
https://github.com/infoculture/awesome-datajournalism/blob/master/README.md
И его легко пополнять при наличии аккаунта на github'е. Нажимаете на кнопку "редактировать" и редактируете используя Markdown разметку.
Также у нас есть такой же список по открытости бюджетов
https://github.com/infoculture/awesome-openbudget
И по открытым данным на русском языке (не в России, а на русском языке, обратите внимание)
https://github.com/infoculture/awesome-opendata-rus
Это свободноредактируемые общедоступные пополняемые списки куда всех призываю добавлять интересные ресурсы и использовать их как справочные материалы для всех хакатонов и конкурсов
Большой список подобных списков (список списков) есть по адресу https://awesome.re
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
#opendata #opengov
GitHub
awesome-datajournalism/README.md at master · infoculture/awesome-datajournalism
Awesome list for data journalists and future data journalists - awesome-datajournalism/README.md at master · infoculture/awesome-datajournalism
Появился интересный текст о том как развиваются открытые данные на Украине [1] , можно смело сказать что развиваются они там вполне неплохо и есть хорошие шансы что институционально Украина может обогнать и Россию и многие другие пост-советские страны. Можно лишь сожалеть сейчас о текущей ситуации в отношениях.
Проектов на базе открытых данных и по созданию открытых данных в мире много, но проектов на постсоветском пространстве не так много. Россия, Казахстан, Узбекистан [2] и Украина - пока это ограниченный список стран где развитие дошло до создания порталов открытых данных и явно прописанной государственной политики.
Ситуация в других странах далеко не так однозначна. Азербайджан «де факто» исключён [3] из Open Government Partnership, в Киргизии открытые данные развиваются параллельно государству и при поддержке зарубежных фондов [4], как и в Таджикистане [5].
А в Беларуси открытые данные - это частная инициатива [6].
Можно ещё взглянуть на Литву, Латвию и Эстонию, но там открытые данные неизбежны хотя бы из-за общей политики Евросоюза.
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://habrahabr.ru/post/306414/
[2] https://data.gov.uz/ru
[3] https://www.opengovpartnership.org/blog/open-government-partnership/2015/05/18/statement-government-azerbaijan%E2%80%99s-participation-ogp
[4] https://www.opendata.kg/
[5] https://opendata.tj/
[6] https://opendata.by/
#opendata #opengov
Проектов на базе открытых данных и по созданию открытых данных в мире много, но проектов на постсоветском пространстве не так много. Россия, Казахстан, Узбекистан [2] и Украина - пока это ограниченный список стран где развитие дошло до создания порталов открытых данных и явно прописанной государственной политики.
Ситуация в других странах далеко не так однозначна. Азербайджан «де факто» исключён [3] из Open Government Partnership, в Киргизии открытые данные развиваются параллельно государству и при поддержке зарубежных фондов [4], как и в Таджикистане [5].
А в Беларуси открытые данные - это частная инициатива [6].
Можно ещё взглянуть на Литву, Латвию и Эстонию, но там открытые данные неизбежны хотя бы из-за общей политики Евросоюза.
(Если Вам есть что добавить - пишите мне на @ibegtin, если есть что обсудить - приглашаю в общий чат https://telegram.me/begtinchat)
Ссылки:
[1] https://habrahabr.ru/post/306414/
[2] https://data.gov.uz/ru
[3] https://www.opengovpartnership.org/blog/open-government-partnership/2015/05/18/statement-government-azerbaijan%E2%80%99s-participation-ogp
[4] https://www.opendata.kg/
[5] https://opendata.tj/
[6] https://opendata.by/
#opendata #opengov
В ProPublica вышла интерсная статья «Set It and Forget It: How Default Settings Rule the World» [1] о том как «настройки по умолчанию» менюят мир в лучшую и худшую стороны. Например, то что в Испании, Португалии и Австрии гораздо больше водителей готовы пожертвовать свои органы в случае аварии. И причина этого в том что именно в этих странах в анкетах на получении водительских прав реализован принцип opt-out [2]. По умолчанию водитель соглашается с тем что он отдаёт свои органы, но он имеет право отказаться отметив соответствующую галочку.
Книга 2009 года «Nudge: Improving Decisions About Health, Wealth, and Happiness» [3] от Richard Thailer и Cass Sunstein посвящена именно тому как можно изменять жизнь и себя и многих других меняя «настройки по умолчанию в окружающей жизни».
Также как и реорганизация расположения приложений на главном экране Вашего телефона [4] и редизайн окружающего пространства для ежедневных решений [5].
Ссылки:
[1] https://www.propublica.org/article/set-it-and-forget-it-how-default-settings-rule-the-world
[2] https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-014-0131-4
[3] https://www.amazon.com/Nudge-Improving-Decisions-Health-Happiness/dp/014311526X
[4] https://medium.com/human-output/make-it-easy-to-do-what-s-good-for-you-fc0da235e16f#.2kbo7rrjq
[5] https://jamesclear.com/design-default
#infoculture #информационнаякультура #defaults
Книга 2009 года «Nudge: Improving Decisions About Health, Wealth, and Happiness» [3] от Richard Thailer и Cass Sunstein посвящена именно тому как можно изменять жизнь и себя и многих других меняя «настройки по умолчанию в окружающей жизни».
Также как и реорганизация расположения приложений на главном экране Вашего телефона [4] и редизайн окружающего пространства для ежедневных решений [5].
Ссылки:
[1] https://www.propublica.org/article/set-it-and-forget-it-how-default-settings-rule-the-world
[2] https://bmcmedicine.biomedcentral.com/articles/10.1186/s12916-014-0131-4
[3] https://www.amazon.com/Nudge-Improving-Decisions-Health-Happiness/dp/014311526X
[4] https://medium.com/human-output/make-it-easy-to-do-what-s-good-for-you-fc0da235e16f#.2kbo7rrjq
[5] https://jamesclear.com/design-default
#infoculture #информационнаякультура #defaults
ProPublica
Set It and Forget It: How Default Settings Rule the World — ProPublica
The many ways we act by default (without even knowing it).
Одна из особенностей и ощутимых проблем в том как в России продвигается (буксует?) тема открытости и тысячи других немаловажных тем - это архаичная бюрократизация любой новой темы, направления развития или инновации. Вместо демонстрации лидерства гораздо чаще видна демонстрация де-мотивации через формирование комиссий, рабочих групп и советов.
Вместо деятельного соучастия и со-созидания с вовлечением участников внутри государства - мы получаем модель управления основанную исключительно на контроле, мониторинге, протокольных поручениях и безусловным доминированием кулуарного общения над любой даже не публичной дискуссией, а публичные дискуссии превращаются исключительно в PR мероприятия.
Это очень сильно контрастирует с тем что происходит в мире, особенно в тех странах которые приводят как примеры - США и Великобритания, но примеры приводятся с точки зрения технологий и конкуренцию пытаемся создать технологическую, в то время как отличия не в технологиях, а в организации работы.
В Великобритании для обеспечения лидерства и создания плеяды их государственных сайтов включая GOV.UK и DATA.GOV.UK была создана специальная команда AlphaGov [1] внутри Government Digital Service. Эта команда с самого начала состояла из более чем квалифицированных проектировщиков, дизайнеров и программистов и они использовали открытую модель разработки с публикацией всех материалов на Github’е [2], опубликовав к середине 2016 года 378 репозиториев исходного кода. Их подход был описан в манифесте «Coding in the Open» [3] и сейчас AlphaGov - это один из ключевых участников экосистемы открытого кода, публикуя не только специализированный код для госсайтов, но и общего типа ПО такие как Unicon Herder [4], утилита управления серверами gunicorn и многое другое.
В США, чуть позже и с оглядкой на AlphaGov появилась команда 18F [5]. Команда построенная на тех же принципах «бережливого стартапа» (lean startup) [6] что и AlphaGov, но с ещё большим охватом. На середину 2016 года у 18F в их аккаунте на Github’е [7] было опубликовано 542 репозитория исходного кода.
Обе эти команды - это лидерские модели по цифровой трансформации государственного управления. Для них открытые данные - не обременение, не «фишка» или дополнение, это просто часть экосистемы и принцип реализации «по умолчанию».
Чтобы понять разницу в подходах стоит сравнить руководства которые публикует и рекомендует 18F [8] и гайды AlphaGov по Government Service Design Manual [9] против российских «Методических рекомендаций по публикации открытых данных государственными органами и органами местного самоуправления, а такжетехнические требования к публикации открытых данных» [10] состоящих из 100 страниц крайне детализированных и забюрократизированных требований. При том что само Минэкономразвития России выпустившее эти рекомендации, мягко говоря, недостаточно работает по открытию даже собственных данных на своих официальных сайтах [11].
Неспособность к лидерству заменяется инструментами принуждения, когда муниципалитеты, субъекты и ФОИВы понуждают к раскрытию бессмысленных и бесполезных данных с соблюдением кучи формальных и не менее бессмысленных требований, вместо целенаправленной работы по формированию консенсуса того зачем открытие данных нужно обществу, бизнесу и государству.
Ссылки:
[1] https://en.wikipedia.org/wiki/Alphagov
[2] https://github.com/alphagov
[3] https://gds.blog.gov.uk/2012/10/12/coding-in-the-open/
[4] https://github.com/gds-operations/unicornherder
[5] https://en.wikipedia.org/wiki/18F
[6] https://18f.gsa.gov/what-we-deliver/
[7] https://github.com/18F
[8] https://pages.18f.gov/guides/
[9] https://www.gov.uk/service-manual
[10] https://ar.gov.ru/js/pdfjs/web/viewer.html?file=/files/library/1433255770.src.pdf-d#/files/library/1433255770.src.pdf-d
[11] https://www.infoculture.ru/wp-content/uploads/2016/01/annual_report_2015.pdf
#opendata #opengov
Вместо деятельного соучастия и со-созидания с вовлечением участников внутри государства - мы получаем модель управления основанную исключительно на контроле, мониторинге, протокольных поручениях и безусловным доминированием кулуарного общения над любой даже не публичной дискуссией, а публичные дискуссии превращаются исключительно в PR мероприятия.
Это очень сильно контрастирует с тем что происходит в мире, особенно в тех странах которые приводят как примеры - США и Великобритания, но примеры приводятся с точки зрения технологий и конкуренцию пытаемся создать технологическую, в то время как отличия не в технологиях, а в организации работы.
В Великобритании для обеспечения лидерства и создания плеяды их государственных сайтов включая GOV.UK и DATA.GOV.UK была создана специальная команда AlphaGov [1] внутри Government Digital Service. Эта команда с самого начала состояла из более чем квалифицированных проектировщиков, дизайнеров и программистов и они использовали открытую модель разработки с публикацией всех материалов на Github’е [2], опубликовав к середине 2016 года 378 репозиториев исходного кода. Их подход был описан в манифесте «Coding in the Open» [3] и сейчас AlphaGov - это один из ключевых участников экосистемы открытого кода, публикуя не только специализированный код для госсайтов, но и общего типа ПО такие как Unicon Herder [4], утилита управления серверами gunicorn и многое другое.
В США, чуть позже и с оглядкой на AlphaGov появилась команда 18F [5]. Команда построенная на тех же принципах «бережливого стартапа» (lean startup) [6] что и AlphaGov, но с ещё большим охватом. На середину 2016 года у 18F в их аккаунте на Github’е [7] было опубликовано 542 репозитория исходного кода.
Обе эти команды - это лидерские модели по цифровой трансформации государственного управления. Для них открытые данные - не обременение, не «фишка» или дополнение, это просто часть экосистемы и принцип реализации «по умолчанию».
Чтобы понять разницу в подходах стоит сравнить руководства которые публикует и рекомендует 18F [8] и гайды AlphaGov по Government Service Design Manual [9] против российских «Методических рекомендаций по публикации открытых данных государственными органами и органами местного самоуправления, а такжетехнические требования к публикации открытых данных» [10] состоящих из 100 страниц крайне детализированных и забюрократизированных требований. При том что само Минэкономразвития России выпустившее эти рекомендации, мягко говоря, недостаточно работает по открытию даже собственных данных на своих официальных сайтах [11].
Неспособность к лидерству заменяется инструментами принуждения, когда муниципалитеты, субъекты и ФОИВы понуждают к раскрытию бессмысленных и бесполезных данных с соблюдением кучи формальных и не менее бессмысленных требований, вместо целенаправленной работы по формированию консенсуса того зачем открытие данных нужно обществу, бизнесу и государству.
Ссылки:
[1] https://en.wikipedia.org/wiki/Alphagov
[2] https://github.com/alphagov
[3] https://gds.blog.gov.uk/2012/10/12/coding-in-the-open/
[4] https://github.com/gds-operations/unicornherder
[5] https://en.wikipedia.org/wiki/18F
[6] https://18f.gsa.gov/what-we-deliver/
[7] https://github.com/18F
[8] https://pages.18f.gov/guides/
[9] https://www.gov.uk/service-manual
[10] https://ar.gov.ru/js/pdfjs/web/viewer.html?file=/files/library/1433255770.src.pdf-d#/files/library/1433255770.src.pdf-d
[11] https://www.infoculture.ru/wp-content/uploads/2016/01/annual_report_2015.pdf
#opendata #opengov
www.gov.uk
Welcome to GOV.UK
GOV.UK - The best place to find government services and information.
специально для студентов и только что окончивших ВУЗы о том что можно сделать полезного на открытых данных.
Идея N31 "Открытое API и данные университета [типовой проект]"
https://github.com/infoculture/datatasks/issues/31
Цель
Создать типовой проект с открытыми данными и открытым API любого университета с возможностью распространения и на другие университеты
Задача
- выбрать произвольный университет
- собрать все открытые данные более-менее актуальные и относящиеся к нему включая: курсы, списки учебной литературы, бюджет, состав преподавателей (сотрудников), контракты, меню столовой, новости, события, декларации ректоров и всё остальное.
- систематизировать данные и загрузить в реляционную или NoSQL базу данных
- создать API для доступа к этим данным
Контекст
Современные университеты представляют собой сложные иерархичные структуры накапливающие большие объёмы данных и раскрывающие данные на различных онлайн ресурсах. Предоставление данных университета в виде API позволит студентам использовать данные университета для создания новых мобильных приложений, сервисов и иных проектов на их основе,
Требования
- открытый исходный код в Github под свободной лицензией
- использование REST API с предоставлением данных в JSON
- открытые данные под лицензией Creative Commons
Пожелания
- интерактивная визуализация
-инфографика
Оценки трудоёмкости
Ожидаемое время на задачу не более от 1 до N недель
Вспомогательные материалы:
- Каталог открытых API университетов https://campusdata.org/rankings/
- Проект открытых данных и API университета Waterloo https://uwaterloo.ca/open-data/ и https://github.com/uWaterloo/api-documentation#accessing-the-api
- Open Data at York University https://data.info.yorku.ca/
- Открытое API Университета Каталонии https://open-api.uoc.edu/documentacio/uoc-public-api/
- Открытое API библиотеки Университета Хельсинки https://api.hulib.helsinki.fi/
- Открытое API Университета Мэриленда https://umd.io/
Вопросы
Обратите внимание что если Вы будете использовать данные о бюджетах и контрактах, то Вы ещё можете успеть на конкурс BudgetApps
#opendata #opengov
Идея N31 "Открытое API и данные университета [типовой проект]"
https://github.com/infoculture/datatasks/issues/31
Цель
Создать типовой проект с открытыми данными и открытым API любого университета с возможностью распространения и на другие университеты
Задача
- выбрать произвольный университет
- собрать все открытые данные более-менее актуальные и относящиеся к нему включая: курсы, списки учебной литературы, бюджет, состав преподавателей (сотрудников), контракты, меню столовой, новости, события, декларации ректоров и всё остальное.
- систематизировать данные и загрузить в реляционную или NoSQL базу данных
- создать API для доступа к этим данным
Контекст
Современные университеты представляют собой сложные иерархичные структуры накапливающие большие объёмы данных и раскрывающие данные на различных онлайн ресурсах. Предоставление данных университета в виде API позволит студентам использовать данные университета для создания новых мобильных приложений, сервисов и иных проектов на их основе,
Требования
- открытый исходный код в Github под свободной лицензией
- использование REST API с предоставлением данных в JSON
- открытые данные под лицензией Creative Commons
Пожелания
- интерактивная визуализация
-инфографика
Оценки трудоёмкости
Ожидаемое время на задачу не более от 1 до N недель
Вспомогательные материалы:
- Каталог открытых API университетов https://campusdata.org/rankings/
- Проект открытых данных и API университета Waterloo https://uwaterloo.ca/open-data/ и https://github.com/uWaterloo/api-documentation#accessing-the-api
- Open Data at York University https://data.info.yorku.ca/
- Открытое API Университета Каталонии https://open-api.uoc.edu/documentacio/uoc-public-api/
- Открытое API библиотеки Университета Хельсинки https://api.hulib.helsinki.fi/
- Открытое API Университета Мэриленда https://umd.io/
Вопросы
Обратите внимание что если Вы будете использовать данные о бюджетах и контрактах, то Вы ещё можете успеть на конкурс BudgetApps
#opendata #opengov
Заметный тренд последнего года - это всё более активное использование генераторов статичных сайтов вместо «классического» использования готовых CMS систем с базами данных и динамическим созданием контента. В обзоре в Smash Magazine [1] ещё в ноябре 2015 года приведены многие такие проекты позволяющие быстро создавать сайты и развертывать их онлайн. В другой их статье [2] приведены причины этого и статистика роста создания именно статических сайтов.
Главными причинами создания именно статистических сайтов можно обозначить:
- безопасность (мало рисков взлома CMS, дефэйса и тому подобного);
- несравнимая скорость отдачи сервером. Статический сайт может обслуживать многократно большее число пользователей
- отсутствие рисков с базами данных. Минус компонент и система становится проще. Нет риска если база данных подвиснет
- поддержка на уровне CDN (Content Delivery Network). Сейчас использование CDN - это стандарт де-факто для посещаемых сайтов и интегрировать статический сайт гораздо проще.
Большая роль в популяризации именно статических сайтов у платформы Jekyll [3]. При том что препроцессоры и генераторы статических HTML страниц существовали давно, Jekyll был реализован как идеальная интеграция с Github, позволяя создавать очень быстро статические сайты из текстовых файлов в форматировании Markdown. Это оказалось удобным и Github Pages [4] - это сейчас один из наиболее удобных способов быстро создавать сайты редактируя их через редактор Markdown в своем репозитории.
Однако Jekyll далеко не единственный такой генератор. В проекте StaticGen [5] собрано несколько десятков таких генераторов имеющих открытый исходный код. А для тех кто любит привычный интерфейс CMS появляются такие проекты как CloudCannon [6] предоставляющие возможность редактировать страницы онлайн и автоматически осуществляя их преобразование в статические.
Многие из этих проектов создавались изначально как проекты по быстрой подготовке документации, мануалов и онлайн книг. К ним можно отнести Gitbook [7]. А некоторые для замены блогоплатформ, особенно Wordpress’а, например, Hexo [8]
Генераторы статических сайтов активно используются и для государства. Главная причина как раз в безопасности, то о чём особенно беспокоятся создатели сайтов специальных служб и силовых органов. Статический контент в России многие из них используют вот уже давно. Сайт Gov.ru [9] управляется ФСО и его можно было бы заменить на статический (хотя бы статический) сайт с лучшим дизайном и наполнением.
Но кроме этой причины - конечно дело в удобстве. Ранее упоминавшиеся мной 18F Guides [10] созданы на базе Github Pages, также как и Open Data Policy руководство [11] из Project Open Data.
Многие и даже очень многие сайты можно создавать в крайне короткие сроки и минимальными затратами за счёт использования простых и правильных инструментов. Генераторы статических сайтов - это один из таких примеров. Они же вполне могут использоваться для быстрого создания онлайн проектов на хакатонов.
Ссылки:
[1] https://www.smashingmagazine.com/2015/11/static-website-generators-jekyll-middleman-roots-hugo-review/
[2] https://www.smashingmagazine.com/2015/11/modern-static-website-generators-next-big-thing/
[3] https://jekyllrb.com
[4] https://pages.github.com
[5] https://www.staticgen.com
[6] https://cloudcannon.com
[7] https://www.gitbook.com
[8] https://hexo.io
[9] https://gov.ru
[10] https://pages.18f.gov/guides/
[11] https://project-open-data.cio.gov/
#opendata #opengov
Главными причинами создания именно статистических сайтов можно обозначить:
- безопасность (мало рисков взлома CMS, дефэйса и тому подобного);
- несравнимая скорость отдачи сервером. Статический сайт может обслуживать многократно большее число пользователей
- отсутствие рисков с базами данных. Минус компонент и система становится проще. Нет риска если база данных подвиснет
- поддержка на уровне CDN (Content Delivery Network). Сейчас использование CDN - это стандарт де-факто для посещаемых сайтов и интегрировать статический сайт гораздо проще.
Большая роль в популяризации именно статических сайтов у платформы Jekyll [3]. При том что препроцессоры и генераторы статических HTML страниц существовали давно, Jekyll был реализован как идеальная интеграция с Github, позволяя создавать очень быстро статические сайты из текстовых файлов в форматировании Markdown. Это оказалось удобным и Github Pages [4] - это сейчас один из наиболее удобных способов быстро создавать сайты редактируя их через редактор Markdown в своем репозитории.
Однако Jekyll далеко не единственный такой генератор. В проекте StaticGen [5] собрано несколько десятков таких генераторов имеющих открытый исходный код. А для тех кто любит привычный интерфейс CMS появляются такие проекты как CloudCannon [6] предоставляющие возможность редактировать страницы онлайн и автоматически осуществляя их преобразование в статические.
Многие из этих проектов создавались изначально как проекты по быстрой подготовке документации, мануалов и онлайн книг. К ним можно отнести Gitbook [7]. А некоторые для замены блогоплатформ, особенно Wordpress’а, например, Hexo [8]
Генераторы статических сайтов активно используются и для государства. Главная причина как раз в безопасности, то о чём особенно беспокоятся создатели сайтов специальных служб и силовых органов. Статический контент в России многие из них используют вот уже давно. Сайт Gov.ru [9] управляется ФСО и его можно было бы заменить на статический (хотя бы статический) сайт с лучшим дизайном и наполнением.
Но кроме этой причины - конечно дело в удобстве. Ранее упоминавшиеся мной 18F Guides [10] созданы на базе Github Pages, также как и Open Data Policy руководство [11] из Project Open Data.
Многие и даже очень многие сайты можно создавать в крайне короткие сроки и минимальными затратами за счёт использования простых и правильных инструментов. Генераторы статических сайтов - это один из таких примеров. Они же вполне могут использоваться для быстрого создания онлайн проектов на хакатонов.
Ссылки:
[1] https://www.smashingmagazine.com/2015/11/static-website-generators-jekyll-middleman-roots-hugo-review/
[2] https://www.smashingmagazine.com/2015/11/modern-static-website-generators-next-big-thing/
[3] https://jekyllrb.com
[4] https://pages.github.com
[5] https://www.staticgen.com
[6] https://cloudcannon.com
[7] https://www.gitbook.com
[8] https://hexo.io
[9] https://gov.ru
[10] https://pages.18f.gov/guides/
[11] https://project-open-data.cio.gov/
#opendata #opengov