UPD2: И снова предыдущая ссылка не работает, а новый файл https://static.government.ru/media/files/2cI4nAujPfIo4QJGy7DfEIeoJ7TRV2YJ.pdf

UPD3: Вы будете смеяться, но они его снова обновили (c) https://static.government.ru/media/files/8TfaUa5T8j0a9ATkD7RpSPAqtZTUWlsQ.pdf что-то результаты деятельности Правительства слишком часто меняются;)

Всем кто интересуется открытыми данными и думает как помочь - всегда есть возможность помощи в каталогизации проектов. В Russian awesome open data list [1] на github'е мы собираем такой структурированный каталог, туда можно просто добавлять региональные и федеральные проекты.

Ссылки:
[1] https://github.com/infoculture/awesome-opendata-rus

#opendata #opengov

Как публиковать данные и делать это достаточно просто?

Для тех кто хочет собрать портал открытых данных своими руками:
- CKAN https://ckan.org - один из самых распространённых движков для публикации данных в мире. Изначально создан в Open Knowledge International
- DKAN https://getdkan.org/ - движок для публикации наборов данных на базе Drupal. Также очень популярен в мире
- JKAN https://jkan.io/ - позволяет быстро создавать сайт для открытых данных на базе статических страниц и движка Jekyll. Отличается большой простотой в развёртывании
- UData https://udata.readthedocs.org/ социальная платформа для публикации данных, используется в государственных порталах откртыых данных Франции и Люксембурга.
- Dataverse https://dataverse.org/ - для тех кто готов развернуть сложную инфраструктуру публикации научных данных.

Для тех кто хочет просто опубликовать:
- DataHub - https://datahub.io/ проект Open Knowledge International по публикации данных онлайн, с командной строкой и API
- DataWorld - https://data.world стартап пытающийся стать Github'ом для данных. Продвинутый интерфейс для работы и много интересных возможностей и API
- GitHub - https://github.com - крупнейший хостинг open source проектов часто используется и для публикации данных.
- Internet Archive https://archive.org - многие публикуют в Интернет Архиве крупные наборы исторических данных. Некоторые коллекции достигают десятков терабайт
- Хаб открытых данных https://hubofdata.ru/ - для тех кто хочет опубликовать в России, работает на движке CKAN.

#opendata #data

Сегодня начнётся блокировка Телеграма, но мы улыбаемся и машем, я точно буду дублировать записи в Фэйсбуке на facebook.com/ibegtin, но и телеграм канал никуда не денется.

Open Data Institute открыли сайт посвящённые открытым стандартам публикации данных [1].

Они систематизировали много инициатив по разработке открытых стандартов и форматов публикации данных, разработали рекомендации как разрабатывать собственный стандарт и сводят реестр существующих открытых форматов.

Ссылки:
[1] https://standards.theodi.org/

#opendata #opengov

Про телеграм я всё таки напишу подробнее.

Например, почему ни я, ни очень многие кого я знаю не перестанут им пользоваться. Помимо аргументов которые я приводил в статье на РБК [1], есть много практических аспектов.

1. Телеграм по возможностям - это не только и столько массовый мессенжер, сколько среда для груповой работы. Он отнимал аудиторию не у What'sUp или Facebook Messenger'а, а у Slack'а и его аналогов. "Рабочие чатики" - это массовое применение телеграма и надо признать что получилось это благодаря очень легковесному клиенту и простоте создания чатов, ботов и каналов. Всё оказалось в одном месте и очень удобно. Например, у нас было и есть сообщество по открытым данным в Slack'е [2] до того как появился чат OpenDataRussia [3], но оно так и остаётся скорее резервной площадкой потому что в телеграме всё работе в единой среде.

2. О ботах и каналах. Много лет я искал альтернативу "читалкам RSS" чтобы получать новости в удобном виде. В начале года я понял что удобного не найду и сделал своими руками такую читалку в Телеграме. Читалку управляемую через бот FeedRetranslatorBot [4] который извлекает новости из сайтов и кидает их в телеграм канал выбранный владельцем. Простая штука, лично мне очень удобная, я читаю новости Правительства, Кремля, министерств и тд. все через разные каналы, также как и новости про открытые данные и не только.
Бот наполняет новостями канал Инфокультуры [5] со всех наших проектов и это очень удобно, освобождает много времени.

Эту возможность невозможно перенести ни в один из существующих мессенжеров без существенных накладных расходов. У другого нашего проекта, APICrafter [6] по продаже доступа к API есть также бот в телеграме который раздаёт ключи для тестового доступа [7]. Почему он там и почему так? Его оказалось очень легко, быстро и удобно реализовать.

Кроме того в этом году мы запланировали ботов для проектов: Госзатраты, Открытые НКО, а у проекта Открытая полиция есть чат бот помогающий оценить Ваши навыки взаимодействия с полицией [8].

До тех пор пока не введут личную ответственность граждан за использование Telegram'а и других заблокированных ресурсов, пользоваться, я лично, и большинство тех кого я знаю, будут.

Ссылки:
[1] https://www.rbc.ru/opinions/politics/13/04/2018/5ad0782e9a79470a8e5fa03d
[2] https://join.slack.com/t/opendatarussia/shared_invite/enQtMjg4ODM2MTQzODU4LWFhYjRiNThjZmFhNjQwMjgyNTZmMDU5NDAwNWUxZmNlYTA2YWI5OGE5MWUyMDBhOGE1ZDUxOTk2NjAyNTY3YWE
[3] https://t.iss.one/opendatarussia
[4] https://t.iss.one/FeedRetranslatorBot
[5] https://t.iss.one/infoculture
[6] https://apicrafter.ru
[7] https://t.iss.one/APICrafterBot
[8] https://t.iss.one/openpolice_ruBot

#telegram

Britdata [1], электронная книжка от журналиста SA Mathieson [2] о том как находить данные в Великобритании и о Великобритании. Не думаю что она может быть содержательная полезна в России, но полезна по пониманию формата. Для журналистов находимость данных - это важная часть их работы. Мой личный опыт показывает что такие книжки журналистам необходимы, особенно в форматах вопросов и ответов.

Ссылка:
[1] https://samathieson.com/sa-mathieson/training/britdata-finding-data-on-uk-journalists-researchers-campaigners/
[2] https://samathieson.com/sa-mathieson/about/
#opendata

Завтра буду на РИФе полдня примерно на секции "Бизнес на данных. Баланс интересов пользователя, компаний и государства" https://2018.rif.ru/program/4801

#opendata

По моему уже стало очевидно что в Павел Дуров был бы лучшим кандидатом на пост главы Роскомнадзора в будущем составе Правительства.

В качестве небольшого отвлечения от темы данных, но без отвлечения от государства.

Я надеюсь все помнят что скоро будет чемпионат мира по футболу? Специально для тех кто пойдёт его смотреть в рамках проекта Открытая полиция мы собираем совсем немного денег на специальную памятку для болельщиков https://planeta.ru/campaigns/fifa и я лично тоже пожертвовал на брошюру небольшую, но важную для проекта сумму.

Открытая полиция - это один из немногих проектов КГИ который мы в Инфокультуре делаем с акцентом на понятность. Открытость данных полиции важна, но наш опыт показал что гораздо важнее понимание того как правоохранительная система работает.

Из всех проектов что мы ведем - это самый понятный и самый человеческий. Если данные понятны не всем, то разговаривать с полицейскими понадобится каждому. Понимание своих прав, навыки общения с полицейскими - это залог здоровья и долголетия в нашей любимой родине.

#openpolice

Действия Роскомнадзора были бы малозначимыми не будь они столь бессмысленны и вредны. Мне действительно не хочется писать подробно о том как правильно было реализовывать блокировки (вернее написать может и хочется, но я не буду), а вот пример того почему действия Роскомнадзора напрягают могу описать, но предупрежу что будет много технических терминов:

1. Вот у нас небольшая организация с набором довольно разных проектов. Для инфраструктуры работы нам нужны сервисы управления проектами, кода, обеспечения работы сайтов и многое другое. Стеки того что мы используем включают такие продукты как Slack, Trello, Github, Cloudflare, Restlet, Backblaze и не только. И у них нет российских аналогов. Для некоторых проектов мы используем зарубежные хостинги, например, когда надо быстро развернуть образ для Docker'а.

При этом большая часть этих сервисов хостится на Amazon, Rackspace и используют Cloudflare или Akamai в качестве CDN. И конечно телеграм параллельно со Slack'ом используется для координации проектных команд.

В результате блокировок Роскомнадзора, пока, ни что из того что мы используем не пострадало, но вероятность этого была и остаётся совсем не нулевая.

2. Наш личный дзен пока неполон, масштаб ещё не таков чтобы самим массово разворачивать виртуальные сервера, но могу сказать что зарубежные современные хостеры значительно, очень значительно опережают российских по качеству и скорости развёртывания инфраструктуры.

Но если будет необходимость использовать хостинг, то главными критериями будет надёжность и простота удобства, а не юрисдикция.

3. Массовые блокировки приведут ещё к одному неприятному последствию. Если раньше российский хостинг использовали хотя бы жители стран входивших в СССР, то с действиями Роскомнадзора резко выросли риски нарушения связности систем. Если у Вас веб-сервер на российском хостинге и он по туннелю работает с данными или вычислительными мощностями на Google или Amazon, то действия Роскомнадзора этому создают сильные риски.

4. Почему действия Роскомнадзора - это очень хреновый пример регулирования? Вот лишь несколько причин.
- ресурсы которые Роскомнадзор сейчас автоматически блокирует - это ресурсы "базовой инфраструктуры Интернета". Google, Akamai, Cloudflare, Amazon и другие крупнейшие игроки и хостеры на рынке многое сделали для того чтобы без их существования миру стало бы значительно хуже.
- на этих ресурсах находятся CDN сервисы которые используются сайтами организаций и органов власти в России
- на этих ресурсах находятся шлюзы платёжных систем из-за недоступности которых не работает оплата
- на этих ресурсах находятся сайты, базы данных, вычислительные мощности тысяч российских компаний
- на этих ресурсах находятся сервисы Интернета-вещей и многие системы безопасности, освещения, умных устройств не работают из-за недоступности.

5. Почему всё происходящее смахивает на какую-то трагикомедию положений? Потому что без качественной внутренней инфраструктуры, без многолетних инвестиций в национальные проекты - невозможно развязать российских потребителей и западную экосистему Интернета со всеми сервисами и социальными сетями.

6. Если Роскомнадзор сейчас "умоется" тем как Телеграм прыгал от него с сервера на сервер, то все разговоры про блокировку Facebook'а - это красивые размышления. Facebook привлечёт Дурова с его командой в консультанты или они сами придумают меры делающие блокировку невозможной. Это если они вообще хоть что-то будут предпринимать, а не забьют полностью как Microsoft это сделали с LinkedIn.

В заключение - мы находимся в идеологической развилке. Либо технологическое развитие, либо технологическая изоляция.

И с каждым днём эта развилка будет всё жёстче.

Для тех кто пользуется МТС - достаточно включить IPv6 в опциях через мобильное приложение МТС или на сайте МТС подключить услугу и телеграм будет работать без прокси и VPN

VPN - это не только способ обойти блокировку Telegram, Linkedin, Slideshare и других сайтов. Это еще и технология, которая позволяет создавать защищенные сети, которые используются в корпоративном и государственном секторе. Мы проанализировали 3,5 тысячи госконтрактов общей суммой в 6,97 млрд руб. на закупку услуг VPN и посчитали, кто из госорганов и бюджетных учреждений пользуется VPN, у кого они закупаются и сколько все это стоит.

https://komitetgi.ru/news/news/3731/

Правительство опубликовало правила хранения данных по закону Яровой, документ в виде скана есть на pravo.gov.ru [1].
Полное наименование:
Постановление Правительства Российской Федерации от 12.04.2018 № 445 "Об утверждении Правил хранения операторами связи текстовых сообщений пользователей услугами связи, голосовой информации, изображений, звуков, видео- и иных сообщений пользователей услугами связи"

Обратите внимание что на самом сайте Правительства документ отсутствует [2], почему-то аппарат перешёл в режим публикации документов с 2-х недельной задержкой, та же история с публикациями на сайте Российской газеты [3].

Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001201804190032?index=0&rangeSize=1
[2] https://government.ru/docs/all/
[3] https://rg.ru/doc-search/?doctype=postanov&materialTypes=doc&org=org%2Fpravitelstvo

#data

Ключевая страница документа

Учитывая что уже близкий к запуску проект Google Outline [1] по организации персональных VPN серверов максимально простым образом, использует API облачного хостера Digital Ocean [2] по умолчанию и ещё широкий ряд облачных сервисов, то есть реальные риски постепенной блокировки всех современных облачных провайдеров.

И тут надо объяснить. Современный облачный хостер - это, прежде всего, автоматизация развёртывания и API. У Amazon'а, Rackspace Cloud, Digital Ocean и многих других - это не самые низкие цены, это возможность развёртывания и свёртывание серверов в несколько кликов или команд с командной строки. Когда инфраструктура больше чем из 10 серверов - это невероятно удобно, хотя и дороже чем если поставить сервер в стойку хостера или взять в аренду у хостеров-дискаунтеров.

Кроме того на инфраструктуре облачных хостеров часто есть сервисы, которые не найти больше нигде. Пример - огромная база веб-страниц Common Crawl [3] находится на серверах Amazon и из других сетей она откликается из внутренних подсетей гораздо лучше чем из внешних. Это главная причина почему Amazon хостит много больших данных в своей инфраструктуре и отдаёт их бесплатно.

Блокировка облачных хостеров сильно ударит по всей инфраструктуре обработки данных в России.

Ссылки:
[1] https://getoutline.org/
[2] https://www.digitalocean.com/
[3] https://commoncrawl.org

#rkn

По поводу блокировки Telegram’а я ещё добавлю, что все эти истории с “запрос ключей” показывают куда более глубокую и фундаментальную проблему непонимания наших силовиков и спецслужб того как работать с высокотехнологическим сектором.

ФСТЭК, ФСБ, Роскомнадзор и остальные много лет пытались выстроить самоизолированную систему. Не развивая рынок, а сворачивая его под внутренние требования. Все проходили развилку — или ты делаешь для мира, или ты делаешь для России. Но всё это было в ситуации отсутствии политической воли на режим потребительской самоизоляции. И вот, развязка наступила, Роскомнадзору дали команду или он сам запросил и получил разрешение и нашлись причины для запуска изоляции не только ИТ сектора, но и граждан.

Только среда то изменилась. Сейчас блокировки и иные ограничения невозможно осуществлять без снижения качества жизни миллионов людей. Информационное потребление стало частью ежедневных потребностей и сила государственного воздействия на эти потребности резко выросла, вызывая ответное активное противодействие.

Хуже то что вся ситуация демонстрирует принципиальную слабость регуляторов и контролёров, слабость которая теперь вылезает невооружённым взглядом и тем опаснее для их репутации.

При этом спецслужбы во всём мире очень похожи и, в целом, состоят из людей похожих ценностей. Разница лишь в методах и о них подробнее.

В 2013 году Reuters писали о том как АНБ заключало контракт на 10 миллионов долларов с компанией производителем алгоритмов и оборудования для шифрования RSA на то что те встроят ошибки в их алгоритмы для упрощения взлома шифров [1].

Мессенжер Signal (Open Whisper Systems) [2] получил около 3 миллионов долларов от Open Technology Fund [3] при том что Open Technology Fund существует с относительно небольшим бюджетом около 10 миллионов долларов в год [4] (600 миллионов рублей в год). Разумеется у всех кто знает как работают подобные защищённые проекты есть подозрения что и в Signal’е могут быть встроены механизмы позволяющие спецслужбам перехватывать и расшифровывать сообщения.

В России же только на подрядчика Е Софт создававшего системы для Роскомнадзора ушло более 1 миллиарда рублей [5] за 4 года. Можно ли бы было бы потратить их с большим умом? Без сомнения.

Когда Сноуден сбежал в Россию у российских спецслужб был невероятный шанс занять нишу защитников приватности и безопасности и создать свой аналог Open Technology Fund. Скорее всего не напрямую, а также как это сделано в США. Это позволило бы поддерживать массово проекты с сильной криптографией, финансировать международные НКО отстаивающие приватность, профинансировать создание Telegram’а и не только. Но шанс был довольно быстро слит в никуда, а сейчас уже и Сноуден выступает в поддержку Телеграма.

А ведь тех кто считает что централизованные системы такие как Facebook, Twitter, Google, да и тот же Telegram, кстати, массово нарушают приватность — много. Но в Германии не блокируют Facebook, а на десятки миллионов евро Минюст ФРГ финансирует общества защиты прав потребителей чтобы судиться с ними.

Нельзя жить в новом мире без понимания его правил. Россия существует не на отдельной планете, существует в мире где можно забиться в свой информационный островок. Наивно полагать что мы самодостаточны — это совсем не так, для этого Россия не настолько богата.

Ещё более наивно полагать что возможно хоть что-то делать без трезвого осознания того что происходит в мире и уж тем более что подобные ситуации разрешаются насильственными методами.

Сейчас, усилиями Роскомнадзора, Российское государство загоняет само себя в нишу из которой не будет выхода без сильнейшего удара по репутации.

Ссылки:
[1] https://www.reuters.com/article/us-usa-security-rsa/exclusive-secret-contract-tied-nsa-and-security-industry-pioneer-idUSBRE9BJ1C220131220
[2] https://www.signal.org/
[3] https://www.opentech.fund/project/open-whisper-systems
[4] https://www.opentech.fund/sites/default/files/attachments/2016_otf_annual_report.pdf
[5] https://clearspending.ru/supplier/inn=7728216470&kpp=772101001?sort=-price

#rkn