Еще новости с фронтов.
сайт 7zip под бокировоочками.

а https://data.gov.ru — вообще СЛОМАЛИ!!! Он редиректит теперь на всякое непотребство.

Московское правительство организовало довольно странным образом обсуждение их цифровой стратегии [1] где даже есть полезное и про данные [2], но на самом портале жизни нет, всего то 7-15 комментариев в зависимости от раздела.

В чём проблема? Стратегия не блестящая или мы не верим что московское правительство реально применит то что получит в комментариях?

Ссылки:
[1] https://www.ict.moscow/strategy/
[2] https://www.ict.moscow/strategy/pages/5/

#data #moscow #strategy

Twitter заблокировал Лаборатории Касперского размещать рекламу на своей платформе [1], на что Евгений Касперский уже написал что лаборатория сама отказывается от рекламы на платформе и жертвует все запланированные на рекламу там средства в Electronic Frontier Foundation [3].

Новость про блокировку рекламы, безусловно, плохая, особенно для всех компаний международного уровня с R&D в России. Кроме оттока инвесторов они могут оказаться в подобных "санкционных списках".

Ссылки:
[1] https://www.pcmag.com/news/360576/twitter-bans-ads-from-russias-kaspersky-lab
[2] https://www.kaspersky.ru/blog/ek-on-twitter-ads/20213/
[3] https://eff.org

#censorship

Российское правительство опубликовало отзыв закон о цифровых активах [1].
В отзыве Правительство предлагает доработать его ко второму чтению и учесть следующие замечания:
- обязательный контроль по обмену крипты на рубли или другие валюты на сумму от 600 тыс. руб
- перевести статус финансовых активов в статус имущества
- уточнить определение чтобы вывести из под него другие криптографические инструменты вроде ЭЦП
- упрощённую идентификацию дистанционным способом (для привлечения иностранных инвесторов)
- требуют уточнить понятия токена и криптовалюты чтобы их разграничить
- внести изменения в налоговый кодекс

и многое другое.



Ссылки:
[1] https://government.ru/activities/selection/303/32374/

#crypto

Главный вопрос происходящего с Телеграмом, не то почему "Telegram" прыгает с сервера на сервер, а то почему Apple и Google не удалили его приложения.

Обычно эти два монополиста очень чувствительны к судебным решениям. Вот лишь несколько важных примеров:
- сентябрь 2017 года, 23 сентября испанский суд требует от Google удалить из App Store приложение используемое для каталонского референдума [1] и 27 сентября Google его удаляет [2]
- январь 2017 года, Apple и Google исполнили решение российского суда по удалению официального приложения LinkedIn после официального запрета социальной сети в Росии [3]
- январь 2017 года, Apple удаляет официальное приложение New York Times (NYT) которое позволяло обходить блокировку сайта NYT, который ранее был заблокирован властями Китая [4]
- август 2014 года, бразильский суд требует от Apple удалить приложение Secret из бразильского App Store в течение 10 дней после решения суда и Apple удаляет [5]. Впрочем требование было, и к Apple, и к Microsoft, и к Google [6]

Этот список не является исчерпывающим. Главный вопрос на который необходимо понять ответ - это почему в этот раз Google и Apple отказали в удалении приложений.

Все мобильные приложения зависят от двух монопольных экосистем - Google и Apple.

Настоящий конфликт у Роскомнадзора именно с ними. Все остальные действия - это из-за невозможности договориться всего лишь с этими двумя корпорациями.

Ссылки:
[1] https://www.reuters.com/article/us-spain-politics-catalonia-google/spanish-court-orders-google-to-delete-app-used-for-catalan-independence-vote-idUSKCN1C42JZ
[2] https://news.antiwar.com/2017/09/29/google-removes-catalan-referendum-app-on-spanish-court-order/
[3] https://appleinsider.com/articles/17/01/06/apple-forced-to-remove-linkedin-app-from-russian-app-store
[4] https://appleinsider.com/articles/17/01/04/apple-yanks-new-york-times-app-from-china-app-store-at-governments-behest
[5] https://www.cnet.com/news/apple-removes-secret-from-app-store-in-brazil/
[6] https://gadgets.ndtv.com/apps/news/apple-google-and-microsoft-ordered-to-remove-secret-app-in-brazil-578939

#telegram

Австралийское Digital Transformation Agency (DTA) опубликовали обновлённую система дизайна австралийских цифровых государственных услуг [1], довольно проработанные принципы того как должны реализовываться государственные сайты и онлайн услуги.

На этих принципах, например, работает австралийская панель наблюдения за качеством услуг [2] склонированная с аналогичной системы UK [3].

В принципе, страны англосферы: Великобритания, Австралия, Канада, Новая Зеландия и США наиболее активно используют открытый код друг друга в части государственных проектов. Это даёт не только экономию, но и совместную синергию команд разработки.

От себя добавлю что основное ядро разработчиков публичных государственных систем на Github'е - около 1000 человек, далеко не все из которых работают в государстве, органы власти за пределами России очень активно используют открытый исходный код для всех систем и открытый код публикуют сами. Github in Government [4] охватывает огромное число уже существующих групп и инициатив [5].

Только на Github присутствует 137 групп так называемых Civil Hackers которые помогают создавать сервисы на открытых данных и связанные с государством. Это могут быть коммерческие, общественные организации, могут быть неформальные группы, но все они объединены одним - раскрытием исходного кода.

Год назад я загружал на data.world статистику по всем репозиториям всех групп из GitHub Government [6], а ещё ранее, 2 года назад все цифры и статистику выкладывал на GitHub [7]

Главный факт который не изменился за эти годы - раскрытия кода российскими органами власти за эти годы так и не началось. Все они так или иначе используют open source, но их вклад в открытый код минимален. Даже Министерство финансов Гватемалы [8] и агентство госуслуг Венесуэлы [9] публикуют исходный код, а в крупных странах - это десятки организаций.

Ссылки:
[1] https://designsystem.gov.au/
[2] https://dashboard.gov.au/
[3] https://www.gov.uk/performance
[4] https://government.github.com/
[5] https://government.github.com/community/
[6] https://data.world/ibegtin/open-source-government-project
[7] https://github.com/ivbeg/opensourcegovernment
[8] https://github.com/minfingt
[9] https://github.com/suscerte

#opendata #opensource

Для тех кто возможно не знает - в США есть обязательные требования по хранению всех public records (публичных записей) деятельности органов власти [1] и NARA (The U.S. National Archives and Records Administration) ведёт реестр не только архивов, но и случаев незаконного или ошибочного (неавторизованного) удаления публичных материалов [2].

Там есть кейсы анекдотические, когда сотрудник Forest Service потерял в аэропорту чемодан текстами контрактов и найти его не удалось [3], а есть более серьёзные связанные с удалением сотрудником госдепартамента Брайяном Паглиано писем из его официального почтового ящика [4].

Национальное архивное агенство США выступает одним из источников раскрытия официальной информации благодаря тому что имеет право архивировать всю государственную информацию и делает это на постоянной основе.



Ссылки:
[1] https://www.ecfr.gov/cgi-bin/text-idx?SID=2cb32d56fb6af59e4b4ee022f092b321&mc=true&node=pt36.3.1230&rgn=div5
[2] https://www.archives.gov/records-mgmt/resources/unauthorizeddispositionoffederalrecords
[3] https://www.archives.gov/files/records-mgmt/resources/2018-01-17-ud-fs-ud-2018-0002-open-close-letter-1301-1b.pdf
[4] https://www.archives.gov/files/records-mgmt/resources/ud-2016-0018-state-open-close-letter.pdf

#open #nara

По поводу новости о том что ФАС заставит предустанавливать российские приложения [1] на телефон, я бы напрягся куда больше чем на блокировку телеграма и "Роскомнадзор с гранатой".

Потому что для полного контроля за информационным потреблением у государства нет ключевого механизма - возможность вмешиваться в потребительские устройства. Причём нет такой возможности исключительно из-за технической отсталости - почти все устройства производятся за пределами России и влиять на прошивку и железо российским спецслужбам непросто (а где-то и невозможно).

Принудительная установка российского ПО может включать установку приложений для госуслуг, [гос-]антивируса/защитного приложения и тд. Иначе говоря ПО которое:
a) Будет следить за пользователем
б) Может иметь возможность вмешиваться в работу установленных приложений

Очень странно что никто из "охранительной тусовки" ещё не продал свой государственный appstore для Андроида.

Я поясню на примерах.
1. Государство принуждает устанавливать российские браузеры на мобильные телефоны и обязует всех разработчиков российских браузеров вести историю посещений страниц пользователем. Разработчикам может быть запрещено уведомлять об этом пользователей и вообще как-либо раскрывать подобную информацию.

2. Разработчик антивируса/защитного приложение получает обязательство удалять все приложения с телефона относящиеся к производителю приложений попавшему в "реестр запрещённых приложений".

P.S. Тем кто задаёт вопросы о том почему я что-то "подсказываю". Тут не надо ничего подсказывать, все эти возможности давно известны специалистам и лишь неизвестны широкой публике.

Доп. материалы:
- публикация в ФАС [2]
- дорожная карта [3]
- новость на Roem.ru [4]
Ссылки:
[1] https://www.cnews.ru/news/top/2018-04-25_v_rossii_gotovyat_zakon_ob_obyazatelnoj_predustanovke
[2] https://fas.gov.ru/news/24721
[3] https://fas.gov.ru/attachment/162837/download?1523023270
[4] https://roem.ru/07-04-2018/269404/chistka-ot-predustanovok/

#privacy

О том что Минфин убрал из доступа данные о зарплатах министров [1] Абызов лукавит, конечно же.

Во первых - раскрытие таких данных это политическое решение, а значит что команда на их закрытие шла не от Минфина, а от Правительства

Во вторых - что Абызову мешает прийти к Дмитрию Медведеву и спросить почему Правительство на своём сайте эту информацию не публикует.

В третьих - а что ему самому и лично мешает публиковать его собственную зарплату?

Минфин я не оправдываю, но и вины их именно в этом не вижу. Раздела "Открытые данные" на сайта Правительства "government.ru" так и не появилось.

Ой, случайно ли? Может потому что Открытое правительство х&*^о работает ?

Ссылки:
[1] https://www.rbc.ru/economics/26/04/2018/5ae0af9e9a79474a437969f5

#opendata #opengov

РАЭК и РОЦИТ провели встречу в ситуационном центре Роскомнадзора по поводу блокировок [1] и похоже что безрезультатно. Похоже что в этой ситуации у бизнеса нет переговорщика

А ректор ИТМО направил письмо советнику Президента Герману Клименко [2]. Очень чётко и хорошо написанное письмо о текущей ситуации. Впрочем Герман Клименко на посту советника Президента ничем кроме одиозного поведения не запонился.

Я со своей стороны могу сказать что вся эта тема с Роскомнадзором и блокировками - это, глобально, "не моя война". Я всегда писал и пишу про данные, про повышение качества работы государства, про механизмы открытости и немного про стартапы и НКО. И ещё про архивацию и понятный язык.

Сетевая нейтральность, приватность, защита прав в сети - это всё очень важно и полностью соответствует моим убеждениям и ценностям, но я чётко ограничиваю то насколько я лично в это всё погружаюсь. В первую очередь потому что многие в России хорошо понимают эту тему и готовы ей заниматься, а к примеру темами открытых данных или цифровой архивации до сих пор занимаются немногие и куда хуже будет если я перестану ими заниматься.

В ситуации с Роскомнадзором я сам и мои организации являются одними из пострадавших. Неработащие сервисы, заблокированные сервера у нас и партнёров - это лишь малая толика проблем которые создали безумства регулятора в лице Роскомнадзора.

Да, окончательная картина будет понятна после формирования нового правительства, но уже сейчас понятно что у интернет отрасли всё очень плохо с диалогом с государством, как минимум с некоторыми его частями. Что будет дальше? Узнаем довольно скоро

Ссылки:
[1] https://rocit.ru/news/rocit-and-rkn-meeting
[2] https://news.ifmo.ru/ru/education/official/news/7482/

#rkn

Итак, Роскомнадзор, поскольку заблокировал
всю подсеть Scaleway (Нидерланды) 51.15.0.0/16, то он заблокировал мой личный сайт и блог https://begtin.tech

https://isitblockedinrussia.com/?host=begtin.tech

Почему я развернул его на Scaleway? Потому что сайт работает на движке Ghost, а Scaleway по умолчанию развовачивает образ с Docker'ом и дальше через Docker я развернул образ Ghost. Очень удобно во всём, кроме Роскомсамизнаетекого.

Так что это становится личным.

#rkn

Все данные по контрактам и субсидиям Роскомнадзора мы выложили онлайн на хабе открытых данных [1], а в новости на сайте КГИ [2] о том что именно в выложенных файлах.

Охвачены 74 организации - Роскомнадзор и подведы.

Там 3 файла:
- Все контракты по 44-ФЗ, 223-ФЗ и 94-ФЗ в формате JSON. Данные представляют собой дамп базы проекта КГИ “Госзатраты” (clearspending.ru) и содержат информацию о перечисленных выше заказчиках, поставщиках, контрактах. Первоисточником данных является официальный портал госзакупок ( zakupki.gov.ru).

- Данные по предметам контрактов. Выборка представляет собой csv-файл, каждая строка которого - описание одного предмета контракта.

- Субсидии в формате JSON. Данные содержат все федеральные субсидии, распределенные Роскомнадзором. В качестве источника выборки использовано API проекта APICrafter, а первоисточником данных является портал Электронного бюджета ( budget.gov.ru).

Данные пригодятся всем исследователям, журналистам и аналитикам кто хочет проанализировать контракты Роскомнадзора с 2009 года.

Если будут вопросы - пишите нам на [email protected] или задавайте вопросы в чате https://t.iss.one/begtinchat.

Ссылки:
[1] https://hubofdata.ru/dataset/rkn-finances
[2] https://komitetgi.ru/news/news/3745/

#opendata #rkn

--- Минутка рекламы —-

Вы наверняка знаете проекты которые ведёт Инфокультура (https://infoculture.ru) которую я возглавляю? Какие-то из них больше, какие-то меньше. На некоторые нам удаётся найти бюджет и финансирование, на другие гораздо сложнее.

Такие проекты без бюджетов, например:
- Национальный цифровой архив https://ruarxive.org
- Простой русский язык https://plainrussian.ru
- Хаб открытых данных https://hubofdata.ru

Все эти проекты про открытость, открытые данные, открытый код и открытое API.

Нам удаётся их поддерживать за счёт того что иногда мы делаем и небольшие коммерческие проекты, но в целом, скажу честно, фандрайзинг никогда не был нашей сильной стороной, а многие говорят что и фандрайзинг на эти темы очень сложен.

Мы сделали страницу на https://yasobe.ru/na/infoculture где каждый может пожертвовать немного на наши проекты. Это сбор на основную, уставную деятельность.

Отдельно на каждом сайте мы разместим ссылки как можно поддержать проекты.

А если кто-то захочет поддержать их не просто на 100-250 рублей, а выступить спонсором - с удовольствием отметим как важного спонсора. На сайте, в публикациях и не только.

P.S. И напомню что по проекту открытая полиция идёт сбор средств на памятку для футбольных болельщиков на период чемпионата мира по футболу в России - https://planeta.ru/campaigns/fifa

Не стоит недооценивать её полезность

#opendata #fundraising

Немного юмора, на фоне неуморительного Роскомнадзора. Ко дню супергероев в проекте госзатраты мы проанализировали контракты с "супергеройскими" поставщиками

Тест: Супергерой Госзаказа
https://www.infoculture.ru/2018/04/28/quiz-superhero/

Сегодня 28 апреля — официальный день супергероя (National Superhero Day).
Marvel придумал этот праздник еще в 1995 году. Ежегодно в этот день миллионы
людей по всему миру чествуют не только вымышленных супергероев, но и реальных.
А мы обратили внимание, что супергерои из вселенных Marvel и DC окружают нас
на российском рынке госзаказа. Госзатраты решили посмотреть, как часто всем
известные супергерои: Бэтмен, Черная кошка, Халк, Человек-паук, Росомаха,
Чудо-женщина и другие, — встречаются в назв

Сегодня в 21:00 я буду на Эхо Москвы в передаче "Точка" Александра Плющева [1] про "Сломанный интернет"

Я немного кашляю, но надеюсь к 9 вечера смогу говорить.

Ссылки:
[1] https://echo.msk.ru/programs/tochka/2192332-echo/

#rkn #privacy

The Citizen Lab [1], канадское НКО занимающееся исследованием того как государства и корпорации нарушают приватность, 25 апреля выпустили исследование [2] по продуктам компании Netsweeper, которые уже много лет предоставляют технологии фильтрации для государства [3]

The Citizen Lab, фактически, обвиняют Netsweeper в том что те помогают цензурировать интернет в таких странах как: Афганистран, Бахрейн, Индия, Кувейт, Пакистан, Катар, Сомали, Судан, ОАЭ, Йемен

А всего нашлось более 30 стран где были найдены установленные ими устройства.

Самое интересное в том как именно они узнали что в этих странах используется Netsweeper. А вот тут то им и помогли открытые данные и открытые источники информации.

Авторы исследования собрали данных из систем Censys [4] и Shodan [5] (Censys отдаёт данные бесплатно и так, а Shodan они попросили и им дали нужное). Из этих данных они извлекли устройства имеющие признаки отношения к Netsweeper и выложили их набором данных на github [6], о том как именно они это делали подробности в методологии [7].

Ко всему прочем в исследовании они обращались к данным OONI [8] и ICLab [9], проектов по мониторингу цензуры в интернете. Далеко не во всех странах правительства принципиально дают возможность узнать что же они блокируют и тогда это выясняется с помощью специального ПО которое ставится на личные компьютеры и сервера и которое проверяет блокировку сайту по спискам.

Ссылки:
[1] https://citizenlab.ca/
[2] https://citizenlab.ca/2018/04/planet-netsweeper/
[3] https://www.netsweeper.com/government/
[4] https://censys.io/
[5] https://www.shodan.io/
[6] https://github.com/citizenlab/planetnetsweeper
[7] https://citizenlab.ca/2018/04/planet-netsweeper-section-1-methodology-technical-findings/
[8] https://ooni.torproject.org/
[9] https://iclab.org/

#opendata #privacy

На передаче "Сломанный интернет" на Эхо Москвы я говорил о том что Apple и Google не удалят приложения Telegram из своих магазинов именно потому что получат иски и публичные обвинения в цензуре.

Кстати, в поддержку Телеграма и «против интернет-цезуры», включая «пакет яровой», подписались 26 международных организаций. Среди которых ARTICLE 19, Freedom House, WWW Foundation и самый уважаемый — Electronic Frontier Foundation

https://www.article19.org/resources/russia-telegram-block-leads-widespread-assault-freedom-expression-online/

Петиции ушли в ООН, Совет Европы, Организацию по безопасности и сотрудничеству в Европе (ОБСЕ), Европейский союз и другие заинтересованные организации, готовые оспаривать действия России и вести переговоры.

Тут нужно понимать, что быстро ничего не произойдет. Но если кто-то из перечисленных решит эскалировать процесс, то могут быть весьма неприятные последствия. Трудно пока представить какие, но времени их придумать — завались.

Например, Жаров вот уже в санкционных списках, откуда следует, что любые запросы по его ведомству за любую коллаборацию с американскими компаниями может неиллюзорно прилететь.

В список может попасть, например, действующий или новый министр связи. А это значит, что кое-кто не сможет улыбаться на всевозможных сабантуях в ITU.

Ну, например:
на Глобальном симпозиуме для регуляторных органов (ГСР) 2018 года (9−12 июля 2018 года) Женева, Швейцария​
или
Всемирное мероприятие ITU Telecom-2018
​10−13 сентября 2018 года, Дурбан, Южно-Африканская Республика​.

А это значит, что не будет каких-то выгодных контрактов и интересных проектов. Ну, например, магистраль «Европа-Азия» по территории России — про нее уже можно забыть.

Я, по старинке, значительную часть новостей читаю в почтовых рассылках и почти на все новости по работе с открытыми данными и данными вообще стараюсь подписываться. К счастью,большая часть этих рассылок вполне этичны и не спамят сотнями писем в неделю.

Вот список того на что я лично подписан:
- ORelly Data https://www.oreilly.com/topics/data для подписки надо завести там аккаунт и подписаться на тему "Data"
- DataElixir https://dataelixir.com/ еженедельные письма со ссылками по Data Science
- StackShare https://stackshare.io/news позволяет искать новости по инструментам разработки в том числе с данными. Темы Big Data Tools, Data Transfer, Real-time data processing, Data Science Tools позволяют подписаться на наиболее актуальные статьи по утилитам и продуктам по этой теме
- Towards Data Science https://towardsdatascience.com/ ежедневно статьи о работе с данными. Работает на базе Medium и после авторизации даёт возможность получать письма на почту
- Data Science Roundup https://roundup.fishtownanalytics.com/ больше акцента на аналитике и алгоритмах
- Data Science Weekly https://www.datascienceweekly.org/ аналогично больше про Data Science
- KD Nuggets https://www.kdnuggets.com не только про алгоритмы и большие данные, но и про курсы, обучение, работу, вакансии и многое другое
- Mode Analytics Newsletter https://about.modeanalytics.com/newsletter/ больше про аналитику от создателей платформы облачной аналитики
- Data Digest https://page.data.world/data-digest от Data.world, еженедельная рассылка с новостями и примерами работы с данными
- Center for data innovation newsletter https://www.datainnovation.org/ в основном рассылка про индустрию
- Kaggle blog newsletter https://blog.kaggle.com/ подписка на блог Kaggle, о их платформе, машинном обучении и не только.

В завершение добавлю упоминание нашей рассылки Инфокультуры, которая, кроме всего прочего охватывает и темы открытых данных в России. Прямая ссылка на подписку тут https://infoculture.us7.list-manage.com/subscribe?u=2e38b8af0d8a547b51427dc9b&id=dadb533f05

#opendata #machinelearning #newsletters

Мало кто знает что Тим Бернерс Ли, рыцарь британской империи, изобретатель World Wide Web и один из основателей Open Data Institute в Великобритании ещё и является активным разработчиком.

В его аккаунте на Github'е можно увидеть его активность [1]. С одной стороны это очень хорошо, он значительный контрибьютор и создатель кода по связанным данным, а сейчас и разработка идёт на проектом Solid, по декомпозиции веба таким образом чтобы пользователь сохранял контроль над своими данными, а с другой стороны проект хартии открытых данных выглядит заброшенным [2].


Ссылки:
[1] https://github.com/timbl/
[2] https://opendatacharter.net/

#linkeddata #opendata