Вполне ожидаемая ситуация что предустановка отечественного ПО на смартфоны провалилась [1], потому что такое вмешательство в рынок без понимания потребительского поведения изначально выглядело странным. При этом, конечно, у пользователя должен быть выбор и этот выбор должен касаться не предуставки, а запрета на предустановку приложений. Но российское регулирование от пользовательского опыта не идёт, право выбора не даёт, только замену безальтернативного международного на безальтернативное отечественное, что удобнее регуляторам и правоохранителям, но никакого отношения к качеству жизни граждан и к потребителям не имеет.

Ссылки:
[1] https://www.kommersant.ru/doc/5019324

#privacy #apps #digital

На фоне краткосрочной недоступности Facebook'а не могу не напомнить что все социальные сети и сервисы не вечны. Это полезно сделать архив собственных данных из соцсети, а также напоминаю сервисы экспорта собственных данных из наиболее популярных сервисов.

- Google - https://takeout.google.com
- Facebook - https://facebook.com/dyi/
- Twitter - https://twitter.com/settings/download_your_data
- VK - https://vk.com/data_protection
- Yandex - https://passport.yandex.ru/profile/data
- Microsoft - https://account.microsoft.com/privacy/activity-history?view=voice
- Slack - https://slack.com/intl/en-fr/help/articles/201658943
- Instagram - https://www.instagram.com/download/request/
- Github - https://github.com/settings/admin в разделе "Export account data"
- Telegram (Desktop) - перейти в "Настроки" -> "Продвинутые настройки" -> "Экспорт данных из Telegram"

Я также создал давно ещё список сервисов из которых можно забрать свои данные, и веду его в репозитории на Github [1], пополняйте его если знаете другие важные/крупные сервисы позволяющие делать take out данных.

Лично я рекомендую сделать пометку себе в календарь и хотя бы раз квартал сохранять свои данные.

Ссылки:
[1] https://github.com/ivbeg/awesome-data-takeout

#archives #preservation

Как и многие я читаю перечень из 42 правительственных инициатив [1], все они похожи больше на лозунги, чем на государственные проекты, хотя кто знает, название - это далеко не всё.

На что стоит обратить внимание:
1. Всё это звучит как "Инициативы социально-экономического развития" и это не первый подход к систематизации госусилий в каком-то направлении. Ранее были: национальные приоритетные проекты, федеральные целевые программы, государственные программы, национальные проекты. Я писал об этом летом 2019 года [2] сравнивая национальные проекты с другими попытками.
2. Можно обратить внимание что нет никакой сопровождающей информации о том что такое эти "инициативы", какие документы будут их описывать (концепции, планы, стратегии). Нет ничего о том как они будут закодированы в бюджете, будет ли ещё одна классификация, будут ли они "распиханы" по госпрограммам или национальным проектам. Будет ли у каждой инициативы свой штаб и тд.
3. Как всегда, как и с национальными проектами, тематика открытости государства полностью отсутствует, а тематика данных спрятана а в других инициативах. Открытость потеряли давно и находить снова не хотят.
4. Можно обратить внимание что за почти все инициативы отвечают ФОИВы, кроме нескольких у Росатома и ещё одной у АО "Российский экспортный центр". Две организации, тем самым, приравненные к ФОИВам.
5. Когда писали нац проекты то было "много криков" о том что главное их отличие от госпрограмм в персональной ответственности и что у каждого нац. проекта будет группа ответственных лиц. У "инициатив" нет ответственных.
6. Не все органы власти за какую-либо инициативу отвечают. Даже очень крупные министерства. Например, МВД России ни за одну инициативу не отвечает, как и МЧС России, как и Минюст России и ещё много кто и много где.
7. И ФНС России тоже, кстати, ни за одну инициативу не отвечает. Это, так, к слову.

Правильно ли я понимаю что перечень инициатив - это такая работа в режиме сокращённого кабинета министров?

В общем-то я лично не вижу никаких поводов для оптимизма.

#government #budgets

Ссылки:
[1] https://government.ru/news/43451/
[2] https://begtin.tech/natsional-nye-proekty-ili-beg-po-krugu/

Уже завтра пройдёт конференция Ассоциации участников рынка данных «Региональные данные» (regiondata.aurd.ru), на которой обсудим, как региональные госорганы публикуют открытые данные. Расскажу об открытости и недоступности региональных финансовых (бюджетных) данных, а также о планах по разработке модуля «Региональные бюджеты» в проекте «Госрасходы» в 2022 году. Конференция online, регистрация бесплатная.

Присоединяйтесь к трансляции конференции "Региональные данные" на youtube https://youtu.be/7Shi9qcfsn4

Несколько часов без Facebook могли показаться вечностью для тех, чья работа или общение с близкими зависят от соцсети. Социальные сети прочно вошли в нашу жизнь, заняв место, принадлежавшее раньше семейным альбомам, личным контактам и общественной жизни. Компания Facebook и ее сервисы Instagram и WhatsApp — наглядный пример такой социальной сети.

Сейчас представители Facebook объясняют случившееся сбоем в настройках сети. Инженеры компании совершили небольшую, но критичную ошибку и на какое-то время ключевой сегмент Facebook был недоступен из интернета. Проблема решена, но мы почувствовали, что привычные нам сервисы могут исчезнуть в любой момент. И именно поэтому я хочу поговорить о цифровой смерти — людей, компаний и создаваемых ими продуктов.

В Forbes вышла моя колонка "Цифровая смерть: о чем стоит подумать пользователям соцсетей после сбоя Facebook" [1]. Как ни странно, в обществе табуирована не только тема смерти физической, но и темы смерти цифровой/виртуальной. Об этом не любят говорить, не планируют, не задумываются, но это происходит.


Ссылки:
[1] https://www.forbes.ru/tekhnologii/442285-cifrovaa-smert-o-cem-stoit-podumat-pol-zovatelam-socsetej-posle-sboa-facebook

#archives #social

Samsung попался на том что писал британским пользователям о необходимости установки обновления с российскими обязательными приложениями [1], за что компания позже извинилась, но, возникает очень интересный вопрос в связи с этим, а кому вообще эти приложения должны быть установлены?

Всем пользователям на территории России? Но в России есть и много граждан других стран, в том числе и приехавших ненадолго и использующих собственные мобильные устройства куленные в других странах.

Всем гражданам России? Но не все российские граждане живут в России и даже говорят на русском языке. Многие имеют двойное гражданство или ВНЖ других стран или просто живут в других странах и на территории России не появляются. Им тоже должны устанавливаться обязательные российские приложения?

Может быть это какие-то более сложные группы пользователей - тогда какие? Пока основной критерий - устройства проданные в России. Но это означает такой посыл что если кто-то туристом в Россию приехал - телефоны тут покупать не стоит.

Ссылки:
[1] https://habr.com/ru/news/t/582586/

#privacy #mobile #apps

В рубрике "как это работает у них" о подготовке закона о цифровом идентификаторе в Австралии. Закон готовится Австралийским агентством по цифровой трансформации (DTA) и проходит 4 стадии:
- Phase 1. Consultation paper (консультационный документ) - фактически, обозначение задачи и запрос от рынка и иных участников их позиции.
- Phase 2. Position paper (документ позиции) - документ сформированной публичной позиции на основе собственного исследования и полученных материалов
- Phase 3. exposure draft (публичная версия черновика закона) - подготовленный к передаче в парламент документ
и legislation introduced to Parliament - когда законопроект направляется в парламент на рассмотрение

Сейчас законопроект уже на 3-й фазе [2] где публикуются наиболее актуальные мтариалы, а также доступны документы предыдущих 1-й [2] и 2-й фазы [3].

На что стоит обратить внимание, так это на документ "Your guide to the Digital Identity legislation" [4] в котором подчеркнуто простым языком рассказано об основных положения законопроекта. Его можно назвать пояснительной запиской и это такая, немалая пояснительная записка на 46 страниц при том что сам законопроект на 149 страниц [5], а также несколько сотен страниц сопровождающих документов, которые в России назвали бы подзаконными актами.

Вы, конечно, видите отличия с российским регулированием? В России подзаконные акты могут принимать ещё годы после принятия закона, они не вносятся в парламент, сами законы и подзаконные акты "разорваны" в нормотворческой логике и в публичном их обсуждении.

Этот процесс не могут поменять технологии, только принципиальные решения по изменению нормотворческого процесса.

[1] https://www.digitalidentity.gov.au/have-your-say/phase-3
[2] https://www.digitalidentity.gov.au/have-your-say/phase-1-digital-identity-legislation
[3] https://www.digitalidentity.gov.au/have-your-say/phase-2-digital-identity-legislation
[4] https://www.digitalidentity.gov.au/sites/default/files/2021-10/Your%20guide%20to%20the%20Digital%20Identity%20legislation.pdf
[5] https://www.digitalidentity.gov.au/sites/default/files/2021-09/Trusted%20Digital%20Identity%20Bill%202021%20exposure%20draft.pdf

#laws #legislation

В качестве иллюстрации к тому о чём я писал про регулировании в Австралии, когда закон готовится и вносится в парламент со всеми регуляторными документами, три приказа Минцифры России появились через полгода после принятия закона. Конечно, Минцифры - это лишь пример ФОИВа да и органа власти в принципе, я уверен что многие знают и более вопиющие случаи когда подзаконные акты принимают через годы после основного НПА.

#legislation #regulation

Gizmodo пишут что Microsoft стала первой крупной компанией согласившейся упростить потребителям независимый ремонт их устройств [1]. Произошло это на фоне давления владельцев акций компании [2] и законопроекта о Right-to-repair [3] в Палате представителей США .

Новость хорошая, хочется надеяться что только Microsoft дело не ограничится, почти все крупные компании уже много лет играют в игру "покупайте новое модное устройство которое потом замените на наше же, новое". Microsoft, в этом смысле, были ещё не худшими производителями устройств, если мы вспомним про устройста Apple или, например, ограничения навязываемые на многие современные умные тракторы, станки и многое другое.

Ссылки:
[1] https://gizmodo.com/microsoft-just-became-the-first-big-company-to-commit-t-1847820524
[2] https://www.asyousow.org/press-releases/2021/10/7/microsoft-agrees-expand-consumers-repair-options
[3] https://morelle.house.gov/media/press-releases/congressman-joe-morelle-introduces-fair-repair-act

#tech #righttorepair

Я так часто участвую или организую в мероприятия в которых технологии неотделимы от госполитики/политики/GR/бизнес применения что немного отвык от больших технологических конференций. Так что с удовольствием вчера прочитал свой доклад о каталогах данных на конференции Smart Data https://smartdataconf.ru в СПб и с удовольствием слушаю других выступающих.

Могу сказать что это, конечно, особый кайф рассказывать про интересные задачи и их сложные решения. А рассказывал я про каталог данных DataCrafter https://data.apicrafter.ru и то как туда загружаются данные и как они используются и с какими проблемами приходится сталкиваться.

Например, одна из проблем - это не-плоские данные. С этими данными сложно работать "классическими" инструментами обработки данных и data pipelines вроде dbt, airflow, meltano и тд.

Другая проблема в том что если продолжать грузить данные как это делается сейчас - одна таблица-одна коллекция, то скоро упираешься в ограничение в 24 тысячи таблиц на один экземпляр MongoDB. Поэтому до сих пор в каталог не загружено около 15 тысяч наборов данных которые можно загрузить одним махом, но надо менять архитектуру хранения данных.

Уже после конференции я расскажу подробнее об архитектуре каталога, скорее всего в форме большого лонгрида у себя в блоге https://begtin.tech или в рассылке https://begtin.substack.com

#data #datacatalogs

Вчера комментировал Comnews [1] инициативу партии "Справедливой России" по справедливизации защиты персональных данных [2]. Хотя мои комментарии приведены журналистами довольно точно, я дополню ранее сказанное.

1. Каждый гражданин должен иметь право знать сведения о себе. Главный владелец персональных данных в нашей стране - это государство. Всё начинается с качественной работы информационных систем где данные хранятся и в реализации права на изменение/исправление этих данных и в реализации "права знать", поэтому Каждый гражданин должен иметь право знать сведения о себе в первую очередь в государственных информационных системах и далее в системах частных операторов даннх.
2. Отношения компания-потребитель/покупатель не заканчиваются покупкой/договором. Есть требования по документообороту, архивному делу, предоставления данных регуляторам, аудиторам, правоохранительным органам которые компании должны соблюдать. А ещё есть гражданский и уголовный кодексы со сроками давности по уголовным делам для которых данных в базах данных являются одним из доказательств.
3. Без реформы правоприменения остальные меры будут недостаточны. Конечно компании должны требовать только те данные которые нужны для оказания услуги, это и так присутствует уже в законодательстве. Проблема сейчас не в законодательстве, а в эффективном правоприменении. Давайте будем честными, защита персональных данных и прав граждан - это не самая сильная сторона Роскомнадзора.

Поэтому моё отношение к инициативам Миронова скептическое. Это не странно что партии вносят инициативы без предварительной профессиональной подготовки, но, всё же, хотелось бы чтобы такого было поменьше и поменьше спекуляций в итак уже проблемной области.

Ссылки:
[1] https://www.comnews.ru/content/216858/2021-10-12/2021-w41/personalnym-dannym-khotyat-dobavit-spravedlivosti
[2] https://spravedlivo.ru/11555710

#privacy #personaldata

Большое обновление в данных DataCrafter'а. В каталог загружены 1514 наборов данных о климате и погоде из Единой государственной системы информации об обстановке в Мировом океане (ЕСИМО). Все данные были преобразованы в унифицированные форматы и доступны в каталоге как открытые данные через API или в виде сборок/слепков данных.

Данные загружены вместе с описанием каждого поля, сведения доступны в разделе "Документация" к каждой таблице. Например, документация к набору данных Оперативные данные о сопутствующих метеонаблюдениях, передаваемых по коду FM-18 X BUOY. Период хранения в БД.

Несмотря на то что многие данные в системе ЕСИМО являются архивными, они могут пригодиться исследователям работающим с данными о мировом океане, климатологам, специалистам по работе с погодными данными и данными экономики моря.

Для нас загрузка такого числа наборов данных оказалась вызовом по причине числа наборов данных, всё таки 1514 наборов из системы ЕСИМО - это почти в 4 раза больше 393 наборов данных которые ранее к нам были загружены и сейчас интерфейс уже недостаточно удобен для работы с таким числом наборов данных, но мы уже работаем над его доработкой.

Второй вызов был в том что данные имеют свою специфику и текущие алгоритмы распознавания типов данных определяют типы данных наборов данных из ЕСИМО достаточно ограниченно. В ближайшее время начнётся работа по классификации этих полей и доработке алгоритмов под эту задачу.

#datasets #esimo #climate #weather #datacrafter #data

Я сейчас гружу в APICrafter кучу данных с сайта Росстата [1] в раздел "Статистика" [2] и чуть позже сделаем официальный пост от проекта с тем сколько новых наборов данных появилось, а пока скажу вам друзья что всё что мы слышали или слышим про качество работы с открытыми данными у Росстата - это сказки.

Чтобы было понятно:

- с сайта Росстата скачано 1547 наборов данных
- у 742 наборов однотипная структура из CSV файлов с полями: area,gender,urban,value (все их можно было опубликовать как один набор данных)
- ещё 617 наборов данных это однотипные показатели в формате SDMX без документации, также их можно было опубликовать как один набор данных
- надо ли объяснять что это получается куча мелких файлов, эдакое "необоснованное дробление данных" (c) ради числа наборов данных
- половина данных опубликовано как CSV, другая половина как XML. Файлы CSV имеют ту особенность что половина с разделителем запятой (,), половина с разделителем (;).
- у 20 наборов данных у файлов CSV отсутствуют заголовки
- итого, если делать всё по уму, то у Росстата на сайте было бы всего 188 наборов данных. А если ещё объединить в один датасет вакансии всех террорганов Росстата то и всего то около 103-105 наборов данных. Чувствуете разницу?
- некоторые из наборов данных имеют расширение csv, а внутри это zip файлы. А иногда это zip файлы внутри которых файлы csv которые... на самом деле не csv, а тоже zip файлы
- около 30% опубликованных CSV файлов в кодировке windows-1251, остальные в UTF-8, нигде при этом не указано что в каком виде.
- несколько наборов данных XML - это дампы показателей из внутренней BI системы. Без документации.


В итоге пришлось дорабатывать код подготовки пакетов данных для автоматического распознавания кодировки, разделителей и выявления CSV файлов без заголовков. Это не так уж сложно, но окунаться в ад работы с плохоформатированными CSV файлами - это то ещё удовольствие.

А в качестве послесловия я добавлю что это ещё далеко не самый худший ФОИВ по опубликованию данных. Да, много где ситуация сильно хуже, но Росстат тоже, умеет удивлять отсутствием управления данными и таким вот дроблением датасетов на кучу мелких наборов данных.

Как бы то ни было, все они будут у нас в каталоге сегодня уже к концу дня. И, похоже, вводить критерии качества каталогов данных важно не меньше качества содержания наборов данных.

Ссылки:
[1] https://rosstat.gov.ru/opendata
[2] https://data.apicrafter.ru/topics/statistics

#opendata #datasets