Open Knowledge Foundations раздаёт от $500 до $1000 грантами на организацию небольшим мероприятий по открытым данным в рамках программы Open Data Day Grants [1].
В России брать зарубежные гранты и даже получать деньги из других стран стало практически невозможно, поэтому это будет актуально скорее тем кто развивает тему открытых данных в других странах.
Ссылки:
[1] https://blog.okfn.org/2022/04/18/application-for-the-open-data-day-2022-small-grants-is-now-open/
#opendata #events #grants.
В России брать зарубежные гранты и даже получать деньги из других стран стало практически невозможно, поэтому это будет актуально скорее тем кто развивает тему открытых данных в других странах.
Ссылки:
[1] https://blog.okfn.org/2022/04/18/application-for-the-open-data-day-2022-small-grants-is-now-open/
#opendata #events #grants.
blog.okfn.org
Application for the Open Data Day 2022 small grants is now open!
Open Knowledge Foundation is excited to announce the launch of the Open Data Day 2022 Small Grants Application to support organisations hosting Open Data events and activities across the world. Depending on the types of events, the grant will support selected…
Продолжаю писать про технические инструменты на английском языке. В этот раз про open-source утилиту undatum [1] которую я довольно давно сделал для личных задач и заопенсорсил. Это утилита командной строки для преобразования JSON lines и BSON файлов. Удобная для тех кто этими форматами пользуется ежедневно. Например, она позволяет много во что из много чего преобразовывать данные и не только.
В утилите часть кода из Datacrafter'а [2] (у проекта, кстати, теперь отдельный домен datacrafter.ru)․ Там внутри очень много задач по гармонизации данных из всех разных форматов в JSON lines и BSON и тд.
Вообще undatum я начал писать когда почувствовал что начинаю терять ИТ навыки, выступаю с лекциями и говорю на околополитические и ИТ темы чаще чем что-то руками делаю. А программирование - это как любой язык, если не тренируешься, то забываешь. Так что Lingua usu opus est.
А пока предлагаю почитать про undatum и написать чего в нём нехватает, что полезно, покидать в меня успешный опыт использования или, наоборот, безуспешных попыток попробовать.
Ссылки:
[1] https://medium.com/@ibegtin/undatum-command-line-json-lines-bson-data-processing-tool-d45ff1cc1013
[2] https://datacrafter.ru/
#opendata #datatools #opensource
В утилите часть кода из Datacrafter'а [2] (у проекта, кстати, теперь отдельный домен datacrafter.ru)․ Там внутри очень много задач по гармонизации данных из всех разных форматов в JSON lines и BSON и тд.
Вообще undatum я начал писать когда почувствовал что начинаю терять ИТ навыки, выступаю с лекциями и говорю на околополитические и ИТ темы чаще чем что-то руками делаю. А программирование - это как любой язык, если не тренируешься, то забываешь. Так что Lingua usu opus est.
А пока предлагаю почитать про undatum и написать чего в нём нехватает, что полезно, покидать в меня успешный опыт использования или, наоборот, безуспешных попыток попробовать.
Ссылки:
[1] https://medium.com/@ibegtin/undatum-command-line-json-lines-bson-data-processing-tool-d45ff1cc1013
[2] https://datacrafter.ru/
#opendata #datatools #opensource
Medium
Undatum: command-line JSON lines/BSON data processing tool
For a long time I am fun of command line tools like csvkit, tsv-utils and many other for data processing/data engineering tasks. Command…
Пишут что SAP уходит из России [1], как прокомментировать это даже и не знаю пока. Если бы в стране был фондовый рынок, то, долгосрочно, продавать акции предприятий где он был внедрён. Но фондового рынка нет, а их акции и так чуть ли не в мусорный уровень обращены, да и годовые отчеты они теперь публиковать не будут. Так что какой такой фондовый рынок, о чём это я.
В общем новость ожидаемая, но комментировать её должен не я, а представители тех компаний где SAP внедрён.
Ссылки:
[1] https://news.sap.com/2022/04/sap-plans-russia-exit/
#russia #it
В общем новость ожидаемая, но комментировать её должен не я, а представители тех компаний где SAP внедрён.
Ссылки:
[1] https://news.sap.com/2022/04/sap-plans-russia-exit/
#russia #it
SAP News Center
SAP Plans Russia Exit
SAP remains committed to supporting Ukraine and has announced further steps toward an orderly exit from Russia.
Я всё откладывал комментарий к новости о том что ФНС теперь "рекомендует" не использовать адреса в доменах отличных от .ru и .su. Там ещё есть про "сервисы стран не подпадающих под ограничения", но что-то вот сами страны не перечислены.
Помимо того что это особо вопиющий, я бы сказал, случай противоречия принципу сетевой нейтральности, это ещё и какая-то не очень понятный способ не думать со стороны руководства ФНС.
Вот почему:
1. Налоговые органы взаимодействуют не только с гражданами России, но и с гражданами других стран являющихся налоговыми резидентами
2. Кроме .ru и .su к России относятся и ряд других доменов таких как .москва или .moscow
3. Российские госструктуры используют домены в зонах .com, .org и других. Примеры: forumspb.com, investarctic.com, volculturecamp.com, ombudsmanrf.org, ruexport.org
Список можно продолжать.
А если кратко, то кто-то в ФНС явно превысил полномочия. Надеюсь у них хватит ума написать разъяснения и исправить ранее написанное.
#idioten #taxes #government
Помимо того что это особо вопиющий, я бы сказал, случай противоречия принципу сетевой нейтральности, это ещё и какая-то не очень понятный способ не думать со стороны руководства ФНС.
Вот почему:
1. Налоговые органы взаимодействуют не только с гражданами России, но и с гражданами других стран являющихся налоговыми резидентами
2. Кроме .ru и .su к России относятся и ряд других доменов таких как .москва или .moscow
3. Российские госструктуры используют домены в зонах .com, .org и других. Примеры: forumspb.com, investarctic.com, volculturecamp.com, ombudsmanrf.org, ruexport.org
Список можно продолжать.
А если кратко, то кто-то в ФНС явно превысил полномочия. Надеюсь у них хватит ума написать разъяснения и исправить ранее написанное.
#idioten #taxes #government
В качестве небольшого пред-анонса, в середине мая выйдет глобальный рейтинг стран по открытости данных Global Data Barometer [1] созданный по перезапущенной методологии предыдущего рейтинга Open Data Barometer.
Если Вы хотите знать реальный уровень открытости данных в России и в других странах, то читайте именно его. Забегая вперед, до февраля 2022 года уровень открытости данных в России по сравнению с другими странами был на среднем уровне, но постепенно снижался.
Отличия глобальных рейтингов в том что там идёт сравнение по доступности и качеству публикации данных имеющих большой значение (high value datasets). Это не сравнение органов власти или порталов регионов по количеству опубликованного "цифрового мусора", а вполне серьёзная и большая и тяжелая работа.
АНО Инфокультура выступало российским партнером в этой работы в прошлом году, всё финансирование было из российских источников, я сам же эту работу и оплачивал и координировал. Иногда надо потратить личные средства на полезное.
Поэтому, никому не верьте, мне можно (с), не читайте отечественных рейтингов Минэкономразвития или Счетной палаты или ещё кого-то, ошибки в них заложены на стадии проектирования, органы власти не могут оценивать другие органы власти и более того сама оценка открытости данных органа власти предполагает равенство и автономность ФОИВов, а это не так. Отвечать за открытость государства и данных может Правительство целиком, не в смысле коллективной ответственности, а конкретно премьер министр.
Но в России публичная повестка по открытости Правительства деградировала до "открытых разговоров" [2] членов правительства с отраслевыми представителями, что выглядит особенно тухло для тех кто знает что, та же отрасль образования почти вся государственная и "открытый разговор" правительства с подчинёнными - это, ну такое, примерно того же типа открытость, как когда Федеральное Казначейство формирует свой общественный совет по представлению НКО в виде их собственного профсоюза (гусары молчат, но запоминают) и так ещё много где и ещё много в какой форме.
Поэтому я не хочу загадывать произойдёт ли перезагрузка повестки открытости государства в России в ближайшие годы и в какой форме эта повестка возможна.
Ещё раз напомню про нашу инициативу по обязательной архивации всех порталов открытых данных в России, поскольку риск их исчезновения в этом году ненулевой.
Ссылки:
[1] https://globaldatabarometer.org/
[2] https://t.iss.one/government_rus/2999
#opendata #opengovernment
Если Вы хотите знать реальный уровень открытости данных в России и в других странах, то читайте именно его. Забегая вперед, до февраля 2022 года уровень открытости данных в России по сравнению с другими странами был на среднем уровне, но постепенно снижался.
Отличия глобальных рейтингов в том что там идёт сравнение по доступности и качеству публикации данных имеющих большой значение (high value datasets). Это не сравнение органов власти или порталов регионов по количеству опубликованного "цифрового мусора", а вполне серьёзная и большая и тяжелая работа.
АНО Инфокультура выступало российским партнером в этой работы в прошлом году, всё финансирование было из российских источников, я сам же эту работу и оплачивал и координировал. Иногда надо потратить личные средства на полезное.
Поэтому, никому не верьте, мне можно (с), не читайте отечественных рейтингов Минэкономразвития или Счетной палаты или ещё кого-то, ошибки в них заложены на стадии проектирования, органы власти не могут оценивать другие органы власти и более того сама оценка открытости данных органа власти предполагает равенство и автономность ФОИВов, а это не так. Отвечать за открытость государства и данных может Правительство целиком, не в смысле коллективной ответственности, а конкретно премьер министр.
Но в России публичная повестка по открытости Правительства деградировала до "открытых разговоров" [2] членов правительства с отраслевыми представителями, что выглядит особенно тухло для тех кто знает что, та же отрасль образования почти вся государственная и "открытый разговор" правительства с подчинёнными - это, ну такое, примерно того же типа открытость, как когда Федеральное Казначейство формирует свой общественный совет по представлению НКО в виде их собственного профсоюза (гусары молчат, но запоминают) и так ещё много где и ещё много в какой форме.
Поэтому я не хочу загадывать произойдёт ли перезагрузка повестки открытости государства в России в ближайшие годы и в какой форме эта повестка возможна.
Ещё раз напомню про нашу инициативу по обязательной архивации всех порталов открытых данных в России, поскольку риск их исчезновения в этом году ненулевой.
Ссылки:
[1] https://globaldatabarometer.org/
[2] https://t.iss.one/government_rus/2999
#opendata #opengovernment
После того как зарубежные облачные сервисы перестали работать с российскими пользователями изменилось ли Ваше отношение к облачным сервисам в принципе - для почты, для хранения файлов, для любых сервисов?
Anonymous Poll
24%
Облака - это будущее, продолжу ими пользоваться
22%
Облака теперь только для некритичных сервисов
12%
Российские облака норм, зарубежные теперь надолго не норм
13%
Зарубежные облака норм, а российские всё равно не будут норм
6%
Никаких облаков, только on-premise
15%
Никаких облаков, ничего проприетарного, только управляемый open source
28%
Просто хочу посмотреть ответы
Forwarded from Национальный цифровой архив
В журнале НОЖ вышла статья про цифровую архивацию / веб-архивацию и наш проект Ruarxive https://knife.media/internet-archive/
Нож
Сохранить память: как веб-архивация спасает от забвения заблокированные медиа и «вымирающие» ссылки
Сетевые медиа эфемерны: иногда они просто исчезают, а их сайты могут быть заблокированы или стерты хостером. Как сохранить архивы прошлого? Национальная библиотека Австралии работает над этим с 1996 года. Почитайте, как с этим обстоит дело в России.
В рубрике интересных наборов данных Github опубликовали их базу GitHub Advisory Database [1] уведомлений о проблемах в безопасности в open source продуктах. База невелика, зато полезна и открыта. Данные публикуются в Open Source Vulnerability format [2].
Ссылки:
[1] https://github.com/github/advisory-database
[2] https://ossf.github.io/osv-schema/
#opendata #opensource #security #datasets
Ссылки:
[1] https://github.com/github/advisory-database
[2] https://ossf.github.io/osv-schema/
#opendata #opensource #security #datasets
GitHub
GitHub - github/advisory-database: Security vulnerability database inclusive of CVEs and GitHub originated security advisories…
Security vulnerability database inclusive of CVEs and GitHub originated security advisories from the world of open source software. - github/advisory-database
В рубрике полезных инструментов для работы с данными несколько обновлений
- spcrawler [1] утилита командной строки для выгрузки данных и файлов из открытых сайтов Sharepoint к которой я наконец-то нашёл время дописать документацию и выложил как открытый код. Предистория: в открытом доступе много сайтов на Sharepoint, некоторые государственные системы/сайты тоже сделаны нём. Эта утилита выгружает все данные доступные через API "/_api/web" для тех случаев когда такое API есть. Похоже на другую утилиту wparc - по архивации данных через API Wordpress, которую я ранее выкладывал.
- у утилиты undatum появилась команда query использующая mistql как язык запросов. Удобно при необходимости потоковой фильтрации данных при работе с JSON lines. Пока в экспериментальном режиме, функции незавершённые. Одна из идей в том чтобы реализовать полноценную команду запросов на многих языках, не только mistql, но и dictquery и ещё нескольких вариантах.
- у меня в планах написать гайд по apibackuper, утилите по архивации данных внутри API. Очень много примеров API по России и оказывается мало по миру, не могу быстро найти зарубежные недокументированные API.
- добавлены новые общедоступные правила к утилите идентфикации типов данных metacrafter, добавлены правила: intcodes.yaml - международные коды, boolean.yaml - булевые значения, orgs.yaml - организации, science.yaml - научные идентификаторы, vehicles.yaml - автомобили. Все они в категории common в репозитории. Напомню, что утилита является открытой и общедоступной как и базовые правила, а у нас внутри проходит бета тестирование сервис с расширенными правилами. Желающие могут использовать открытый код и сами писать правила под свои данные или привлечь нашу команду и мы применим расширенный свод правил + напишем под Ваши данные.
В ближайших планах собрать вместе открытый код + наработки по APICrafter'у и Datacrafter՛у и собрать продукт + сервис на международную и русскоязычную аудитории.
Ссылки:
[1] https://github.com/ruarxive/spcrawler
#opensource #tools #data
- spcrawler [1] утилита командной строки для выгрузки данных и файлов из открытых сайтов Sharepoint к которой я наконец-то нашёл время дописать документацию и выложил как открытый код. Предистория: в открытом доступе много сайтов на Sharepoint, некоторые государственные системы/сайты тоже сделаны нём. Эта утилита выгружает все данные доступные через API "/_api/web" для тех случаев когда такое API есть. Похоже на другую утилиту wparc - по архивации данных через API Wordpress, которую я ранее выкладывал.
- у утилиты undatum появилась команда query использующая mistql как язык запросов. Удобно при необходимости потоковой фильтрации данных при работе с JSON lines. Пока в экспериментальном режиме, функции незавершённые. Одна из идей в том чтобы реализовать полноценную команду запросов на многих языках, не только mistql, но и dictquery и ещё нескольких вариантах.
- у меня в планах написать гайд по apibackuper, утилите по архивации данных внутри API. Очень много примеров API по России и оказывается мало по миру, не могу быстро найти зарубежные недокументированные API.
- добавлены новые общедоступные правила к утилите идентфикации типов данных metacrafter, добавлены правила: intcodes.yaml - международные коды, boolean.yaml - булевые значения, orgs.yaml - организации, science.yaml - научные идентификаторы, vehicles.yaml - автомобили. Все они в категории common в репозитории. Напомню, что утилита является открытой и общедоступной как и базовые правила, а у нас внутри проходит бета тестирование сервис с расширенными правилами. Желающие могут использовать открытый код и сами писать правила под свои данные или привлечь нашу команду и мы применим расширенный свод правил + напишем под Ваши данные.
В ближайших планах собрать вместе открытый код + наработки по APICrafter'у и Datacrafter՛у и собрать продукт + сервис на международную и русскоязычную аудитории.
Ссылки:
[1] https://github.com/ruarxive/spcrawler
#opensource #tools #data
GitHub
GitHub - ruarxive/spcrawler: A command-line tool to backup Sharepoint public installations data from open API endpoint
A command-line tool to backup Sharepoint public installations data from open API endpoint - ruarxive/spcrawler
Вот уже немало пересмотрев продуктов с открытым кодом для работы с данными и не только с данными могу сказать что два важнейших недооцениваемых компонента успеха у многих из них - это документация и сообщество. Недооцениваемых потому что многие из нас, людей из ИТ, любим технологическую красоту и преимущества создаваемых продуктов и не понимаем до конца тех кто продуктами пользуются.
В части документации хороший пример в виде The documentation system компании Divio. Это стандарт, которому можно придерживаться при создании любого проекта.
А в части сообщества хороший пример Dbt с сообществом в 25+ тысяч человек в Slack, у многих других продуктов похожие большие сообщества в Slack или в Discord. Чаще всего - это сотни и тысячи активных пользователей. Важная особенность - это пассионарность сообществ, потому что есть сообщества в том же Slack с большим числом участников и минимальной активностью, а в данном случае через сообщества идет бета тестирование, проверка фич и сбор ключевых идей.
Я склоняюсь к мысли что это такой подход правильный. Даже если ты делаешь продукт не сильно лучше чем у всех, хорошая документация и сообщество помогают его внедрение.
#opensource #datatools #thoughts
В части документации хороший пример в виде The documentation system компании Divio. Это стандарт, которому можно придерживаться при создании любого проекта.
А в части сообщества хороший пример Dbt с сообществом в 25+ тысяч человек в Slack, у многих других продуктов похожие большие сообщества в Slack или в Discord. Чаще всего - это сотни и тысячи активных пользователей. Важная особенность - это пассионарность сообществ, потому что есть сообщества в том же Slack с большим числом участников и минимальной активностью, а в данном случае через сообщества идет бета тестирование, проверка фич и сбор ключевых идей.
Я склоняюсь к мысли что это такой подход правильный. Даже если ты делаешь продукт не сильно лучше чем у всех, хорошая документация и сообщество помогают его внедрение.
#opensource #datatools #thoughts
dbt Labs
dbt Labs | Transform Data in Your Warehouse
Transform your data workflow with dbt Cloud. Build reliable data models faster with integrated testing, version control, and automated documentation.
В блоге Data in government [1] Правительства Великобритании текст Using a federated model for API discovery in government [2] про их централизованный каталог API [3]. Я хотел написать об этом ещё в феврале, но вначале отложил, а потом просто подзабыл про это. Текст интересный, собственно о том как должна быть устроена система работы API современного государства.
В корне идея того что каталог API делается централизованным, но для того чтобы сделать его просто создается манифест, машиночитаемое описание, владельцами API которое агрегируется централизованно. В UK для этого сделали специальную схему агрегации [4]
Там же в Великобритании государственная система дизайна (GOV.UK Government design system) официально прошла приёмку и стала живой госуслугой [5]. Для тех кто не знает, в Великобритании, как и в США, как и Сингапуре, как и ещё в десятке стран есть утвержденный стандарт создания госсайтов. Он необязателен, но настоятельно рекомендуемый. Особенность всех дизайн систем в их полной открытости - это открытый код под свободными лицензиями, бесплатные и открытые шрифты и открытые графические элементы. О том почему этого нет в России в этот раз я писать не буду.
Там же в блогах Правительства UK о том как их Charity Commission собирает данные о благотворительных организациях [6], фактически предлагают организациям выступать в роли бета-тестеров и фокус групп.
В целом блоги gov.uk [7] - это такое уникальное явление в госуправлении когда от лица органов власти идёт постоянная коммуникация, ведут их госслужащие которым не запрещено, а наоборот поощряется писать о своей работе и вовлекать тех кто от их работы зависит в разные формы обратной связи.
Ссылки:
[1] https://dataingovernment.blog.gov.uk
[2] https://dataingovernment.blog.gov.uk/2022/02/18/using-a-federated-model-for-api-discovery-in-government/
[3] https://www.api.gov.uk/#uk-public-sector-apis
[4] https://github.com/co-cddo/federated-api-model/tree/main/schemas/v1alpha
[5] https://gds.blog.gov.uk/2022/03/31/the-gov-uk-design-system-is-now-live/
[6] https://charitycommission.blog.gov.uk/2022/04/05/help-us-gather-better-data-on-charities/
[7] https://blog.gov.uk
#blogs #uk #data #government #bestpractices
В корне идея того что каталог API делается централизованным, но для того чтобы сделать его просто создается манифест, машиночитаемое описание, владельцами API которое агрегируется централизованно. В UK для этого сделали специальную схему агрегации [4]
Там же в Великобритании государственная система дизайна (GOV.UK Government design system) официально прошла приёмку и стала живой госуслугой [5]. Для тех кто не знает, в Великобритании, как и в США, как и Сингапуре, как и ещё в десятке стран есть утвержденный стандарт создания госсайтов. Он необязателен, но настоятельно рекомендуемый. Особенность всех дизайн систем в их полной открытости - это открытый код под свободными лицензиями, бесплатные и открытые шрифты и открытые графические элементы. О том почему этого нет в России в этот раз я писать не буду.
Там же в блогах Правительства UK о том как их Charity Commission собирает данные о благотворительных организациях [6], фактически предлагают организациям выступать в роли бета-тестеров и фокус групп.
В целом блоги gov.uk [7] - это такое уникальное явление в госуправлении когда от лица органов власти идёт постоянная коммуникация, ведут их госслужащие которым не запрещено, а наоборот поощряется писать о своей работе и вовлекать тех кто от их работы зависит в разные формы обратной связи.
Ссылки:
[1] https://dataingovernment.blog.gov.uk
[2] https://dataingovernment.blog.gov.uk/2022/02/18/using-a-federated-model-for-api-discovery-in-government/
[3] https://www.api.gov.uk/#uk-public-sector-apis
[4] https://github.com/co-cddo/federated-api-model/tree/main/schemas/v1alpha
[5] https://gds.blog.gov.uk/2022/03/31/the-gov-uk-design-system-is-now-live/
[6] https://charitycommission.blog.gov.uk/2022/04/05/help-us-gather-better-data-on-charities/
[7] https://blog.gov.uk
#blogs #uk #data #government #bestpractices
dataingovernment.blog.gov.uk
Data in government
A blog about the work of performance analysts and data scientists at the Government Digital Service
Тут прошла свежая новость что Минцифры прорабатывают создание типовых решений для ВУЗов, вот ТАСС цитирует Олега Качанова, зам. министра цифрового развития.
"Минцифры прорабатывает возможность создания облачного решения для вузов, которое обеспечит типовые сервисы" [1].
А также По словам замминистра, эта разработка будет продолжением, в частности, сервиса приема, ведения реестра студентов и электронной зачетки.
Олега я знаю много лет, он несомненно один из наиболее деятельных зам. министров по цифре которые у нас в стране есть, так что не могу о нём сказать ничего плохого. А вот он про меня, наверняка может, учитывая как часто я кидаю критику про разные министерствами всякое.
Но вот тут я не могу не прокомментировать, потому что надо понимать что происходит. В России в госуправлении вот уже лет 15 примерно был и остаётся тренд на рост ИТ расходов у ФОИВов и ограничения в ИТ расходах у регионов и подведов. Начиная с косвенных механизмов бюджетного регулирования, продолжая прямыми механизмами привязки субсидий регионам конкретными задачами и конкурсы на раздачу регионам денег из фед. бюджета. И заканчивая, это ключевое, созданием монструозных ФГИСов используемых всеми (ГИС Торги, ЕИС Закупки и ещё много чего).
В случае бюджетных учреждений такой тренд был в отношении больниц, постепенно нарастал в отношении школ, пока в виде централизованных региональных систем, а вот университеты обходил стороной во первых поскольку даже у госуниверситетов есть своя худо-бедно-плохая, но автономия, а во вторых обычно ВУЗы существовали только в парадигме ведомственной отчетности.
А всё началось с сервиса приёма в ВУЗы на госуслугах, а потом "коготок увяз", резкого сопротивления ВУЗы отказали, постепенно часть их инфраструктуры будет связана или находится внутри госуслуг. А это неизбежно приведет к реструктуризации их ИТ бюджетов. Подрядчик по этим работам типовых сервисов получит сильное влияние на ВУЗовскую информатизацию и, при настойчивости, может стать маркет-мейкером в этой области.
Хорошо это или плохо? А вот решайте сами.
Ссылки:
[1] https://tass.ru/ekonomika/14439457
#government #policy #digital #education
"Минцифры прорабатывает возможность создания облачного решения для вузов, которое обеспечит типовые сервисы" [1].
А также По словам замминистра, эта разработка будет продолжением, в частности, сервиса приема, ведения реестра студентов и электронной зачетки.
Олега я знаю много лет, он несомненно один из наиболее деятельных зам. министров по цифре которые у нас в стране есть, так что не могу о нём сказать ничего плохого. А вот он про меня, наверняка может, учитывая как часто я кидаю критику про разные министерствами всякое.
Но вот тут я не могу не прокомментировать, потому что надо понимать что происходит. В России в госуправлении вот уже лет 15 примерно был и остаётся тренд на рост ИТ расходов у ФОИВов и ограничения в ИТ расходах у регионов и подведов. Начиная с косвенных механизмов бюджетного регулирования, продолжая прямыми механизмами привязки субсидий регионам конкретными задачами и конкурсы на раздачу регионам денег из фед. бюджета. И заканчивая, это ключевое, созданием монструозных ФГИСов используемых всеми (ГИС Торги, ЕИС Закупки и ещё много чего).
В случае бюджетных учреждений такой тренд был в отношении больниц, постепенно нарастал в отношении школ, пока в виде централизованных региональных систем, а вот университеты обходил стороной во первых поскольку даже у госуниверситетов есть своя худо-бедно-плохая, но автономия, а во вторых обычно ВУЗы существовали только в парадигме ведомственной отчетности.
А всё началось с сервиса приёма в ВУЗы на госуслугах, а потом "коготок увяз", резкого сопротивления ВУЗы отказали, постепенно часть их инфраструктуры будет связана или находится внутри госуслуг. А это неизбежно приведет к реструктуризации их ИТ бюджетов. Подрядчик по этим работам типовых сервисов получит сильное влияние на ВУЗовскую информатизацию и, при настойчивости, может стать маркет-мейкером в этой области.
Хорошо это или плохо? А вот решайте сами.
Ссылки:
[1] https://tass.ru/ekonomika/14439457
#government #policy #digital #education
ТАСС
Минцифры прорабатывает возможность создания облачного решения для вузов
В ведомстве сообщили, что эта разработка будет продолжением, в частности, сервиса приема, ведения реестра студентов и электронной зачетки
Кстати, очень серьезный вопрос.
Я вот всё не могу понять феномена Телеграма сейчас. Почему он и в России не забанен, и Дуров не под санкциями? Тут же всех видов пропаганды в достатке. А нейтральными сейчас не позволяют быть никому. А еще тут российские госорганы обжились словно навсегда, каналов и чатов насоздавали, перестали Телеграм импортозамещать.
Когда будет разоблачение и что в нем будет?
#telegram
Я вот всё не могу понять феномена Телеграма сейчас. Почему он и в России не забанен, и Дуров не под санкциями? Тут же всех видов пропаганды в достатке. А нейтральными сейчас не позволяют быть никому. А еще тут российские госорганы обжились словно навсегда, каналов и чатов насоздавали, перестали Телеграм импортозамещать.
Когда будет разоблачение и что в нем будет?
#telegram
В WSJ статья Russia Blocks Economic Data, Hiding Effect of Western Sanctions [1] собственно о тренде на закрытие экономических данных в России. О том же писали Reuters [2] и ряд других новостных агентств и изданий [3] [4].
Этот тренд будет усиливаться по мере появления новых публикаций о экономическом состоянии из непрямых источников, а они есть, их много, их, скорее всего, сейчас будут ограничивать и скрывать. Что именно ещё будут закрывать я прогнозировать/подсказывать совершенно точно не имею желания, но, конечно, всё это будет небезболезненно для всего российского информационного бизнеса сбора и предоставления данных.
Ссылки:
[1] https://www.wsj.com/articles/russia-blocks-economic-data-hiding-effect-of-western-sanctions-11650677765
[2] https://www.reuters.com/article/ukraine-crisis-russia-imports-idUSKCN2MD1T7
[3] https://thebarentsobserver.com/en/industry-and-energy/2022/04/russia-classifies-customs-data-sanctions-bite
[4] https://www.themoscowtimes.com/2022/04/22/russia-classifies-customs-data-as-sanctions-expected-to-bite-a77457
#opendata #economics #closedgovernment
Этот тренд будет усиливаться по мере появления новых публикаций о экономическом состоянии из непрямых источников, а они есть, их много, их, скорее всего, сейчас будут ограничивать и скрывать. Что именно ещё будут закрывать я прогнозировать/подсказывать совершенно точно не имею желания, но, конечно, всё это будет небезболезненно для всего российского информационного бизнеса сбора и предоставления данных.
Ссылки:
[1] https://www.wsj.com/articles/russia-blocks-economic-data-hiding-effect-of-western-sanctions-11650677765
[2] https://www.reuters.com/article/ukraine-crisis-russia-imports-idUSKCN2MD1T7
[3] https://thebarentsobserver.com/en/industry-and-energy/2022/04/russia-classifies-customs-data-sanctions-bite
[4] https://www.themoscowtimes.com/2022/04/22/russia-classifies-customs-data-as-sanctions-expected-to-bite-a77457
#opendata #economics #closedgovernment
WSJ
Russia Blocks Economic Data, Hiding Effect of Western Sanctions
A Russian blackout of data on government debt and trade, among other categories, makes it harder for the West to know if sanctions are working.
РБК пишут про законопроект по "регулированию иностранных агентов" [1]. Не надо быть гадалкой чтобы понимать что под этот закон могут подпасть буквально все кто ведет хоть какую-то осмысленную публичную деятельность. Даже не обязательно теперь получение иностранных средств, может быть влияние в иной форме. Вот к примеру, входит кто-то в профессиональное глобальное объединение выступающие с мирных позиций, так что теперь его российские члены могут быть инагентами?
К примеру, вхожу я в сообщество Clarity International [2] посвящённое продвижению идей простоты языка в юридическом и государственном применении, плачу членские взносы, получаю ежеквартально их журнал с рассказами о том как развивается простота языка в разных странах. Можно сказать что она меня они оказывают влияние? Денег то я оттуда не получал и не получаю, наоборот свои плачу. Или вот я поучаствовал в конференции ООН по противодействию коррупции. Можно сказать что на меня оказывает влияние ООН ? Мой пример не единичный, как раз наоборот, очень распространённый.
Дело в том что всё будет как решит Минюст РФ и ещё ряд органов власти. Фактически будет ещё более избирательное, но массовое, применение закона против "неугодных и непослушных".
При этом, большинство тех кто ранее под это регулирование подпали уехали из страны, тех кого будут вносить сейчас поедут в след за ними. Начнут с неугодных, продолжат теми у кого будут деньги и возможность откупиться. Потому что не бывает регуляторной нормы без коррупции, особенно нормы столь нечёткой и расплывчатой в применении.
Я для себя лично давно решил что единственной причиной мне либо уезжать из страны и даже из Москвы надолго - это медицинские показания. Каждую весну жду с замиранием, вот уже апрель месяц, а аллергический сезон ещё не наступил. Некоторые цветущие деревья в средней полосе России меня лично тревожат куда больше чем новые законы, но, я ещё раз подчеркну, все усилия министерств вроде Минцифры РФ по удержанию ИТшников будут превращаться в тыкву общим ухудшением среды обитания. А такие законы вроде возможности признания инагентами когда угодно и кого угодно - это прямое ухудшение.
Ссылки:
[1] https://www.rbc.ru/politics/25/04/2022/6262eed69a79472666361d78
[2] https://www.clarity-international.org/
#foreignagents #government #idioten #russia
К примеру, вхожу я в сообщество Clarity International [2] посвящённое продвижению идей простоты языка в юридическом и государственном применении, плачу членские взносы, получаю ежеквартально их журнал с рассказами о том как развивается простота языка в разных странах. Можно сказать что она меня они оказывают влияние? Денег то я оттуда не получал и не получаю, наоборот свои плачу. Или вот я поучаствовал в конференции ООН по противодействию коррупции. Можно сказать что на меня оказывает влияние ООН ? Мой пример не единичный, как раз наоборот, очень распространённый.
Дело в том что всё будет как решит Минюст РФ и ещё ряд органов власти. Фактически будет ещё более избирательное, но массовое, применение закона против "неугодных и непослушных".
При этом, большинство тех кто ранее под это регулирование подпали уехали из страны, тех кого будут вносить сейчас поедут в след за ними. Начнут с неугодных, продолжат теми у кого будут деньги и возможность откупиться. Потому что не бывает регуляторной нормы без коррупции, особенно нормы столь нечёткой и расплывчатой в применении.
Я для себя лично давно решил что единственной причиной мне либо уезжать из страны и даже из Москвы надолго - это медицинские показания. Каждую весну жду с замиранием, вот уже апрель месяц, а аллергический сезон ещё не наступил. Некоторые цветущие деревья в средней полосе России меня лично тревожат куда больше чем новые законы, но, я ещё раз подчеркну, все усилия министерств вроде Минцифры РФ по удержанию ИТшников будут превращаться в тыкву общим ухудшением среды обитания. А такие законы вроде возможности признания инагентами когда угодно и кого угодно - это прямое ухудшение.
Ссылки:
[1] https://www.rbc.ru/politics/25/04/2022/6262eed69a79472666361d78
[2] https://www.clarity-international.org/
#foreignagents #government #idioten #russia
РБК
Журналисты и НКО смогут получить статус иноагента без иностранных денег
РБК ознакомился с новым законопроектом об иноагентах. Он позволяет отнести к ним и тех, кто не получает иностранного финансирования, а также коммерческие компании, если их деятельность будет признана
Полезное чтение про данные и не только:
- Windows 11 is officially a failure [1] о том что Windows 11 не так привлекательна как ожидалось. Честно говоря не удивительно, я лично до сих пор не могу понять зачем мигрировать с Windows 10 на Windows 11.
- 10 Books Every Senior Engineer Should Read [2] обзор книг по программной инженерии, ничего особенного, просто полезная подборка, одна из многих
- Kubit привлекли $18M [3] инвестиций, это решение по продуктовой аналитики поверх data warehouse
- JQ, Grep for JSON: Cookbook I [4] гайд по утилите JQ для работы с json файлами. Лично по мне очень неудобная утилита, но кому-то нравится
P.S. Я тут готовя одну из публичных лекций неожиданно столкнулся с тем что практически нет гайдов и сравнений по инструментам для data wrangling. Как минимум это - Excel, OpenRefine, pandas в Jupyter Notebook и коммерческие вроде Trifacta, но какого-то качественного анализа и сравнения нет.
P.S.S. А ещё удивительное дело, но никто не додумался до headless data wrangling, может потому что это нерационально, а может потому что такая комбинация кажется слишком странной.
Ссылки:
[1] https://medium.com/geekculture/windows-11-is-officially-a-failure-141c4027a308
[2] https://semaphoreci.medium.com/10-books-every-senior-engineer-should-read-a61c1917e2a7
[3] https://www.kubit.ai/
[4] https://medium.com/data-science-deep-dive/jq-grep-for-json-cookbook-i-4a1d78a227e5
#data #readings #texts
- Windows 11 is officially a failure [1] о том что Windows 11 не так привлекательна как ожидалось. Честно говоря не удивительно, я лично до сих пор не могу понять зачем мигрировать с Windows 10 на Windows 11.
- 10 Books Every Senior Engineer Should Read [2] обзор книг по программной инженерии, ничего особенного, просто полезная подборка, одна из многих
- Kubit привлекли $18M [3] инвестиций, это решение по продуктовой аналитики поверх data warehouse
- JQ, Grep for JSON: Cookbook I [4] гайд по утилите JQ для работы с json файлами. Лично по мне очень неудобная утилита, но кому-то нравится
P.S. Я тут готовя одну из публичных лекций неожиданно столкнулся с тем что практически нет гайдов и сравнений по инструментам для data wrangling. Как минимум это - Excel, OpenRefine, pandas в Jupyter Notebook и коммерческие вроде Trifacta, но какого-то качественного анализа и сравнения нет.
P.S.S. А ещё удивительное дело, но никто не додумался до headless data wrangling, может потому что это нерационально, а может потому что такая комбинация кажется слишком странной.
Ссылки:
[1] https://medium.com/geekculture/windows-11-is-officially-a-failure-141c4027a308
[2] https://semaphoreci.medium.com/10-books-every-senior-engineer-should-read-a61c1917e2a7
[3] https://www.kubit.ai/
[4] https://medium.com/data-science-deep-dive/jq-grep-for-json-cookbook-i-4a1d78a227e5
#data #readings #texts
Medium
Windows 11 is officially a failure
Six months in, Microsoft’s latest operating system is struggling to gain momentum — here’s why that’s happening
Одна из интересных ниш для стартапов сейчас - это использование ИИ для сокращения объёмов хранения данных и повышения эффективности хранилищ. Стартап Densify [1] позволяет провести такую оптимизацию с обещанием сокращения расходов на хранение в облаках до 80%. Другой стартап Cast AI [2] помогает оптимизировать облачную инфраструктуру на AWS, Azure или GCP.
Другой взгляд на эту же проблему и тоже через ИИ - это стартапы по созданию алгоритмов сжатия изображений, также, с ИИ. Vance AI [3] и Compression AI [4] декларируют сжатие изображение лучше всех остальных алгоритмов. Сжатие, конечно, всегда с потерями (lossy compression), но визуально это незаметно.
Есть похожие проекты для видео, также повышающие качество сжатия.
В ситуации когда, например, в России ожидается дефицит систем хранения и растёт цена за облачное хранение файлов такие алгоритмы и подходы будут как никогда кстати.
Ссылки:
[1] https://venturebeat.com/2018/03/06/densify-uses-ai-to-cut-businesses-cloud-spending-by-up-to-80/
[2] https://venturebeat.com/2021/10/12/cloud-optimization-startup-cast-ai-raises-10m/
[3] https://vanceai.com/image-compressor/
[4] https://compression.ai/
#ai #data #startups #compression
Другой взгляд на эту же проблему и тоже через ИИ - это стартапы по созданию алгоритмов сжатия изображений, также, с ИИ. Vance AI [3] и Compression AI [4] декларируют сжатие изображение лучше всех остальных алгоритмов. Сжатие, конечно, всегда с потерями (lossy compression), но визуально это незаметно.
Есть похожие проекты для видео, также повышающие качество сжатия.
В ситуации когда, например, в России ожидается дефицит систем хранения и растёт цена за облачное хранение файлов такие алгоритмы и подходы будут как никогда кстати.
Ссылки:
[1] https://venturebeat.com/2018/03/06/densify-uses-ai-to-cut-businesses-cloud-spending-by-up-to-80/
[2] https://venturebeat.com/2021/10/12/cloud-optimization-startup-cast-ai-raises-10m/
[3] https://vanceai.com/image-compressor/
[4] https://compression.ai/
#ai #data #startups #compression
VentureBeat
Densify uses AI to cut businesses’ cloud spending by up to 80%
Exclusive We are excited to bring Transform 2022 back in-person July 19 and virtually July 20 - 28. Join AI and data leaders for insightful talks and exciting networking opportunities. Register today! Densify, a company that helps enterprises make sure that…
Около 5 лет назад мы с коллегой шутили придумывая реформы государственного управления.
Там было много прорывных идей, например:
- Государственная программа рытья особого пути России к центру Земли.
- Легализация института проституции (в том числе политической), включая создание нормативно-правовой и регулятор институциональной основы
- Переподчинение государственных ВУЗов Министерству обороны
- Переодеть всю полицию в оранжевую форму
И, конечно, там был такой пункт как Государственная программа поддержки церковных и тюремных малых инновационных компаний и стартапов.
К счастью, эти гениальные идеи не покидали предела специально отведенных документов.
Поэтому даже не могу описать свои чувства когда сейчас читаю что ФСИН намерена привлекать осужденных IT-специалистов к удаленной работе на бизнес [1] о чём нам пишет ТАСС.
Для полного счастья нехватает только квот по посадкам ИТшников, государственной программы "Шарашки 2.0" и тому подобного.
Как я уже говорил многие позитивные инициативы Минцифры РФ для ИТ отрасли могут превратиться в тыкву, потому что Минцифра не Правительство РФ, а в Правительстве РФ, видимо, считают такие инициативы ФСИН нормальными и допустимыми.
Ссылки:
[1] https://tass.ru/obschestvo/14489179
#russia #it #policy #regulation
Там было много прорывных идей, например:
- Государственная программа рытья особого пути России к центру Земли.
- Легализация института проституции (в том числе политической), включая создание нормативно-правовой и регулятор институциональной основы
- Переподчинение государственных ВУЗов Министерству обороны
- Переодеть всю полицию в оранжевую форму
И, конечно, там был такой пункт как Государственная программа поддержки церковных и тюремных малых инновационных компаний и стартапов.
К счастью, эти гениальные идеи не покидали предела специально отведенных документов.
Поэтому даже не могу описать свои чувства когда сейчас читаю что ФСИН намерена привлекать осужденных IT-специалистов к удаленной работе на бизнес [1] о чём нам пишет ТАСС.
Для полного счастья нехватает только квот по посадкам ИТшников, государственной программы "Шарашки 2.0" и тому подобного.
Как я уже говорил многие позитивные инициативы Минцифры РФ для ИТ отрасли могут превратиться в тыкву, потому что Минцифра не Правительство РФ, а в Правительстве РФ, видимо, считают такие инициативы ФСИН нормальными и допустимыми.
Ссылки:
[1] https://tass.ru/obschestvo/14489179
#russia #it #policy #regulation
ТАСС
ФСИН намерена привлекать осужденных IT-специалистов к удаленной работе на бизнес
Речь идет о тех, кто отбывает наказание в исправительных центрах
Обратите внимание, на 19 мая мы планируем в России провести конференцию по цифровой архивации - веб-архивы, архивы соцсетей и так далее. Я писал об этом ранее и подробности в канале @ruarxive. Будет две дискуссии - по сохранению цифровой культуры и по сохранению цифровых СМИ. А также будет столько докладов по 20 минут сколько мы сможем вместить.
Во первых, приглашаю послушать, зарегистрируйтесь на сайте.
Во вторых, если Вам есть что сказать то предложите доклад. Тайминг 20 минут, из которых 15 минут доклад + 5 минут ответов на вопросы. Пишите мне или по контактам на сайте.
От Инфокультуры (@infoculture) мы расскажем про национальный цифровой архив и наши инициативы архивации. Также я расскажу про 1-2 инструмента архивации которые ранее выкладывал в открытый доступ.
Ещё мы очень хотели позвать иностранных спикеров, но, с этим есть сложности сейчас, поэтому если не получится, то обязательно сделаем это к следующему мероприятию.
Программа очень скоро будет доступна, следите за новостями!
#digitalpreservation #webarchives
Во первых, приглашаю послушать, зарегистрируйтесь на сайте.
Во вторых, если Вам есть что сказать то предложите доклад. Тайминг 20 минут, из которых 15 минут доклад + 5 минут ответов на вопросы. Пишите мне или по контактам на сайте.
От Инфокультуры (@infoculture) мы расскажем про национальный цифровой архив и наши инициативы архивации. Также я расскажу про 1-2 инструмента архивации которые ранее выкладывал в открытый доступ.
Ещё мы очень хотели позвать иностранных спикеров, но, с этим есть сложности сейчас, поэтому если не получится, то обязательно сделаем это к следующему мероприятию.
Программа очень скоро будет доступна, следите за новостями!
#digitalpreservation #webarchives
Forwarded from Национальный цифровой архив
Приглашаем вас на конференцию по вопросам цифрового сохранения и веб-архивирования (conference.ruarxive.org).
В программе:
— Дискуссии на темы сохранения культурного сохранения и медиа.
— Серия коротких докладов о технических аспектах цифровой архивации.
Мы собираем программу. Если вы хотите принять участие в конференции, предложить тему, доклад и себя в качестве спикера, пишите нам на эл. почту [email protected].
Для кого
— Конференция практико-ориентирована и будет интересна профессионалам из области архивации, сохранения и исследований культурного наследия.
— В то же время в программе предусмотрены технические доклады, которые будут интересны активистам, волонтерам и другим энтузиастам — создателям цифровых копий и слепков контента и данных, чье участие в сохранении цифрового контента крайне важно.
Формат
Конференция состоится в гибридном формате, то есть можно прийти на конференцию лично, посетив площадку в Москве, или подключиться к онлайн-трансляции.
➡️ Подробности и регистрация
В программе:
— Дискуссии на темы сохранения культурного сохранения и медиа.
— Серия коротких докладов о технических аспектах цифровой архивации.
Мы собираем программу. Если вы хотите принять участие в конференции, предложить тему, доклад и себя в качестве спикера, пишите нам на эл. почту [email protected].
Для кого
— Конференция практико-ориентирована и будет интересна профессионалам из области архивации, сохранения и исследований культурного наследия.
— В то же время в программе предусмотрены технические доклады, которые будут интересны активистам, волонтерам и другим энтузиастам — создателям цифровых копий и слепков контента и данных, чье участие в сохранении цифрового контента крайне важно.
Формат
Конференция состоится в гибридном формате, то есть можно прийти на конференцию лично, посетив площадку в Москве, или подключиться к онлайн-трансляции.
➡️ Подробности и регистрация
Очень интересный инструмент, проект и подход Zed [1] как сами создатели его описывают это Zed offers a new approach to data that makes it easier to manipulate and manage your data. А по сути команда компании Brim Data [2] разработали собственную модель данных [3] и, в привязке к ней, форматы файлов ZNG, ZST, ZSON, ZJSON которые, как они обещают, дают лучше скорость обработки данных, лучше хранят данные и так далее.
Я, как удачно, прямо сейчас занимался систематизацией кода DataCrafter'а с выделением в открытый код сборщика и преобразователя данных. И вот тут Zed кажется инструментом чрезвычайно подходящим для применения, но вначале его надо тщательно протестировать.
Ссылки:
[1] https://zed.brimdata.io
[2] https://www.brimdata.io/
[3] https://zed.brimdata.io/docs/formats/zed/
#data #datatools #opensource
Я, как удачно, прямо сейчас занимался систематизацией кода DataCrafter'а с выделением в открытый код сборщика и преобразователя данных. И вот тут Zed кажется инструментом чрезвычайно подходящим для применения, но вначале его надо тщательно протестировать.
Ссылки:
[1] https://zed.brimdata.io
[2] https://www.brimdata.io/
[3] https://zed.brimdata.io/docs/formats/zed/
#data #datatools #opensource
zed.brimdata.io
The Zed Project | Zed
Super-structured Zed makes cleaning and wrangling data easy.