В блоге Data in government [1] Правительства Великобритании текст Using a federated model for API discovery in government [2] про их централизованный каталог API [3]. Я хотел написать об этом ещё в феврале, но вначале отложил, а потом просто подзабыл про это. Текст интересный, собственно о том как должна быть устроена система работы API современного государства.
В корне идея того что каталог API делается централизованным, но для того чтобы сделать его просто создается манифест, машиночитаемое описание, владельцами API которое агрегируется централизованно. В UK для этого сделали специальную схему агрегации [4]
Там же в Великобритании государственная система дизайна (GOV.UK Government design system) официально прошла приёмку и стала живой госуслугой [5]. Для тех кто не знает, в Великобритании, как и в США, как и Сингапуре, как и ещё в десятке стран есть утвержденный стандарт создания госсайтов. Он необязателен, но настоятельно рекомендуемый. Особенность всех дизайн систем в их полной открытости - это открытый код под свободными лицензиями, бесплатные и открытые шрифты и открытые графические элементы. О том почему этого нет в России в этот раз я писать не буду.
Там же в блогах Правительства UK о том как их Charity Commission собирает данные о благотворительных организациях [6], фактически предлагают организациям выступать в роли бета-тестеров и фокус групп.
В целом блоги gov.uk [7] - это такое уникальное явление в госуправлении когда от лица органов власти идёт постоянная коммуникация, ведут их госслужащие которым не запрещено, а наоборот поощряется писать о своей работе и вовлекать тех кто от их работы зависит в разные формы обратной связи.
Ссылки:
[1] https://dataingovernment.blog.gov.uk
[2] https://dataingovernment.blog.gov.uk/2022/02/18/using-a-federated-model-for-api-discovery-in-government/
[3] https://www.api.gov.uk/#uk-public-sector-apis
[4] https://github.com/co-cddo/federated-api-model/tree/main/schemas/v1alpha
[5] https://gds.blog.gov.uk/2022/03/31/the-gov-uk-design-system-is-now-live/
[6] https://charitycommission.blog.gov.uk/2022/04/05/help-us-gather-better-data-on-charities/
[7] https://blog.gov.uk
#blogs #uk #data #government #bestpractices
В корне идея того что каталог API делается централизованным, но для того чтобы сделать его просто создается манифест, машиночитаемое описание, владельцами API которое агрегируется централизованно. В UK для этого сделали специальную схему агрегации [4]
Там же в Великобритании государственная система дизайна (GOV.UK Government design system) официально прошла приёмку и стала живой госуслугой [5]. Для тех кто не знает, в Великобритании, как и в США, как и Сингапуре, как и ещё в десятке стран есть утвержденный стандарт создания госсайтов. Он необязателен, но настоятельно рекомендуемый. Особенность всех дизайн систем в их полной открытости - это открытый код под свободными лицензиями, бесплатные и открытые шрифты и открытые графические элементы. О том почему этого нет в России в этот раз я писать не буду.
Там же в блогах Правительства UK о том как их Charity Commission собирает данные о благотворительных организациях [6], фактически предлагают организациям выступать в роли бета-тестеров и фокус групп.
В целом блоги gov.uk [7] - это такое уникальное явление в госуправлении когда от лица органов власти идёт постоянная коммуникация, ведут их госслужащие которым не запрещено, а наоборот поощряется писать о своей работе и вовлекать тех кто от их работы зависит в разные формы обратной связи.
Ссылки:
[1] https://dataingovernment.blog.gov.uk
[2] https://dataingovernment.blog.gov.uk/2022/02/18/using-a-federated-model-for-api-discovery-in-government/
[3] https://www.api.gov.uk/#uk-public-sector-apis
[4] https://github.com/co-cddo/federated-api-model/tree/main/schemas/v1alpha
[5] https://gds.blog.gov.uk/2022/03/31/the-gov-uk-design-system-is-now-live/
[6] https://charitycommission.blog.gov.uk/2022/04/05/help-us-gather-better-data-on-charities/
[7] https://blog.gov.uk
#blogs #uk #data #government #bestpractices
dataingovernment.blog.gov.uk
Data in government
A blog about the work of performance analysts and data scientists at the Government Digital Service
Тут прошла свежая новость что Минцифры прорабатывают создание типовых решений для ВУЗов, вот ТАСС цитирует Олега Качанова, зам. министра цифрового развития.
"Минцифры прорабатывает возможность создания облачного решения для вузов, которое обеспечит типовые сервисы" [1].
А также По словам замминистра, эта разработка будет продолжением, в частности, сервиса приема, ведения реестра студентов и электронной зачетки.
Олега я знаю много лет, он несомненно один из наиболее деятельных зам. министров по цифре которые у нас в стране есть, так что не могу о нём сказать ничего плохого. А вот он про меня, наверняка может, учитывая как часто я кидаю критику про разные министерствами всякое.
Но вот тут я не могу не прокомментировать, потому что надо понимать что происходит. В России в госуправлении вот уже лет 15 примерно был и остаётся тренд на рост ИТ расходов у ФОИВов и ограничения в ИТ расходах у регионов и подведов. Начиная с косвенных механизмов бюджетного регулирования, продолжая прямыми механизмами привязки субсидий регионам конкретными задачами и конкурсы на раздачу регионам денег из фед. бюджета. И заканчивая, это ключевое, созданием монструозных ФГИСов используемых всеми (ГИС Торги, ЕИС Закупки и ещё много чего).
В случае бюджетных учреждений такой тренд был в отношении больниц, постепенно нарастал в отношении школ, пока в виде централизованных региональных систем, а вот университеты обходил стороной во первых поскольку даже у госуниверситетов есть своя худо-бедно-плохая, но автономия, а во вторых обычно ВУЗы существовали только в парадигме ведомственной отчетности.
А всё началось с сервиса приёма в ВУЗы на госуслугах, а потом "коготок увяз", резкого сопротивления ВУЗы отказали, постепенно часть их инфраструктуры будет связана или находится внутри госуслуг. А это неизбежно приведет к реструктуризации их ИТ бюджетов. Подрядчик по этим работам типовых сервисов получит сильное влияние на ВУЗовскую информатизацию и, при настойчивости, может стать маркет-мейкером в этой области.
Хорошо это или плохо? А вот решайте сами.
Ссылки:
[1] https://tass.ru/ekonomika/14439457
#government #policy #digital #education
"Минцифры прорабатывает возможность создания облачного решения для вузов, которое обеспечит типовые сервисы" [1].
А также По словам замминистра, эта разработка будет продолжением, в частности, сервиса приема, ведения реестра студентов и электронной зачетки.
Олега я знаю много лет, он несомненно один из наиболее деятельных зам. министров по цифре которые у нас в стране есть, так что не могу о нём сказать ничего плохого. А вот он про меня, наверняка может, учитывая как часто я кидаю критику про разные министерствами всякое.
Но вот тут я не могу не прокомментировать, потому что надо понимать что происходит. В России в госуправлении вот уже лет 15 примерно был и остаётся тренд на рост ИТ расходов у ФОИВов и ограничения в ИТ расходах у регионов и подведов. Начиная с косвенных механизмов бюджетного регулирования, продолжая прямыми механизмами привязки субсидий регионам конкретными задачами и конкурсы на раздачу регионам денег из фед. бюджета. И заканчивая, это ключевое, созданием монструозных ФГИСов используемых всеми (ГИС Торги, ЕИС Закупки и ещё много чего).
В случае бюджетных учреждений такой тренд был в отношении больниц, постепенно нарастал в отношении школ, пока в виде централизованных региональных систем, а вот университеты обходил стороной во первых поскольку даже у госуниверситетов есть своя худо-бедно-плохая, но автономия, а во вторых обычно ВУЗы существовали только в парадигме ведомственной отчетности.
А всё началось с сервиса приёма в ВУЗы на госуслугах, а потом "коготок увяз", резкого сопротивления ВУЗы отказали, постепенно часть их инфраструктуры будет связана или находится внутри госуслуг. А это неизбежно приведет к реструктуризации их ИТ бюджетов. Подрядчик по этим работам типовых сервисов получит сильное влияние на ВУЗовскую информатизацию и, при настойчивости, может стать маркет-мейкером в этой области.
Хорошо это или плохо? А вот решайте сами.
Ссылки:
[1] https://tass.ru/ekonomika/14439457
#government #policy #digital #education
ТАСС
Минцифры прорабатывает возможность создания облачного решения для вузов
В ведомстве сообщили, что эта разработка будет продолжением, в частности, сервиса приема, ведения реестра студентов и электронной зачетки
Кстати, очень серьезный вопрос.
Я вот всё не могу понять феномена Телеграма сейчас. Почему он и в России не забанен, и Дуров не под санкциями? Тут же всех видов пропаганды в достатке. А нейтральными сейчас не позволяют быть никому. А еще тут российские госорганы обжились словно навсегда, каналов и чатов насоздавали, перестали Телеграм импортозамещать.
Когда будет разоблачение и что в нем будет?
#telegram
Я вот всё не могу понять феномена Телеграма сейчас. Почему он и в России не забанен, и Дуров не под санкциями? Тут же всех видов пропаганды в достатке. А нейтральными сейчас не позволяют быть никому. А еще тут российские госорганы обжились словно навсегда, каналов и чатов насоздавали, перестали Телеграм импортозамещать.
Когда будет разоблачение и что в нем будет?
#telegram
В WSJ статья Russia Blocks Economic Data, Hiding Effect of Western Sanctions [1] собственно о тренде на закрытие экономических данных в России. О том же писали Reuters [2] и ряд других новостных агентств и изданий [3] [4].
Этот тренд будет усиливаться по мере появления новых публикаций о экономическом состоянии из непрямых источников, а они есть, их много, их, скорее всего, сейчас будут ограничивать и скрывать. Что именно ещё будут закрывать я прогнозировать/подсказывать совершенно точно не имею желания, но, конечно, всё это будет небезболезненно для всего российского информационного бизнеса сбора и предоставления данных.
Ссылки:
[1] https://www.wsj.com/articles/russia-blocks-economic-data-hiding-effect-of-western-sanctions-11650677765
[2] https://www.reuters.com/article/ukraine-crisis-russia-imports-idUSKCN2MD1T7
[3] https://thebarentsobserver.com/en/industry-and-energy/2022/04/russia-classifies-customs-data-sanctions-bite
[4] https://www.themoscowtimes.com/2022/04/22/russia-classifies-customs-data-as-sanctions-expected-to-bite-a77457
#opendata #economics #closedgovernment
Этот тренд будет усиливаться по мере появления новых публикаций о экономическом состоянии из непрямых источников, а они есть, их много, их, скорее всего, сейчас будут ограничивать и скрывать. Что именно ещё будут закрывать я прогнозировать/подсказывать совершенно точно не имею желания, но, конечно, всё это будет небезболезненно для всего российского информационного бизнеса сбора и предоставления данных.
Ссылки:
[1] https://www.wsj.com/articles/russia-blocks-economic-data-hiding-effect-of-western-sanctions-11650677765
[2] https://www.reuters.com/article/ukraine-crisis-russia-imports-idUSKCN2MD1T7
[3] https://thebarentsobserver.com/en/industry-and-energy/2022/04/russia-classifies-customs-data-sanctions-bite
[4] https://www.themoscowtimes.com/2022/04/22/russia-classifies-customs-data-as-sanctions-expected-to-bite-a77457
#opendata #economics #closedgovernment
WSJ
Russia Blocks Economic Data, Hiding Effect of Western Sanctions
A Russian blackout of data on government debt and trade, among other categories, makes it harder for the West to know if sanctions are working.
РБК пишут про законопроект по "регулированию иностранных агентов" [1]. Не надо быть гадалкой чтобы понимать что под этот закон могут подпасть буквально все кто ведет хоть какую-то осмысленную публичную деятельность. Даже не обязательно теперь получение иностранных средств, может быть влияние в иной форме. Вот к примеру, входит кто-то в профессиональное глобальное объединение выступающие с мирных позиций, так что теперь его российские члены могут быть инагентами?
К примеру, вхожу я в сообщество Clarity International [2] посвящённое продвижению идей простоты языка в юридическом и государственном применении, плачу членские взносы, получаю ежеквартально их журнал с рассказами о том как развивается простота языка в разных странах. Можно сказать что она меня они оказывают влияние? Денег то я оттуда не получал и не получаю, наоборот свои плачу. Или вот я поучаствовал в конференции ООН по противодействию коррупции. Можно сказать что на меня оказывает влияние ООН ? Мой пример не единичный, как раз наоборот, очень распространённый.
Дело в том что всё будет как решит Минюст РФ и ещё ряд органов власти. Фактически будет ещё более избирательное, но массовое, применение закона против "неугодных и непослушных".
При этом, большинство тех кто ранее под это регулирование подпали уехали из страны, тех кого будут вносить сейчас поедут в след за ними. Начнут с неугодных, продолжат теми у кого будут деньги и возможность откупиться. Потому что не бывает регуляторной нормы без коррупции, особенно нормы столь нечёткой и расплывчатой в применении.
Я для себя лично давно решил что единственной причиной мне либо уезжать из страны и даже из Москвы надолго - это медицинские показания. Каждую весну жду с замиранием, вот уже апрель месяц, а аллергический сезон ещё не наступил. Некоторые цветущие деревья в средней полосе России меня лично тревожат куда больше чем новые законы, но, я ещё раз подчеркну, все усилия министерств вроде Минцифры РФ по удержанию ИТшников будут превращаться в тыкву общим ухудшением среды обитания. А такие законы вроде возможности признания инагентами когда угодно и кого угодно - это прямое ухудшение.
Ссылки:
[1] https://www.rbc.ru/politics/25/04/2022/6262eed69a79472666361d78
[2] https://www.clarity-international.org/
#foreignagents #government #idioten #russia
К примеру, вхожу я в сообщество Clarity International [2] посвящённое продвижению идей простоты языка в юридическом и государственном применении, плачу членские взносы, получаю ежеквартально их журнал с рассказами о том как развивается простота языка в разных странах. Можно сказать что она меня они оказывают влияние? Денег то я оттуда не получал и не получаю, наоборот свои плачу. Или вот я поучаствовал в конференции ООН по противодействию коррупции. Можно сказать что на меня оказывает влияние ООН ? Мой пример не единичный, как раз наоборот, очень распространённый.
Дело в том что всё будет как решит Минюст РФ и ещё ряд органов власти. Фактически будет ещё более избирательное, но массовое, применение закона против "неугодных и непослушных".
При этом, большинство тех кто ранее под это регулирование подпали уехали из страны, тех кого будут вносить сейчас поедут в след за ними. Начнут с неугодных, продолжат теми у кого будут деньги и возможность откупиться. Потому что не бывает регуляторной нормы без коррупции, особенно нормы столь нечёткой и расплывчатой в применении.
Я для себя лично давно решил что единственной причиной мне либо уезжать из страны и даже из Москвы надолго - это медицинские показания. Каждую весну жду с замиранием, вот уже апрель месяц, а аллергический сезон ещё не наступил. Некоторые цветущие деревья в средней полосе России меня лично тревожат куда больше чем новые законы, но, я ещё раз подчеркну, все усилия министерств вроде Минцифры РФ по удержанию ИТшников будут превращаться в тыкву общим ухудшением среды обитания. А такие законы вроде возможности признания инагентами когда угодно и кого угодно - это прямое ухудшение.
Ссылки:
[1] https://www.rbc.ru/politics/25/04/2022/6262eed69a79472666361d78
[2] https://www.clarity-international.org/
#foreignagents #government #idioten #russia
РБК
Журналисты и НКО смогут получить статус иноагента без иностранных денег
РБК ознакомился с новым законопроектом об иноагентах. Он позволяет отнести к ним и тех, кто не получает иностранного финансирования, а также коммерческие компании, если их деятельность будет признана
Полезное чтение про данные и не только:
- Windows 11 is officially a failure [1] о том что Windows 11 не так привлекательна как ожидалось. Честно говоря не удивительно, я лично до сих пор не могу понять зачем мигрировать с Windows 10 на Windows 11.
- 10 Books Every Senior Engineer Should Read [2] обзор книг по программной инженерии, ничего особенного, просто полезная подборка, одна из многих
- Kubit привлекли $18M [3] инвестиций, это решение по продуктовой аналитики поверх data warehouse
- JQ, Grep for JSON: Cookbook I [4] гайд по утилите JQ для работы с json файлами. Лично по мне очень неудобная утилита, но кому-то нравится
P.S. Я тут готовя одну из публичных лекций неожиданно столкнулся с тем что практически нет гайдов и сравнений по инструментам для data wrangling. Как минимум это - Excel, OpenRefine, pandas в Jupyter Notebook и коммерческие вроде Trifacta, но какого-то качественного анализа и сравнения нет.
P.S.S. А ещё удивительное дело, но никто не додумался до headless data wrangling, может потому что это нерационально, а может потому что такая комбинация кажется слишком странной.
Ссылки:
[1] https://medium.com/geekculture/windows-11-is-officially-a-failure-141c4027a308
[2] https://semaphoreci.medium.com/10-books-every-senior-engineer-should-read-a61c1917e2a7
[3] https://www.kubit.ai/
[4] https://medium.com/data-science-deep-dive/jq-grep-for-json-cookbook-i-4a1d78a227e5
#data #readings #texts
- Windows 11 is officially a failure [1] о том что Windows 11 не так привлекательна как ожидалось. Честно говоря не удивительно, я лично до сих пор не могу понять зачем мигрировать с Windows 10 на Windows 11.
- 10 Books Every Senior Engineer Should Read [2] обзор книг по программной инженерии, ничего особенного, просто полезная подборка, одна из многих
- Kubit привлекли $18M [3] инвестиций, это решение по продуктовой аналитики поверх data warehouse
- JQ, Grep for JSON: Cookbook I [4] гайд по утилите JQ для работы с json файлами. Лично по мне очень неудобная утилита, но кому-то нравится
P.S. Я тут готовя одну из публичных лекций неожиданно столкнулся с тем что практически нет гайдов и сравнений по инструментам для data wrangling. Как минимум это - Excel, OpenRefine, pandas в Jupyter Notebook и коммерческие вроде Trifacta, но какого-то качественного анализа и сравнения нет.
P.S.S. А ещё удивительное дело, но никто не додумался до headless data wrangling, может потому что это нерационально, а может потому что такая комбинация кажется слишком странной.
Ссылки:
[1] https://medium.com/geekculture/windows-11-is-officially-a-failure-141c4027a308
[2] https://semaphoreci.medium.com/10-books-every-senior-engineer-should-read-a61c1917e2a7
[3] https://www.kubit.ai/
[4] https://medium.com/data-science-deep-dive/jq-grep-for-json-cookbook-i-4a1d78a227e5
#data #readings #texts
Medium
Windows 11 is officially a failure
Six months in, Microsoft’s latest operating system is struggling to gain momentum — here’s why that’s happening
Одна из интересных ниш для стартапов сейчас - это использование ИИ для сокращения объёмов хранения данных и повышения эффективности хранилищ. Стартап Densify [1] позволяет провести такую оптимизацию с обещанием сокращения расходов на хранение в облаках до 80%. Другой стартап Cast AI [2] помогает оптимизировать облачную инфраструктуру на AWS, Azure или GCP.
Другой взгляд на эту же проблему и тоже через ИИ - это стартапы по созданию алгоритмов сжатия изображений, также, с ИИ. Vance AI [3] и Compression AI [4] декларируют сжатие изображение лучше всех остальных алгоритмов. Сжатие, конечно, всегда с потерями (lossy compression), но визуально это незаметно.
Есть похожие проекты для видео, также повышающие качество сжатия.
В ситуации когда, например, в России ожидается дефицит систем хранения и растёт цена за облачное хранение файлов такие алгоритмы и подходы будут как никогда кстати.
Ссылки:
[1] https://venturebeat.com/2018/03/06/densify-uses-ai-to-cut-businesses-cloud-spending-by-up-to-80/
[2] https://venturebeat.com/2021/10/12/cloud-optimization-startup-cast-ai-raises-10m/
[3] https://vanceai.com/image-compressor/
[4] https://compression.ai/
#ai #data #startups #compression
Другой взгляд на эту же проблему и тоже через ИИ - это стартапы по созданию алгоритмов сжатия изображений, также, с ИИ. Vance AI [3] и Compression AI [4] декларируют сжатие изображение лучше всех остальных алгоритмов. Сжатие, конечно, всегда с потерями (lossy compression), но визуально это незаметно.
Есть похожие проекты для видео, также повышающие качество сжатия.
В ситуации когда, например, в России ожидается дефицит систем хранения и растёт цена за облачное хранение файлов такие алгоритмы и подходы будут как никогда кстати.
Ссылки:
[1] https://venturebeat.com/2018/03/06/densify-uses-ai-to-cut-businesses-cloud-spending-by-up-to-80/
[2] https://venturebeat.com/2021/10/12/cloud-optimization-startup-cast-ai-raises-10m/
[3] https://vanceai.com/image-compressor/
[4] https://compression.ai/
#ai #data #startups #compression
VentureBeat
Densify uses AI to cut businesses’ cloud spending by up to 80%
Exclusive We are excited to bring Transform 2022 back in-person July 19 and virtually July 20 - 28. Join AI and data leaders for insightful talks and exciting networking opportunities. Register today! Densify, a company that helps enterprises make sure that…
Около 5 лет назад мы с коллегой шутили придумывая реформы государственного управления.
Там было много прорывных идей, например:
- Государственная программа рытья особого пути России к центру Земли.
- Легализация института проституции (в том числе политической), включая создание нормативно-правовой и регулятор институциональной основы
- Переподчинение государственных ВУЗов Министерству обороны
- Переодеть всю полицию в оранжевую форму
И, конечно, там был такой пункт как Государственная программа поддержки церковных и тюремных малых инновационных компаний и стартапов.
К счастью, эти гениальные идеи не покидали предела специально отведенных документов.
Поэтому даже не могу описать свои чувства когда сейчас читаю что ФСИН намерена привлекать осужденных IT-специалистов к удаленной работе на бизнес [1] о чём нам пишет ТАСС.
Для полного счастья нехватает только квот по посадкам ИТшников, государственной программы "Шарашки 2.0" и тому подобного.
Как я уже говорил многие позитивные инициативы Минцифры РФ для ИТ отрасли могут превратиться в тыкву, потому что Минцифра не Правительство РФ, а в Правительстве РФ, видимо, считают такие инициативы ФСИН нормальными и допустимыми.
Ссылки:
[1] https://tass.ru/obschestvo/14489179
#russia #it #policy #regulation
Там было много прорывных идей, например:
- Государственная программа рытья особого пути России к центру Земли.
- Легализация института проституции (в том числе политической), включая создание нормативно-правовой и регулятор институциональной основы
- Переподчинение государственных ВУЗов Министерству обороны
- Переодеть всю полицию в оранжевую форму
И, конечно, там был такой пункт как Государственная программа поддержки церковных и тюремных малых инновационных компаний и стартапов.
К счастью, эти гениальные идеи не покидали предела специально отведенных документов.
Поэтому даже не могу описать свои чувства когда сейчас читаю что ФСИН намерена привлекать осужденных IT-специалистов к удаленной работе на бизнес [1] о чём нам пишет ТАСС.
Для полного счастья нехватает только квот по посадкам ИТшников, государственной программы "Шарашки 2.0" и тому подобного.
Как я уже говорил многие позитивные инициативы Минцифры РФ для ИТ отрасли могут превратиться в тыкву, потому что Минцифра не Правительство РФ, а в Правительстве РФ, видимо, считают такие инициативы ФСИН нормальными и допустимыми.
Ссылки:
[1] https://tass.ru/obschestvo/14489179
#russia #it #policy #regulation
ТАСС
ФСИН намерена привлекать осужденных IT-специалистов к удаленной работе на бизнес
Речь идет о тех, кто отбывает наказание в исправительных центрах
Обратите внимание, на 19 мая мы планируем в России провести конференцию по цифровой архивации - веб-архивы, архивы соцсетей и так далее. Я писал об этом ранее и подробности в канале @ruarxive. Будет две дискуссии - по сохранению цифровой культуры и по сохранению цифровых СМИ. А также будет столько докладов по 20 минут сколько мы сможем вместить.
Во первых, приглашаю послушать, зарегистрируйтесь на сайте.
Во вторых, если Вам есть что сказать то предложите доклад. Тайминг 20 минут, из которых 15 минут доклад + 5 минут ответов на вопросы. Пишите мне или по контактам на сайте.
От Инфокультуры (@infoculture) мы расскажем про национальный цифровой архив и наши инициативы архивации. Также я расскажу про 1-2 инструмента архивации которые ранее выкладывал в открытый доступ.
Ещё мы очень хотели позвать иностранных спикеров, но, с этим есть сложности сейчас, поэтому если не получится, то обязательно сделаем это к следующему мероприятию.
Программа очень скоро будет доступна, следите за новостями!
#digitalpreservation #webarchives
Во первых, приглашаю послушать, зарегистрируйтесь на сайте.
Во вторых, если Вам есть что сказать то предложите доклад. Тайминг 20 минут, из которых 15 минут доклад + 5 минут ответов на вопросы. Пишите мне или по контактам на сайте.
От Инфокультуры (@infoculture) мы расскажем про национальный цифровой архив и наши инициативы архивации. Также я расскажу про 1-2 инструмента архивации которые ранее выкладывал в открытый доступ.
Ещё мы очень хотели позвать иностранных спикеров, но, с этим есть сложности сейчас, поэтому если не получится, то обязательно сделаем это к следующему мероприятию.
Программа очень скоро будет доступна, следите за новостями!
#digitalpreservation #webarchives
Forwarded from Национальный цифровой архив
Приглашаем вас на конференцию по вопросам цифрового сохранения и веб-архивирования (conference.ruarxive.org).
В программе:
— Дискуссии на темы сохранения культурного сохранения и медиа.
— Серия коротких докладов о технических аспектах цифровой архивации.
Мы собираем программу. Если вы хотите принять участие в конференции, предложить тему, доклад и себя в качестве спикера, пишите нам на эл. почту [email protected].
Для кого
— Конференция практико-ориентирована и будет интересна профессионалам из области архивации, сохранения и исследований культурного наследия.
— В то же время в программе предусмотрены технические доклады, которые будут интересны активистам, волонтерам и другим энтузиастам — создателям цифровых копий и слепков контента и данных, чье участие в сохранении цифрового контента крайне важно.
Формат
Конференция состоится в гибридном формате, то есть можно прийти на конференцию лично, посетив площадку в Москве, или подключиться к онлайн-трансляции.
➡️ Подробности и регистрация
В программе:
— Дискуссии на темы сохранения культурного сохранения и медиа.
— Серия коротких докладов о технических аспектах цифровой архивации.
Мы собираем программу. Если вы хотите принять участие в конференции, предложить тему, доклад и себя в качестве спикера, пишите нам на эл. почту [email protected].
Для кого
— Конференция практико-ориентирована и будет интересна профессионалам из области архивации, сохранения и исследований культурного наследия.
— В то же время в программе предусмотрены технические доклады, которые будут интересны активистам, волонтерам и другим энтузиастам — создателям цифровых копий и слепков контента и данных, чье участие в сохранении цифрового контента крайне важно.
Формат
Конференция состоится в гибридном формате, то есть можно прийти на конференцию лично, посетив площадку в Москве, или подключиться к онлайн-трансляции.
➡️ Подробности и регистрация
Очень интересный инструмент, проект и подход Zed [1] как сами создатели его описывают это Zed offers a new approach to data that makes it easier to manipulate and manage your data. А по сути команда компании Brim Data [2] разработали собственную модель данных [3] и, в привязке к ней, форматы файлов ZNG, ZST, ZSON, ZJSON которые, как они обещают, дают лучше скорость обработки данных, лучше хранят данные и так далее.
Я, как удачно, прямо сейчас занимался систематизацией кода DataCrafter'а с выделением в открытый код сборщика и преобразователя данных. И вот тут Zed кажется инструментом чрезвычайно подходящим для применения, но вначале его надо тщательно протестировать.
Ссылки:
[1] https://zed.brimdata.io
[2] https://www.brimdata.io/
[3] https://zed.brimdata.io/docs/formats/zed/
#data #datatools #opensource
Я, как удачно, прямо сейчас занимался систематизацией кода DataCrafter'а с выделением в открытый код сборщика и преобразователя данных. И вот тут Zed кажется инструментом чрезвычайно подходящим для применения, но вначале его надо тщательно протестировать.
Ссылки:
[1] https://zed.brimdata.io
[2] https://www.brimdata.io/
[3] https://zed.brimdata.io/docs/formats/zed/
#data #datatools #opensource
zed.brimdata.io
The Zed Project | Zed
Super-structured Zed makes cleaning and wrangling data easy.
Интересное чтение про обработку 22GB CSV файла с транзакциями с помощью Pandas [1] и к нему же в дополнение аналогичная задача решаемая с помощью движка Deephaven [2], автор декларирует 60-кратное ускорение её выполнения через преобразование данных в формат Parquet.
Интересно было бы увидеть и сравнение с другими инструментами, например, с тем же Zed [3], но общая мысль такова что надо использовать правильные инструменты для разных задач.
По своему опыту могу сказать что для задач дата-инженерии Pandas так себе инструмент, скорее узнаваемый, но не самый быстрый и для задач обработки больших данных есть другие подходы.
Идеальный сценарий при неограниченных ресурсах - это ELT подход, когда вначале тот же CSV файл загружается в базу первичных данных и далее уже с данными внутри СУБД делаются все необходимые манипуляции, например, через dbt.
Сценарии при неограниченных ресурсах начинаются с ревизии того где находятся наибольшие ограничения: процессор, память, дисковое хранилище и тд.
Например, в задачах обработки данных где есть построчная изоляция преобразования, а то есть результат преобразования зависит только от содержания данных в одно записи, и не зависит от других записей, самым очевидным оказывается разделение набора данных на потоковые батчи и обработка в n-ное число потоков или процессов.
Другой путь в преобразовании изначальных данных из CSV в форматы более пригодные для обработки, такие как тот же Parquet, собственно об этом и пишут в блоге Deephaven. Есть и много других способов, подходов, трюков.
Что я могу сказать, так то что многие задачи решаются не теми инструментами которыми пользуются каждый день. Например, обработка CSV файлов с помощью Pandas может оказаться куда медленнее чем с помощью консольных утилит вроде csvkit [4], xsv [5] и аналогов. Я когда-то специально для себя делал инструментарий и выносил его в открытый код в утилиту undatum [4] который умел разрезать на куски JSONlines и BSON файлы и, в добавок, поддерживал CSV файлы тоже. Это тоже частая задача, которую пытаются решать инструментами вроде Pandas.
Чего не хватает в индустрии дата-инженерии - это большого числа соревнований по преобразованию данных по аналогии с Global Data Compression Competition 2021[7]. Когда есть типовые требования к окружению, компьютер с заранее определенными ресурсами, и набор [не]типовых задач по преобразованию данных. Потому что одну и ту же задачу можно решить десятками разных способов и инструментов.
Ссылки:
[1] https://towardsdatascience.com/batch-processing-22gb-of-transaction-data-with-pandas-c6267e65ff36
[2] https://medium.com/@deephavendatalabs/make-pandas-60x-faster-c064ed26d3c1
[3] https://t.iss.one/begtin/3807
[4] https://github.com/wireservice/csvkit
[5] https://github.com/BurntSushi/xsv
[6] https://github.com/datacoon/undatum
[7] https://www.gdcc.tech
#data #datatools #readings #dataengineering
Интересно было бы увидеть и сравнение с другими инструментами, например, с тем же Zed [3], но общая мысль такова что надо использовать правильные инструменты для разных задач.
По своему опыту могу сказать что для задач дата-инженерии Pandas так себе инструмент, скорее узнаваемый, но не самый быстрый и для задач обработки больших данных есть другие подходы.
Идеальный сценарий при неограниченных ресурсах - это ELT подход, когда вначале тот же CSV файл загружается в базу первичных данных и далее уже с данными внутри СУБД делаются все необходимые манипуляции, например, через dbt.
Сценарии при неограниченных ресурсах начинаются с ревизии того где находятся наибольшие ограничения: процессор, память, дисковое хранилище и тд.
Например, в задачах обработки данных где есть построчная изоляция преобразования, а то есть результат преобразования зависит только от содержания данных в одно записи, и не зависит от других записей, самым очевидным оказывается разделение набора данных на потоковые батчи и обработка в n-ное число потоков или процессов.
Другой путь в преобразовании изначальных данных из CSV в форматы более пригодные для обработки, такие как тот же Parquet, собственно об этом и пишут в блоге Deephaven. Есть и много других способов, подходов, трюков.
Что я могу сказать, так то что многие задачи решаются не теми инструментами которыми пользуются каждый день. Например, обработка CSV файлов с помощью Pandas может оказаться куда медленнее чем с помощью консольных утилит вроде csvkit [4], xsv [5] и аналогов. Я когда-то специально для себя делал инструментарий и выносил его в открытый код в утилиту undatum [4] который умел разрезать на куски JSONlines и BSON файлы и, в добавок, поддерживал CSV файлы тоже. Это тоже частая задача, которую пытаются решать инструментами вроде Pandas.
Чего не хватает в индустрии дата-инженерии - это большого числа соревнований по преобразованию данных по аналогии с Global Data Compression Competition 2021[7]. Когда есть типовые требования к окружению, компьютер с заранее определенными ресурсами, и набор [не]типовых задач по преобразованию данных. Потому что одну и ту же задачу можно решить десятками разных способов и инструментов.
Ссылки:
[1] https://towardsdatascience.com/batch-processing-22gb-of-transaction-data-with-pandas-c6267e65ff36
[2] https://medium.com/@deephavendatalabs/make-pandas-60x-faster-c064ed26d3c1
[3] https://t.iss.one/begtin/3807
[4] https://github.com/wireservice/csvkit
[5] https://github.com/BurntSushi/xsv
[6] https://github.com/datacoon/undatum
[7] https://www.gdcc.tech
#data #datatools #readings #dataengineering
Medium
Batch Processing 22GB of Transaction Data with Pandas
How you get around limited computational resources and work with large datasets
Forwarded from addmeto (Grigory Bakunov 🧪)
Гугл теперь официально принимает запросы на удаление результатов поиска, содержащих персональную информацию (контакты, физический адрес, телефон, емейл, логин и тп). До этого причиной для удаления была только попытка украсть ваши деньги через использование вашего имени.
Вот список информации, которая может быть причиной для удаления:
- Номера, позволяющие вас идентифицировать (номер паспорта или SSN, наверное для некоторых СНИЛС)
- Номера банковских счетов
- Номера кредитных карт
- Фото рукописных подписей
- Фото других документов, удостоверяющих личность
- Очень личные данные, такие как медицинские записи
- Персональная контактная информация (физические адреса, номера телефонов и адреса электронной почты)
- Конфиденциальные учетные данные для входа (логины и пароли)
https://www.theverge.com/2022/4/27/23044951/google-search-results-personal-information-address-phone-number
Вот список информации, которая может быть причиной для удаления:
- Номера, позволяющие вас идентифицировать (номер паспорта или SSN, наверное для некоторых СНИЛС)
- Номера банковских счетов
- Номера кредитных карт
- Фото рукописных подписей
- Фото других документов, удостоверяющих личность
- Очень личные данные, такие как медицинские записи
- Персональная контактная информация (физические адреса, номера телефонов и адреса электронной почты)
- Конфиденциальные учетные данные для входа (логины и пароли)
https://www.theverge.com/2022/4/27/23044951/google-search-results-personal-information-address-phone-number
The Verge
Google can now remove search results that dox you without second-guessing intent
You ask it to remove links to your address and more.
Минцифры снова выложило реестр аккредитованных ИТ компаний, в формате ODS и пложенным к госуслуге "Отсрочка от армии"[1].
В реестре более 22 тысяч организаций, особенно стоит обратить внимание на:
- больницы
- университеты
- бюджетные учреждения
И ещё немало чего, особенно много изменений с начала марта 2022 года, догадайтесь сами почему.
Ссылки:
[1] https://www.gosuslugi.ru/armydelay
#government #registries #opendata
В реестре более 22 тысяч организаций, особенно стоит обратить внимание на:
- больницы
- университеты
- бюджетные учреждения
И ещё немало чего, особенно много изменений с начала марта 2022 года, догадайтесь сами почему.
Ссылки:
[1] https://www.gosuslugi.ru/armydelay
#government #registries #opendata
EPDS (he European Data Protection Supervisor) [1] анонсировали две новые социальные платформы с заботой о приватности EU Voice [2] и EU Video [3].
EU Voice основано на Mastodon, платформе для социальных сетей с открытым кодом.
EU Video работает на базе движка Peertube, также с открытым кодом.
А российское правительство могё'т развернуть свой экземпляр Mastodon или поддерживать бизнес товарища Дурова приоритетнее?;)
Ссылки:
[1] https://edps.europa.eu/press-publications/press-news/press-releases/2022/edps-launches-pilot-phase-two-social-media_en
[2] https://social.network.europa.eu/public
[3] https://tube.network.europa.eu/
#opensource #socialnetworks #eu #government #privacy
EU Voice основано на Mastodon, платформе для социальных сетей с открытым кодом.
EU Video работает на базе движка Peertube, также с открытым кодом.
А российское правительство могё'т развернуть свой экземпляр Mastodon или поддерживать бизнес товарища Дурова приоритетнее?;)
Ссылки:
[1] https://edps.europa.eu/press-publications/press-news/press-releases/2022/edps-launches-pilot-phase-two-social-media_en
[2] https://social.network.europa.eu/public
[3] https://tube.network.europa.eu/
#opensource #socialnetworks #eu #government #privacy
European Data Protection Supervisor
EDPS launches pilot phase of two social media platforms
The European Data Protection Supervisor (EDPS) launches today the public pilot phase of two social media platforms: EU Voice and EU Video. EU institutions, bodies, offices and agencies (EUIs) participating in the pilot phase of these platforms will be able…
Я продолжаю писать на английском языке о инструментах для работы с данными которые делал последние несколько лет. Написал заметку [1] про утилиту APIBackuper используемую для извлечению данных из API. Не открою большого секрета если скажу что большая часть данных в DataCrafter[2] собрана с её помощью. Слишком многие данные в России доступны только как API.
Но в заметке пример сбора данных с недокументированного API аэропорта Берлина.
Ссылки:
[1] https://medium.com/@ibegtin/apibackuper-a-command-line-tool-to-archive-backup-data-api-calls-3eb0e98e1a3b
#tools #datatools #opensource #articles
Но в заметке пример сбора данных с недокументированного API аэропорта Берлина.
Ссылки:
[1] https://medium.com/@ibegtin/apibackuper-a-command-line-tool-to-archive-backup-data-api-calls-3eb0e98e1a3b
#tools #datatools #opensource #articles
Medium
APIBackuper: a command-line tool to archive/backup data API calls
A lot of data published as API, iterable by page or skip parameters API. Sometimes it’s documented, sometimes not, but quite often it’s…
Из свежего полезного чтения про оптимизацию работы с данными, заметка How to Build a Lossless Data Compression and Data Decompression Pipeline [1] о построении многопоточного компрессора bz2 на Python. Статья полезная, но лично мне так и хочется ехидно прокомментировать про то что "хипстеры обнаружили для себя многопоточность". Многопоточное сжатие и другие многопоточные операции это один из многих трюков отличающих общедоступные и коммерческие продукты по обработке данных. При правильно подобранном железе и иных оптимизациях оно даёт многократное ускорение.
При этом придумывать что-то своё совершенно необязательно. Есть реализация многопоточного Gzip на Python - pgzip [2] . Есть реализация многопоточности в python-zstandard [3] и это если только говорить про компрессию, а есть и другие многопоточные задачи используемые при обработке данных.
Другое чтение, про Software defined assets [4] про новый декларативный подход управления данными и оркестрацией от команды Dagster. Не могу сказать что с лёту мне удалось понять принципиальные преимущества подхода, но почитать точно стоит
Ссылки:
[1] https://python.plainenglish.io/lossless-data-compression-and-data-decompression-pipeline-2f5391a6b7e7
[2] https://github.com/pgzip/pgzip
[3] https://python-zstandard.readthedocs.io/en/latest/multithreaded.html
[4] https://dagster.io/blog/software-defined-assets
#readings #tools #datatools
При этом придумывать что-то своё совершенно необязательно. Есть реализация многопоточного Gzip на Python - pgzip [2] . Есть реализация многопоточности в python-zstandard [3] и это если только говорить про компрессию, а есть и другие многопоточные задачи используемые при обработке данных.
Другое чтение, про Software defined assets [4] про новый декларативный подход управления данными и оркестрацией от команды Dagster. Не могу сказать что с лёту мне удалось понять принципиальные преимущества подхода, но почитать точно стоит
Ссылки:
[1] https://python.plainenglish.io/lossless-data-compression-and-data-decompression-pipeline-2f5391a6b7e7
[2] https://github.com/pgzip/pgzip
[3] https://python-zstandard.readthedocs.io/en/latest/multithreaded.html
[4] https://dagster.io/blog/software-defined-assets
#readings #tools #datatools
Medium
How to Build a Lossless Data Compression and Data Decompression Pipeline
A parallel implementation of the bzip2 high-quality data compressor tool in Python.
Российский Forbes пишет что США планируют упростить получение виз для специалистов из России [1] ссылаясь на статью в Bloomberg [2] (закрыта пэйволом). Если кратко то теперь для ИТ специалистов и инженеров по ряду специальностей из России не потребуется наличие работодателя для получения рабочей визы. Это не отменяет того что из России напрямую в США сейчас не уехать, но для всех тех у кого сейчас российское гражданство и кто уже уехал или на низком старте - это будет возможность уехать, без сценариев возвращения.
У этой новости есть плохая и хорошая сторона.
Хорошая сторона в том что возможно градус культуры отмены русских (россиян) будет снижаться или сходить на нет, а акценты будут сделаны на культуре отмены российского пр-ва. Хорошая для ИТ специалистов из России, конечно, а не для России как страны.
Плохая сторона в том что как бы российские власти окончательно не перешли бы в режим коммуникации с ИТ рынком только от негатива. Не снижать налоги, а запрещать выезд. Не льготная ипотека, а усиление посадок и работа из тюрьмы и так далее.
Ссылки:
[1] https://www.forbes.ru/tekhnologii/464551-bloomberg-uznal-o-planah-ssa-uprostit-polucenie-viz-dla-specialistov-iz-rossii
[2] https://www.bloomberg.com/news/articles/2022-04-29/biden-seeks-to-rob-putin-of-his-top-scientists-with-visa-lure
#it #russia #market
У этой новости есть плохая и хорошая сторона.
Хорошая сторона в том что возможно градус культуры отмены русских (россиян) будет снижаться или сходить на нет, а акценты будут сделаны на культуре отмены российского пр-ва. Хорошая для ИТ специалистов из России, конечно, а не для России как страны.
Плохая сторона в том что как бы российские власти окончательно не перешли бы в режим коммуникации с ИТ рынком только от негатива. Не снижать налоги, а запрещать выезд. Не льготная ипотека, а усиление посадок и работа из тюрьмы и так далее.
Ссылки:
[1] https://www.forbes.ru/tekhnologii/464551-bloomberg-uznal-o-planah-ssa-uprostit-polucenie-viz-dla-specialistov-iz-rossii
[2] https://www.bloomberg.com/news/articles/2022-04-29/biden-seeks-to-rob-putin-of-his-top-scientists-with-visa-lure
#it #russia #market
Forbes.ru
Bloomberg узнал о планах США упростить получение виз для специалистов из России
Администрация США обсуждает планы, как упростить получение виз для высокообразованных российских специалистов, узнал Bloomberg. Одно из предложений — не требовать трудоустройства в США для получения рабочей визы. США хотят так ослабить российские выс