В Евросоюзе опубликовали черновик закона (регуляторного документа) по раскрытию особо ценных наборов данных для бизнеса и исследователей [1].
Опубликовали черновик ещё в конце мая и до 21 июня собирали обратную связь, которую, тоже будет полезно почитать чтобы знать позицию организаций в ЕС [2].
Также стоит обратить внимание на то какие данные определяются сейчас как особо ценные:
1) geospatial;
2) earth observation and environment;
3) meteorological;
4) statistics;
5) companies and company ownership;
6) mobility.
В обратной связи многие пишут что список неполон и нужны данные относящиеся к качеству жизни, например, статистика преступности.
А вот раскрытие данных о компаниях и их владельцах может повлиять на рынок проверки контрагентов и усилить конкуренцию.
Ссылки:
[1] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12111-Open-data-availability-of-public-datasets_en
[2] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12111-Open-data-availability-of-public-datasets/feedback_en?p_id=30829659
#opendata #eu #regulation #laws
Опубликовали черновик ещё в конце мая и до 21 июня собирали обратную связь, которую, тоже будет полезно почитать чтобы знать позицию организаций в ЕС [2].
Также стоит обратить внимание на то какие данные определяются сейчас как особо ценные:
1) geospatial;
2) earth observation and environment;
3) meteorological;
4) statistics;
5) companies and company ownership;
6) mobility.
В обратной связи многие пишут что список неполон и нужны данные относящиеся к качеству жизни, например, статистика преступности.
А вот раскрытие данных о компаниях и их владельцах может повлиять на рынок проверки контрагентов и усилить конкуренцию.
Ссылки:
[1] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12111-Open-data-availability-of-public-datasets_en
[2] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12111-Open-data-availability-of-public-datasets/feedback_en?p_id=30829659
#opendata #eu #regulation #laws
July 4, 2022
На один из наших проектов связанных с работой с большими открытыми данными есть потребность в бэкенд разработчике на Python, работа в России, в Москве.
Работа не для джунов, нужен опыт с чистым Python, Postgres и MongoDB. Проект интересный и сложный. Если готовы работать сами или можете порекомендовать, то сделать это можно вот тут https://hh.ru/vacancy/66696558
#vacancies #projects
Работа не для джунов, нужен опыт с чистым Python, Postgres и MongoDB. Проект интересный и сложный. Если готовы работать сами или можете порекомендовать, то сделать это можно вот тут https://hh.ru/vacancy/66696558
#vacancies #projects
hh.ru
Вакансия Разработчик бэкэнд (Python) в Москве, работа в компании АНО Инфокультура (вакансия в архиве c 8 июля 2022)
Зарплата: от 150000 руб. Москва. Требуемый опыт: 3–6 лет. Полная занятость. Дата публикации: 08.07.2022.
July 4, 2022
В качестве примера утилиты metacrafter [1] по распознаванию типов данных две очень разные базы данных , в одной копия данных по сетевой инфраструктуры в РФ собранная из bgpview, а в другой база федеральных госконтрактов заключенных с 2007 по 2011 годы.
Обе базы содержат вложенные объекты и хранятся в MongoDB, поэтому анализ данных происходит ещё и вглубь объектов.
И распознаются уже более половины значащих полей с данными, распознаются с привязкой к зарегистрированным семантическим типам данных.
Но ещё есть многое что нужно дорабатывать и добавлять. Например, ещё не распознаются и не определяются коды ASN, в реестре типов уже есть, а в правила они ещё не добавлены. Или старые коды продукции в России - ОКП, тоже не определяются как и ряд редко используемых справочников.
Есть доля ложных срабатываний по кодам стран, которые определяются как language tag, потому что значения код ISO 3166 Alpha2 почти полностью входят в коды RFC 5646 и так далее. Но это всё решает усложнением правил.
Уже сейчас почти в каждой базе данных есть хотя бы несколько идентифицируемых семантических типов данных.
Куда более сложная задача, о которой я писал ранее, это выявление / понимание типов данных без предобучения, на основе повторяющихся шаблонов и связывание наборов данных, в том числе, через подобные типы данных
Ссылки:
[1] https://github.ccom/apicrafter/metacrafter
#opensource #dataunderstanding
Обе базы содержат вложенные объекты и хранятся в MongoDB, поэтому анализ данных происходит ещё и вглубь объектов.
И распознаются уже более половины значащих полей с данными, распознаются с привязкой к зарегистрированным семантическим типам данных.
Но ещё есть многое что нужно дорабатывать и добавлять. Например, ещё не распознаются и не определяются коды ASN, в реестре типов уже есть, а в правила они ещё не добавлены. Или старые коды продукции в России - ОКП, тоже не определяются как и ряд редко используемых справочников.
Есть доля ложных срабатываний по кодам стран, которые определяются как language tag, потому что значения код ISO 3166 Alpha2 почти полностью входят в коды RFC 5646 и так далее. Но это всё решает усложнением правил.
Уже сейчас почти в каждой базе данных есть хотя бы несколько идентифицируемых семантических типов данных.
Куда более сложная задача, о которой я писал ранее, это выявление / понимание типов данных без предобучения, на основе повторяющихся шаблонов и связывание наборов данных, в том числе, через подобные типы данных
Ссылки:
[1] https://github.ccom/apicrafter/metacrafter
#opensource #dataunderstanding
July 4, 2022
Полезное чтение про данные и госполитику в этой области
- Understanding Criminal Justice Innovations [1] за авторством Meghan J. Ryan о том как применение технологий меняет подходы к борьбе с преступностью и о "темной стороне" их применения. Ничего радикального нового, но хорошо систематизировано. В основном опыт США.
- Narrowing the data gap: World Bank and Microsoft commit to unlocking better development outcomes for persons with disabilities [2] в блоге Microsoft о их сотрудничестве с Мировым Банком для помощи людям с ограниченными возможностями в развивающихся странах. Про создание "disability data hub". Интересно почему тут нет ещё и UNDP, но может быть появятся на какой-то следующей стадии.
- Better Data Sharing for Benefits Delivery [3] о том как необходимо развивать практику обмена данными для лучшей помощи незащищённым социальным группам. В контексте регулирования в США и помощи пострадавшим от COVID-19
- We need smarter cities, not “smart cities” [4] о том что нужны более-умные города, а не умные города. Статья описывает разницу между человекоцентричным и пользовательско- / клиентско- центричным технократическим подходом. Статья рекламирует программу UNDP UrbanShift [5] в которой участвует много городов Глобального Юга.
Ссылки:
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4136813
[2] https://blogs.microsoft.com/blog/2022/06/15/narrowing-the-data-gap-world-bank-and-microsoft-commit-to-unlocking-better-development-outcomes-for-persons-with-disabilities/
[3] https://www.newamerica.org/oti/briefs/better-data-sharing-for-benefits-delivery/
[4] https://www.technologyreview.com/2022/06/27/1053896/we-need-smarter-cities/
[5] https://www.shiftcities.org/
#data #readings
- Understanding Criminal Justice Innovations [1] за авторством Meghan J. Ryan о том как применение технологий меняет подходы к борьбе с преступностью и о "темной стороне" их применения. Ничего радикального нового, но хорошо систематизировано. В основном опыт США.
- Narrowing the data gap: World Bank and Microsoft commit to unlocking better development outcomes for persons with disabilities [2] в блоге Microsoft о их сотрудничестве с Мировым Банком для помощи людям с ограниченными возможностями в развивающихся странах. Про создание "disability data hub". Интересно почему тут нет ещё и UNDP, но может быть появятся на какой-то следующей стадии.
- Better Data Sharing for Benefits Delivery [3] о том как необходимо развивать практику обмена данными для лучшей помощи незащищённым социальным группам. В контексте регулирования в США и помощи пострадавшим от COVID-19
- We need smarter cities, not “smart cities” [4] о том что нужны более-умные города, а не умные города. Статья описывает разницу между человекоцентричным и пользовательско- / клиентско- центричным технократическим подходом. Статья рекламирует программу UNDP UrbanShift [5] в которой участвует много городов Глобального Юга.
Ссылки:
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4136813
[2] https://blogs.microsoft.com/blog/2022/06/15/narrowing-the-data-gap-world-bank-and-microsoft-commit-to-unlocking-better-development-outcomes-for-persons-with-disabilities/
[3] https://www.newamerica.org/oti/briefs/better-data-sharing-for-benefits-delivery/
[4] https://www.technologyreview.com/2022/06/27/1053896/we-need-smarter-cities/
[5] https://www.shiftcities.org/
#data #readings
Ssrn
Understanding Criminal Justice Innovations
Burgeoning science and technology have provided the criminal justice system with the opportunity to address some of its shortcomings. And the criminal justice s
July 4, 2022
Я, честно говоря, уже перестаю удивляться во что превратился реестр ИТ компаний. Теперь туда внесли ещё и Альфа-Банк [1].
Да внесите туда уже весь бизнес, ну право слово. В каждой компании есть хотя бы один "ИТшник". Хотя бы выглядеть будет не так странно, как внесение туда всех кого только можно.
Ссылки:
[1] https://tass.ru/ekonomika/15119991
#itmarket
Да внесите туда уже весь бизнес, ну право слово. В каждой компании есть хотя бы один "ИТшник". Хотя бы выглядеть будет не так странно, как внесение туда всех кого только можно.
Ссылки:
[1] https://tass.ru/ekonomika/15119991
#itmarket
TACC
Альфа-банк внесли в реестр IT-компаний - ТАСС
В банке отметили, что там работают 8 тыс. IT-специалистов, в том числе разработчики, тестировщики, дата-сайентисты, аналитики, специалисты по кибербезопасности, UX-исследователи и другие
July 4, 2022
Тут с 1-го июля pravo.gov.ru стал единственным официальным информационно-правовым ресурсом, потому что вступил в силу указ Пр-та РФ от 03.03.2022 № 90 [1].
Ключевое слово тут единственным поскольку ранее федеральные законы публиковались, также, в Российской Газете, видимо, РГ более не будет получать на это государственную субсидию и на сайте РГ более не будет обязательной публикации федеральных законов.
Другое изменение - это появление раздела "Тексты правовых актов с внесёнными изменениями" [2]. В остальном, на самом деле, в этой новости не так много хорошего потому что ФСО, управляющее pravo.gov.ru, это силовое, а не правовое ведомство, с высокой степенью закрытости даже в части их публичных полномочий.
Я напомню несколько важных фактов:
1. Наиболее актуальные тексты официально опубликованных документов на publication.pravo.gov.ru необосновано публикуются в виде сканов. У этого нет никаких обоснований, кроме нежелания публиковать их удобным образом для пользователей.
2. На pravo.gov.ru отсутствуют открытые данные. Когда-то, года 4 назад, они ещё были. Неудобные для работы, но хоть как-то. Потом все наборы данных убрали и оставили только API с существенными ограничениями на поиск и число запросов.
3. Мало кто знает, но власти субъектов федерации не обязаны публиковать свои НПА на pravo.gov.ru, они публикуют их только если заключили соглашение с ФСО России (вернее с их подведом). Например, НПА органов власти Москвы в publication.pravo.gov.ru отсутствуют [3]. Я писал об этом в марте 2021 года [4]
Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001202203030006?index=0&rangeSize=1
[2] https://actual.pravo.gov.ru/
[3] https://publication.pravo.gov.ru/SignatoryAuthority/region77
[4] https://t.iss.one/begtin/2656
#opendata #laws #lawmaking
Ключевое слово тут единственным поскольку ранее федеральные законы публиковались, также, в Российской Газете, видимо, РГ более не будет получать на это государственную субсидию и на сайте РГ более не будет обязательной публикации федеральных законов.
Другое изменение - это появление раздела "Тексты правовых актов с внесёнными изменениями" [2]. В остальном, на самом деле, в этой новости не так много хорошего потому что ФСО, управляющее pravo.gov.ru, это силовое, а не правовое ведомство, с высокой степенью закрытости даже в части их публичных полномочий.
Я напомню несколько важных фактов:
1. Наиболее актуальные тексты официально опубликованных документов на publication.pravo.gov.ru необосновано публикуются в виде сканов. У этого нет никаких обоснований, кроме нежелания публиковать их удобным образом для пользователей.
2. На pravo.gov.ru отсутствуют открытые данные. Когда-то, года 4 назад, они ещё были. Неудобные для работы, но хоть как-то. Потом все наборы данных убрали и оставили только API с существенными ограничениями на поиск и число запросов.
3. Мало кто знает, но власти субъектов федерации не обязаны публиковать свои НПА на pravo.gov.ru, они публикуют их только если заключили соглашение с ФСО России (вернее с их подведом). Например, НПА органов власти Москвы в publication.pravo.gov.ru отсутствуют [3]. Я писал об этом в марте 2021 года [4]
Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001202203030006?index=0&rangeSize=1
[2] https://actual.pravo.gov.ru/
[3] https://publication.pravo.gov.ru/SignatoryAuthority/region77
[4] https://t.iss.one/begtin/2656
#opendata #laws #lawmaking
Telegram
Ivan Begtin
О всяких "мелочах" открытости государства тезисами. То что не попадает в разного рода аналитику, годовые доклады, рейтинг и тд.
1. Среднее время задержки публикации официальных документов на сайте Правительства РФ составляет 22 дня, на 10 марта доступны…
1. Среднее время задержки публикации официальных документов на сайте Правительства РФ составляет 22 дня, на 10 марта доступны…
July 5, 2022
Тем временем в Казахстане, в отличие от России, продолжает развиваться повестка открытости гос-ва и сам факт открытости диалога власти - это хороший признак такого развития.
Но есть и то за кто можно коллег из Казахстана покритиковать. Портал открытых данных РК data.egov.kz хотя и называется порталом открытых данных, но по факту таким не является. Помимо того что нет чётко сформулированных условий использования для каждого набора данных, таких как Creative Commons или ODBl, важно то что данные невозможно скачать без регистрации через государственный портал требующий местного кода ИИН. Фактически данные доступны только жителям республики и только после однозначной идентификации. Это противоречит принципам доступности открытых данных.
#opendata #kazakhstan
Но есть и то за кто можно коллег из Казахстана покритиковать. Портал открытых данных РК data.egov.kz хотя и называется порталом открытых данных, но по факту таким не является. Помимо того что нет чётко сформулированных условий использования для каждого набора данных, таких как Creative Commons или ODBl, важно то что данные невозможно скачать без регистрации через государственный портал требующий местного кода ИИН. Фактически данные доступны только жителям республики и только после однозначной идентификации. Это противоречит принципам доступности открытых данных.
#opendata #kazakhstan
Open Data
Сервис предоставляет возможость найти наборы данных в форматах XML, EXCEL, JSON.
July 5, 2022
Forwarded from Madeniet_aqparat_ministrligi
🔹 2022 жылғы 7 шілдеде сағат 12:00-де Ақпаратқа қол жеткізу мәселелері жөніндегі комиссияның отырысы өтеді.
Отырыста Шымкент қаласы, Түркістан, Жамбыл және Павлодар облыстары әкімдіктері қызметінің ашықтығын қамтамасыз етудің кейбір мәселелерін, «Мемлекеттік органның ашықтығы» бағыты бойынша жүргізілген операциялық бағалаудың қорытындыларын, мемлекеттік органдар деректерінің өзектілігі мәселесін қарастыру жоспарлануда.
Отырыстың тікелей көрсетілімі https://www.facebook.com/aqparatqogam бойынша өтеді.
🔸 7 июля 2022 года в 12.00 часов состоится заседание Комиссии по вопросам доступа к информации.
На заседании планируется рассмотреть вопросы обеспечения открытости деятельности акиматов г. Шымкент, Туркестанской, Жамбылской и Павлодарской областей, итоги операционной оценки по направлению «Открытость государственного органа», актуальности данных государственных органов.
Трансляция заседания пройдёт по ссылке: https://www.facebook.com/aqparatqogam
@aqparatqogam
Отырыста Шымкент қаласы, Түркістан, Жамбыл және Павлодар облыстары әкімдіктері қызметінің ашықтығын қамтамасыз етудің кейбір мәселелерін, «Мемлекеттік органның ашықтығы» бағыты бойынша жүргізілген операциялық бағалаудың қорытындыларын, мемлекеттік органдар деректерінің өзектілігі мәселесін қарастыру жоспарлануда.
Отырыстың тікелей көрсетілімі https://www.facebook.com/aqparatqogam бойынша өтеді.
🔸 7 июля 2022 года в 12.00 часов состоится заседание Комиссии по вопросам доступа к информации.
На заседании планируется рассмотреть вопросы обеспечения открытости деятельности акиматов г. Шымкент, Туркестанской, Жамбылской и Павлодарской областей, итоги операционной оценки по направлению «Открытость государственного органа», актуальности данных государственных органов.
Трансляция заседания пройдёт по ссылке: https://www.facebook.com/aqparatqogam
@aqparatqogam
July 5, 2022
Для тех кто следит за тем как развивается рынок данных в мире.
Полезные материалы с конференции Databricks AI, часть 1 и часть 2․ А также оттуда же разбор про Spark Connect.
Всё это весьма далеко, конечно, от российской реальности, но полезно всем тем кто продолжает работать с глобальными облачными провайдерами сервисов работы с данными.
#dataengineering #data #clouds
Полезные материалы с конференции Databricks AI, часть 1 и часть 2․ А также оттуда же разбор про Spark Connect.
Всё это весьма далеко, конечно, от российской реальности, но полезно всем тем кто продолжает работать с глобальными облачными провайдерами сервисов работы с данными.
#dataengineering #data #clouds
Medium
Data & AI Summit Takeaways: Part I
Just like I did a few weeks ago with Airflow Summit, I’m virtually attending the Data & AI Summit this week (or rather, trying to keep up when I can as work has been a bit busy lately). While there…
July 5, 2022
Комитет государственных доходов Армении опубликовал цифры поступления налогов по 1000 крупнейших налогоплательщиков за 1-й квартал 2022 г. [1]
Для тех кому сложно читать на армянском, можно посмотреть автопереведенную выжимку на starthub.am [2] в лидерах там Soft Construct (10-е место), Synopsys Armenia, Krisp, Webb Fontaine и ещё много других.
По сравнению с российскими интеграторами суммы невелики, но и Армения небольшая страна.
Цифры налоговая служба публикует с задержкой в квартал, а то есть через 3 месяца будет следующий отчет который покроет период с 1 апреля по 31 июня. Вот тогда и будет интересно что по факту происходит с релокацией российского ИТ сектора в Армению, не просто разработчиков, а компаний.
Ссылки:
[1] https://www.petekamutner.am/Shared/Documents/_ts/_ti/Taxpayer_Information_Listings/2022/ck_hhpektt_2022_1_1000_khv_hark.xlsx
[2] https://translated.turbopages.org/proxy_u/hy-ru.ru.fff8ec87-62c3fde1-559f95a6-74722d776562/https/starthub.am/news/13503.html
#itmarket #armenia
Для тех кому сложно читать на армянском, можно посмотреть автопереведенную выжимку на starthub.am [2] в лидерах там Soft Construct (10-е место), Synopsys Armenia, Krisp, Webb Fontaine и ещё много других.
По сравнению с российскими интеграторами суммы невелики, но и Армения небольшая страна.
Цифры налоговая служба публикует с задержкой в квартал, а то есть через 3 месяца будет следующий отчет который покроет период с 1 апреля по 31 июня. Вот тогда и будет интересно что по факту происходит с релокацией российского ИТ сектора в Армению, не просто разработчиков, а компаний.
Ссылки:
[1] https://www.petekamutner.am/Shared/Documents/_ts/_ti/Taxpayer_Information_Listings/2022/ck_hhpektt_2022_1_1000_khv_hark.xlsx
[2] https://translated.turbopages.org/proxy_u/hy-ru.ru.fff8ec87-62c3fde1-559f95a6-74722d776562/https/starthub.am/news/13503.html
#itmarket #armenia
July 5, 2022
Forwarded from Национальный цифровой архив
Как сохранять исходный код ? Как сохранять код публичных репозиториев который может исчезнуть, например, в связи с закрытием организации или проектов?
Проект Software Heritage [1] специализируется на архивации всего общедоступного исходного кода. Сбор кода осуществляется автоматически, используя такие системы контроля версий как Git, Mercurial, Subversion и Bazaar. Проект уже охватывает крупнейшие платформы с исходным кодом, а также можно самостоятельно добавлять туда репозитории с помощью сервиса "Save code now" [2].
А в июне добавился новый сервис "Add forge now" [3] для добавления новых источников открытого кода, платформ на базе Gitlab, Bitbucket, Gitea, cgit, Hectapod и других подобных продуктов.
Ссылки:
[1] https://softwareheritage.org
[2] https://archive.softwareheritage.org/save/
[3] https://archive.softwareheritage.org/add-forge/request/create/
#digitalpreservation #opensource #sourcecode
Проект Software Heritage [1] специализируется на архивации всего общедоступного исходного кода. Сбор кода осуществляется автоматически, используя такие системы контроля версий как Git, Mercurial, Subversion и Bazaar. Проект уже охватывает крупнейшие платформы с исходным кодом, а также можно самостоятельно добавлять туда репозитории с помощью сервиса "Save code now" [2].
А в июне добавился новый сервис "Add forge now" [3] для добавления новых источников открытого кода, платформ на базе Gitlab, Bitbucket, Gitea, cgit, Hectapod и других подобных продуктов.
Ссылки:
[1] https://softwareheritage.org
[2] https://archive.softwareheritage.org/save/
[3] https://archive.softwareheritage.org/add-forge/request/create/
#digitalpreservation #opensource #sourcecode
July 6, 2022
Как я ранее обещал буду понемногу выкладывать выборки из аналитической базы по российскому ИТ рынку.
Здесь два Excel файла.
В одном список ИТ компаний принадлежащих на 100% зарубежным юридическим лицам и одновременно имеющие ИТ льготы в России, а не просто аккредитацию Минцифры.
Во втором список госпредприятий и госучреждений имеющих налоговые льготы. Второй список, скорее всего, неполон, но основные точно отмечены.
А я скажу что сейчас аналитическая база уже готова. Она является сводом примерно 5 реестров и туда осталось только добавить данные по программным продуктам из реестра отечественного ПО. Дальше уже долгий процесс обогащения данных другими источниками и краудсорсингом.
#opendata #data #dataprojects
Здесь два Excel файла.
В одном список ИТ компаний принадлежащих на 100% зарубежным юридическим лицам и одновременно имеющие ИТ льготы в России, а не просто аккредитацию Минцифры.
Во втором список госпредприятий и госучреждений имеющих налоговые льготы. Второй список, скорее всего, неполон, но основные точно отмечены.
А я скажу что сейчас аналитическая база уже готова. Она является сводом примерно 5 реестров и туда осталось только добавить данные по программным продуктам из реестра отечественного ПО. Дальше уже долгий процесс обогащения данных другими источниками и краудсорсингом.
#opendata #data #dataprojects
July 7, 2022
July 7, 2022
В продолжение предыдущего я ранее писал что разные части наших продуктов APICrafter и Datacrafter мы выложили с открытый доступ [1]
Сейчас они используются для сборки нескольких дата-продуктов и появилась возможность выложить несколько новых примеров и актуализировать код открытых репозиториев.
В репозитории datacrafter-examples [2] появились 3 новых примера:
- itbenef - реестр ИТ компаний получателей налоговых субсидий
- itregistry - реестр аккредитованных ИТ компаний
- softreg - реестр отечественного ПО
Вместо того чтобы размещать сами наборы данных, публикую код с помощью которого они создаются. Потому что первоисточники акцента на данных не делают, данные обычно в Excel форматах или не них нет прямой ссылки. Ну и, конечно, никакие новые полезные данные на госпорталах с открытыми данными вроде data.gov.ru не появляются.
Они все используют в качестве источников данные с сайта Минцифры РФ и их информационных систем.
Для запуска достаточно установить datacrafter [3] и выполнить команду 'datacrafter run' в директориях с файлами проектов "datacrafter.yml"
Причём надо использовать последний код из репозитория поскольку в нем как раз исправлены ошибки обработки Excel файлов.
datacrafter - это пока упрощённая, а далее усложняемая NoSQL утилита для задач ETL, по извлечению обработке и загрузке данных.
По умолчанию все данные там рассматриваются как JSON/JSON lines и сама утилита включает возможности преобразования плоских файлов в эти форматы.
Если найдете ошибки, пишите их в issues репозиториев.
Ссылки:
[1] https://github.com/apicrafter
[2] https://github.com/apicrafter/datacrafter-examples
[3] https://github.com/apicrafter/datacrafter
#opensource #datatools
Сейчас они используются для сборки нескольких дата-продуктов и появилась возможность выложить несколько новых примеров и актуализировать код открытых репозиториев.
В репозитории datacrafter-examples [2] появились 3 новых примера:
- itbenef - реестр ИТ компаний получателей налоговых субсидий
- itregistry - реестр аккредитованных ИТ компаний
- softreg - реестр отечественного ПО
Вместо того чтобы размещать сами наборы данных, публикую код с помощью которого они создаются. Потому что первоисточники акцента на данных не делают, данные обычно в Excel форматах или не них нет прямой ссылки. Ну и, конечно, никакие новые полезные данные на госпорталах с открытыми данными вроде data.gov.ru не появляются.
Они все используют в качестве источников данные с сайта Минцифры РФ и их информационных систем.
Для запуска достаточно установить datacrafter [3] и выполнить команду 'datacrafter run' в директориях с файлами проектов "datacrafter.yml"
Причём надо использовать последний код из репозитория поскольку в нем как раз исправлены ошибки обработки Excel файлов.
datacrafter - это пока упрощённая, а далее усложняемая NoSQL утилита для задач ETL, по извлечению обработке и загрузке данных.
По умолчанию все данные там рассматриваются как JSON/JSON lines и сама утилита включает возможности преобразования плоских файлов в эти форматы.
Если найдете ошибки, пишите их в issues репозиториев.
Ссылки:
[1] https://github.com/apicrafter
[2] https://github.com/apicrafter/datacrafter-examples
[3] https://github.com/apicrafter/datacrafter
#opensource #datatools
GitHub
APICrafter
APICrafter Data API project. APICrafter has 12 repositories available. Follow their code on GitHub.
July 7, 2022
Нынешние российские цензурные ограничения - это очень неприятное явление с плохими долгосрочными последствиями.
Многие включили самоцензуру и, кстати, тоже. Например, я почти перестал писать по теме госинфраструктуры и госдоменов, базу которых я продолжаю вести, но публиковать некоторые находки оттуда уже никак невозможно. Посыпятся обвинения в том что "помогаю хакерам" или, наоборот, "помогаю чиновникам, и мешаю хакерам".
Аналогично в отношении государственных информационных систем. Много можно знать, да не о многом теперь можно говорить.
#security #privacy #censorship
Многие включили самоцензуру и, кстати, тоже. Например, я почти перестал писать по теме госинфраструктуры и госдоменов, базу которых я продолжаю вести, но публиковать некоторые находки оттуда уже никак невозможно. Посыпятся обвинения в том что "помогаю хакерам" или, наоборот, "помогаю чиновникам, и мешаю хакерам".
Аналогично в отношении государственных информационных систем. Много можно знать, да не о многом теперь можно говорить.
#security #privacy #censorship
July 8, 2022
Forwarded from Рупор бумажной безопасности
image_2022-07-07_20-43-04.png
249.7 KB
В связи с жизненными обстоятельствами публикации в канале "Клуб любителей КИИ", блог "Рупор бумажной безопасности" и телеграм-канале прекращаются.
Спасибо всем моим читателям и подписчикам, особенно за комментарии и предложения.
Опубликованные материалы удалятся не будут. При их использовании в работе необходимо учитывать, что законодательство страны меняется и предложенные действия могут не соответствовать актуальным требованиям.
Здоровья вам и благополучия, берегите себя.
Спасибо всем моим читателям и подписчикам, особенно за комментарии и предложения.
Опубликованные материалы удалятся не будут. При их использовании в работе необходимо учитывать, что законодательство страны меняется и предложенные действия могут не соответствовать актуальным требованиям.
Здоровья вам и благополучия, берегите себя.
July 8, 2022
Познавательная статья в Wired [1] о том что системы предсказаний преступлений не работают так как этого ожидают, поскольку объекты их измерений, люди и территории, меняются, а системы обучают на данных прошлого. В результате отдельные территории могут отмечаться как рискованные, а отдельные люди как склонные к преступной жизни, даже если социальные условия уже изменились.
Ответов в статье нет, впрочем у меня тоже нет. Более развитые алгоритмы могут нарушать приватность настолько насколько мы найдем это запредельным. Прекрасно поданные миры отражённые в Черном зеркале или Мире дикого запада - это примеры ИИ собирающих данные о всех в непрерывном режиме. К чему сейчас нет никакой социальной готовности, хотя всех и пугает готовность технологическая.
Ссылки:
[1] https://www.wired.com/story/crime-prediction-racist-history/
#privacy #crime #crimeprediction
Ответов в статье нет, впрочем у меня тоже нет. Более развитые алгоритмы могут нарушать приватность настолько насколько мы найдем это запредельным. Прекрасно поданные миры отражённые в Черном зеркале или Мире дикого запада - это примеры ИИ собирающих данные о всех в непрерывном режиме. К чему сейчас нет никакой социальной готовности, хотя всех и пугает готовность технологическая.
Ссылки:
[1] https://www.wired.com/story/crime-prediction-racist-history/
#privacy #crime #crimeprediction
WIRED
Crime Prediction Keeps Society Stuck in the Past
So long as algorithms are trained on racist historical data and outdated values, there will be no opportunities for change.
July 8, 2022
Статья How China uses search engines to spread propaganda [1] и отчет Brookings Institution [2] о том как китайские власти манипулируют поисковой выдачей по теме Синцзяня и COVID-19.
Россию там тоже упоминают в контексте того что Google демонетизировал российские гос-СМИ.
Но важнее что авторы пишут о том что поисковые системы уже начали размечать контент от госСМИ Китая и не только и то что исследователи рекомендуют поисковым системам (технологическим кампаниями их создающим) поменять правила ранжирования и деприоритизировать "низкокачественный государственный контент".
Поэтому неприятная новость в том что "демократическая цензура" поисковых систем весьма вероятна и обсуждается․ Сейчас в контексте Китая, далее может и в контексте России.
Политический нейтралитет для big tech скоро станет уже абсолютно невозможен.
Ссылки:
[1] https://www.brookings.edu/techstream/how-china-uses-search-engines-to-spread-propaganda/
[2] https://www.brookings.edu/research/winning-the-web-how-beijing-exploits-search-results-to-shape-views-of-xinjiang-and-covid-19/
#search #censorship #china #russia #usa #microsoft #google
Россию там тоже упоминают в контексте того что Google демонетизировал российские гос-СМИ.
Но важнее что авторы пишут о том что поисковые системы уже начали размечать контент от госСМИ Китая и не только и то что исследователи рекомендуют поисковым системам (технологическим кампаниями их создающим) поменять правила ранжирования и деприоритизировать "низкокачественный государственный контент".
Поэтому неприятная новость в том что "демократическая цензура" поисковых систем весьма вероятна и обсуждается․ Сейчас в контексте Китая, далее может и в контексте России.
Политический нейтралитет для big tech скоро станет уже абсолютно невозможен.
Ссылки:
[1] https://www.brookings.edu/techstream/how-china-uses-search-engines-to-spread-propaganda/
[2] https://www.brookings.edu/research/winning-the-web-how-beijing-exploits-search-results-to-shape-views-of-xinjiang-and-covid-19/
#search #censorship #china #russia #usa #microsoft #google
Brookings
How China uses search engines to spread propaganda
Beijing has exploited search engine results to disseminate state-backed media that amplify the Chinese Communist Party’s propaganda. As we demonstrate in our recent report, users turning to search …
July 8, 2022
Я знаю много источников данных о России, внутри России, за пределами Росси и не только. Большая часть того что я знаю является госданными, но есть и альтернативные источники данных, негосударственные.
Сейчас многие официальные источники исчезают или "превращаются в тыквы" (теряют детализацию или оперативность). Я подозреваю что все соцопросы сейчас превратятся именно что в тыквы, они уже то не очень, а теперь будут ещё хуже.
Вопрос к читателям, есть ли альтернативные данные по тому что происходит с российской экономикой и обществом сейчас? В идеале, на гиперлокальном уровне, до городов, но региональный и страновой уровни тоже важно.
Например, есть ли источники данных для ежедневного мониторинга цен на потребительскую корзину? Или уровень ожиданий у предпринимателей? Причём неважно, источники этих данных бесплатные или платные, главное чтобы достоверные и не на госданных.
Обсудим в чате @begtinchat
#opendata #data #indicators
Сейчас многие официальные источники исчезают или "превращаются в тыквы" (теряют детализацию или оперативность). Я подозреваю что все соцопросы сейчас превратятся именно что в тыквы, они уже то не очень, а теперь будут ещё хуже.
Вопрос к читателям, есть ли альтернативные данные по тому что происходит с российской экономикой и обществом сейчас? В идеале, на гиперлокальном уровне, до городов, но региональный и страновой уровни тоже важно.
Например, есть ли источники данных для ежедневного мониторинга цен на потребительскую корзину? Или уровень ожиданий у предпринимателей? Причём неважно, источники этих данных бесплатные или платные, главное чтобы достоверные и не на госданных.
Обсудим в чате @begtinchat
#opendata #data #indicators
July 8, 2022