Хороший текст “Semantic-free” is the future of Business Intelligence [1] о семантически-свободных BI продуктах и то что headless BI - это тоже семантически-свободный BI. Расшифровывается это как то что все BI инструменты должны соблюдать общие стандарты в результате применения которых можно использовать комбинации BI инструментов. Звучит здорово, но вообще безвендорный мир или мир с ослаблением вендоров сложен без административного или мощного рыночного давления.

Текст же весьма полезный для понимания некоторых проблем с BI которые после прочтения текста кажутся очевидными.

Ссылки:
[1] https://towardsdatascience.com/semantic-free-is-the-future-of-business-intelligence-27aae1d11563

#bi #datastandards

Интересный тренд, инвестиции в стартапы по анализу и обработки защищённых и зашифрованных данных. Opaque [1] получли $22M в серии A на платформу для конфиденциальных вычислений.

Из корп сайта будет неовчевиден потенциал команды, а они, в то же время, создатели опенсорс платформы MC2 [2] для безопасной аналитики.

Ссылки:
[1] https://opaque.co
[2] https://github.com/mc2-project/mc2

#data #startups #security

В качестве небольшого, но регулярного отвлечения от основных тем моего канала.

Можно сказать что в последние месяцы и, на самом деле, уже несколько лет мои интересы сильно сместились в сторону технологий, продуктов на данных и создание стартапов в этой области.

Но, конечно, я помню чем я занимался многие годы - а это были темы государственного управления через данные, анализ госзакупок, публичные и непубличные расследования на данных и не только.

Что я хочу сказать так то что система госзаказа и субсидирования у нас в стране (в России) выстроена таким образом что арестовать можно практически любого участника, даже если он жуть как добросовестный. Это не баг, а фича выстроенной модели госуправления, именно процедурный контроль и токсичность государственных денег уже много лет - основа любых рисков в работе с государством. Автоматизированный и ручной анализ госконтрактов, субсидий и много чего другого даёт возможность проводить хоть массовые аресты. Было бы желание, а его, не странно ли, нет.

К примеру, арест ректора РАНХиГС Владимира Мау, по делу на 21 млн. рублей где присутствуют ещё Сергей Зуев и Марина Ракова. На секундочку бюджет РАНХиГС годовой около 21 млрд рублей. В 1000 раз больше, бюджеты которыми распоряжалась Ракова, тоже куда больше 21 млн. руб. Это вообще небольшие деньги, но, так почему же вокруг этого сыр бор?

Те кто знает как распределение госсредств в России устроено знают что за любыми крупными финансовыми потоками стоят крупные интересанты. Строительные компании, системные интеграторы, иные поставщики, а за ними их реальные бенефициары на привлечение к ответственности которых у следователей нет команды разрешения. Многих арестовывают за незначительные контракты не потому что нельзя найти что-то другое, а потому что в этом случае есть гарантия что чьи-то интересы затронуты не будут.

И то что совершенно несправедливо под арестом держат Сергея Зуева, Марину Ракову, многих других и, теперь, ещё и под домашним арестом держат Владимира Мау, не говорит о их виновности. Говорит лишь о неадекватности предпринимаемых мер предписанным преступлениям. Впрочем, об этом уже много писали СМИ, которые теперь признали инагентами.

Всё это важно для понимания текущей институциональной среды. Это то что не могут исправить меры правительства, разбрасывание денег с вертолёта и тд., в том числе в ИТ отрасли.

Потому что, я напомню, с государственными деньгами есть проблема. За их использование можно привлечь ответственным любого кто являлся их получателем. Когда закончится период экстремальной перестройки экономики и сменится правительство, первое что будут делать правоохранители - это смотреть кого можно взять в разработку.

Вокруг ИИ помощника по написанию кода Github Copilot разгораются нешуточные баталии [1], НКО Software Freedom Conservancy призывают всех разработчиков покинуть Github [2].

Причём корень проблемы в том что открытый код не делает ограничений на его использование автоматизированными системами, а ко всему ещё и при разработке Copilot не учли все нюансы повторного использования кода и смешения лицензий в итоге. Эту проблему частично пытается решить Amazon с похожим продуктом CodeWhisperer [3], может быть комбинация факторов конкурирующего продукта и волнений разработчиков повлияет на Copilot и продукт будет серьёзно обновлён.

А я на фоне Copilot и тому подобных продуктов не могу не выразить личное мнение что возможна ситуация когда написание простого кода не потребует полноценного интеллекта и следующие шаги в индустрии будут уже не в создании умных помощников, а в полноценных алгоритмах со разработчиках. Уже есть эксперименты продуктов умеющих делать продукты в no-code и low-code системах из текстового или голосового описания.

Вопрос, когда появятся умные оптимизаторы кода способные переписывать его существенные части и находить существенные ошибки и исправлять их?

А самое главное как будут меняться профессиональные и общественные отношения в связи с этими изменениями. Например, появятся ли лицензии кода запрещающие любое его использование ИИ и автоматизированными системами? Но и этого может оказаться недостаточно.

Ссылки:
[1] https://techcrunch.com/2022/07/01/open-source-developers-urged-to-ditch-github-following-copilot-launch/
[2] https://sfconservancy.org/blog/2022/jun/30/give-up-github-launch/
[3] https://techcrunch.com/2022/06/23/amazon-launches-codewhisperer-its-ai-pair-programming-tool/

#opensource

В рубрике полезных инструментов работы с данными CSVFiddle [1] сервис по разбору CSV файлов из проекта DucksDb. Он построен на базе DucksDB-Wasm [2] для аналитики прямо в браузере и использует функцию read_csv_auto [3] полезную фичу DucksDb по разбору CSV файлов практически любого типа. Что особенно актуально для разбора CSV файлов экспортированных из Excel когда до колонок с данными есть всякие другие записи. Довольно частая ситуация.

CSVFiddle умеет разбирать такие данные и позволяет прямо в браузере работать с ними с помощью SQL запросов.

Я, кстати, кажется ничего не писал про DuckDB [4], а это такая весьма интересная OLAP СУБД как замена SQLite для аналитической работы. Задач для применения масса, а ещё умеет импортировать Parquet файлы.

Делает его команда исследователей из Centrum Wiskunde & Informatica в Амстердаме, год назад они создали DuckDb Labs [5], коммерческую компанию. Меня удивляет что они до сих пор не привлекли никакого венчурного финансирования, впрочем, может ещё привлекут.

Ссылки:
[1] https://csvfiddle.io
[2] https://duckdb.org/2021/10/29/duckdb-wasm.html
[3] https://duckdb.org/docs/data/csv#read_csv_auto-function
[4] https://duckdb.org/
[5] https://duckdblabs.com/news/spin-off-company-DuckDB-Labs/

#opensource #datatools #csv #dbms

Как многие наверняка уже слышали и читали в США Верховный суд отменил решение запрещающие отдельным штатам вводить запреты абортов на поздней стадии. Это обычно упоминают в СМИ как "Верховный суд запретил аборты", но суть не меняется, во многих штатах США уже сейчас такие аборты оказались под запретом.

И здесь немедленно возник вопрос приватности тех кто ходит в клиники абортов, уже известно что Google начал скрывать информацию о посещении клиник пользователями устройств с Андроид [1].

Но всё не ограничивается только сервисами Google. Очень многие женщины в США пользуются мобильными приложениями для отслеживания менструальных циклов и беременности и, внимание, оказалось что данные в этих приложениях не подпадают под Health Insurance Portability and Accountability Act (HIPAA) [2] закон о защите данных о здоровье граждан.

Сейчас многие эти приложения удаляют опасаясь что информация из них может быть истребована полицией или судьями.

У этой истории есть много отражений о которых стоит подумать.
1. Технологические компании живут по критериям собственного понимания морали, а не помощи полиции/судьям. Решение Google - это ровно о том чтобы избежать возможности помощи правоохранителям которые могли бы заказать такие данные.
2. Приватность приложений (сбор данных) сейчас во многом определяется магазинами приложений. К вопросу о российском магазине приложений который вот-вот должен запуститься. А что там с приватностью? А что будет если российские законодатели пойдут, также, по пути запрета абортов?

Ссылки:
[1] https://www.washingtonpost.com/technology/2022/05/04/abortion-digital-privacy/
[2] https://www.washingtonpost.com/technology/2022/05/07/period-tracking-privacy/

#privacy #mobileapps

Для тех кто интересуется пониманием содержания данных, data understanding, держу в курсе проекта metacrafter [1]. В него добавилось ещё несколько десятков правил идентификации типов данных. Теперь там присутствуют многие типы данных из анлоязычных датасетов связанных с датой и временем, геоданными итд. Всего 109 правил для более чем 60 типов данных.

А также обновился реестр семантических типов данных metacrafter-registry [2], туда были добавлены типы данных хэшей используемых при анализе ПО и других задачах таких как telhash, imphash, rich pe header и ещё многое другое. А также актуализирована связь типов данных со свойствами Wikidata.

Я напомню что metacrafter - это օpen-source продукт для анализа СУБД и наборов данных и разметки смысла данных в отдельных полях/колонках. С его помощью можно, например, выявлять персональные данные. В продукте используются правила написанные регулярными выражениями и функциями на Python, но так чтобы без существенной потери производительности.

Наша команда, также, разрабатывает правила за пределами open source продукта, позволяющие идентифицировать отраслевые и иные специфичные данные. Например, это ещё более 100 правил используемых для анализа данных на русском и французском языках.

Ссылки:
[1] https://github.com/apicrafter/metacrafter
[2] https://github.com/apicrafter/metacrafter-registry

#opensource #datatools #data

На всякий случай напомню что в телеграм канале @ministryofpoems вы всегда можете найти мою едкую поэззию и прозу. Веду я его как хобби, выражения там не экономлю, плохими словами ругаюсь редко, но прицельно.

Выступающий:
Здравствуйте, спасибо за возможность выступить. Я представляю не раз тут упоминавшуюся госкорпорацию Росстрах и сегодня расскажу о том чем мы на самом деле занимаемся, не то из-за чего нас боятся (смех в зале).

Но вначале немного интерактива (раздаётся журчание). Что такое страх? Страх - он как вода. Без него общество не может выжить, когда его слишком много, то в нем как в воде можно захлебнуться.

Росстрах сегодня — это интегрированный холдинг из 10 государственных информационных агентств, 5 социологических служб, 3х исследовательских институтов и пока один кинопроизводственный концерн.
Можно сказать Росстрах — это корпорация гармоничного страха.
Расскажу больше о наших проектах
Система "Гераклит"
С момента принятия 1931-ФЗ по квотированию страхов для СМИ головной болью редакторов была проверка, которую необходимо было проходить для каждой публикации. Не секрет что у Администрации хтонического ужаса и Министерства лёгкого попугивания просто не хватало людей и проверки затягивались на часы.

Система Гераклит - это универсальное решение с искусственным интеллектом. Система не только определяет степень "пугательности" текста, но и определяет тип побуждаемого им страха, определяет аудиторию этого страха и сопоставляет его с квотой выделенному данному СМИ.

Некоторые показатели. Скорость обработки текстов не более 5 минут, только 1,2% текстов передаются на ручную проверку операторам, в день проверяет до 100 тысяч публикаций.

Из зала: Можно вопрос по ходу?
Выступающий: Я хотел вопросы на конец отложить, но давайте по
Из зала: А что делать СМИ которые не превышали квоту и вообще не имели "страховых" публикаций? Вот у нас виртуальный фотоканал про котиков, как нам быть?
Выступающий: Вот тут я хочу напомнить про постановление Правительства 3164-ПП где установлены обязательные диапазоны. Если Вы малый медиаканал до 10 тысяч подписчиков, то Вам надо зарегистрироваться в спец реестре недо-сми
Из зала: А если больше 10 тысяч?
Выступающий: Тогда увы, надо менять формат. Но тут лучше ответят коллеги из Министерства лёгкого попугивания.
Выступающий: Если позволите, я продолжу. Уникальность системы не только в том что она способна выявлять превышения, но и она же может помочь когда доля обязательного страха в медиа недостаточна. Вам достаточно направить текст специальному AI помощнику и он добавит в него немного нужного страха.
Вот пример, на экране. Текст про пользу выращивания васильков в домашних условиях, без изменений. А вот текст который AI помощник создал на базе предыдущего. Обратите внимание на то как аккуратно расставлены акценты на важности участия в государственной программе всеобщего донорства. Этот страх проходит у нас по классификации - страх быть не как все, страх публичного порицания.
Из зала: Но, ведь смысл текста меняется!
Выступающий: Только в нюансах…

Пост навеян тематикой Министерства поэм от Ивана Бегтина:
Министерство аккредитации УЦ -
Ведомство трансформации ЭЦП
Захотело 63-тий закон поправить
И ошибки явные исправить.

Начали с темы сокращения,
Чтобы не было порабощения.
Сократили УЦ на порядок
Думали, что навели порядок

Внесли норму об МЧД,
Не понимая, что это и где.
Создали классификатор полномочий
Только эффективность его не очень.

В рубрике стартапы на данных и про данные
- LightBits получили $42M инвестиций [2] на их корпоративный продукт хранилища данных для виртуальных машин на ими же придуманном стандарте NVMe/TCP [3]. Вообще в этом рынке огромная и ожесточенная конкуренция, а значит и продукт заслуживает внимания раз создателям удаётся привлекать на него инвестиции.

- ZingData [4] подняли посевной раунд на $2.4M [5], они создают mobile-first BI инструмент. Лично я пока не чувствую в этом перспективной темы, но может они какую-то важную нишу найдут.

- SnowPlow [6] привлекли ещё $40M [7] инвестиций на свой продукт по потребительской аналитике. Начинали они с веб-аналитики, а теперь это весьма продвинутая дата-платформа.

Ссылки:
[1] https://www.lightbitslabs.com
[2] https://www.lightbitslabs.com/press-releases/lightbits-raised-42-million-in-growth-capital/
[3] https://www.lightbitslabs.com/nvme-over-tcp/
[4] https://getzingdata.com/blog
[5] https://getzingdata.com/blog/zing_data_seed_raise/
[6] https://snowplowanalytics.com
[7] https://snowplowanalytics.com/blog/2022/06/30/snowplow-announces-series-b/

#startups #data

В Евросоюзе опубликовали черновик закона (регуляторного документа) по раскрытию особо ценных наборов данных для бизнеса и исследователей [1].

Опубликовали черновик ещё в конце мая и до 21 июня собирали обратную связь, которую, тоже будет полезно почитать чтобы знать позицию организаций в ЕС [2].

Также стоит обратить внимание на то какие данные определяются сейчас как особо ценные:
1) geospatial;
2) earth observation and environment;
3) meteorological;
4) statistics;
5) companies and company ownership;
6) mobility.

В обратной связи многие пишут что список неполон и нужны данные относящиеся к качеству жизни, например, статистика преступности.

А вот раскрытие данных о компаниях и их владельцах может повлиять на рынок проверки контрагентов и усилить конкуренцию.

Ссылки:
[1] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12111-Open-data-availability-of-public-datasets_en
[2] https://ec.europa.eu/info/law/better-regulation/have-your-say/initiatives/12111-Open-data-availability-of-public-datasets/feedback_en?p_id=30829659

#opendata #eu #regulation #laws

На один из наших проектов связанных с работой с большими открытыми данными есть потребность в бэкенд разработчике на Python, работа в России, в Москве.

Работа не для джунов, нужен опыт с чистым Python, Postgres и MongoDB. Проект интересный и сложный. Если готовы работать сами или можете порекомендовать, то сделать это можно вот тут https://hh.ru/vacancy/66696558

#vacancies #projects

Полезное чтение про данные и госполитику в этой области
- Understanding Criminal Justice Innovations [1] за авторством Meghan J. Ryan о том как применение технологий меняет подходы к борьбе с преступностью и о "темной стороне" их применения. Ничего радикального нового, но хорошо систематизировано. В основном опыт США.

- Narrowing the data gap: World Bank and Microsoft commit to unlocking better development outcomes for persons with disabilities [2] в блоге Microsoft о их сотрудничестве с Мировым Банком для помощи людям с ограниченными возможностями в развивающихся странах. Про создание "disability data hub". Интересно почему тут нет ещё и UNDP, но может быть появятся на какой-то следующей стадии.

- Better Data Sharing for Benefits Delivery [3] о том как необходимо развивать практику обмена данными для лучшей помощи незащищённым социальным группам. В контексте регулирования в США и помощи пострадавшим от COVID-19

- We need smarter cities, not “smart cities” [4] о том что нужны более-умные города, а не умные города. Статья описывает разницу между человекоцентричным и пользовательско- / клиентско- центричным технократическим подходом. Статья рекламирует программу UNDP UrbanShift [5] в которой участвует много городов Глобального Юга.

Ссылки:
[1] https://papers.ssrn.com/sol3/papers.cfm?abstract_id=4136813
[2] https://blogs.microsoft.com/blog/2022/06/15/narrowing-the-data-gap-world-bank-and-microsoft-commit-to-unlocking-better-development-outcomes-for-persons-with-disabilities/
[3] https://www.newamerica.org/oti/briefs/better-data-sharing-for-benefits-delivery/
[4] https://www.technologyreview.com/2022/06/27/1053896/we-need-smarter-cities/
[5] https://www.shiftcities.org/

#data #readings

Я, честно говоря, уже перестаю удивляться во что превратился реестр ИТ компаний. Теперь туда внесли ещё и Альфа-Банк [1].

Да внесите туда уже весь бизнес, ну право слово. В каждой компании есть хотя бы один "ИТшник". Хотя бы выглядеть будет не так странно, как внесение туда всех кого только можно.

Ссылки:
[1] https://tass.ru/ekonomika/15119991

#itmarket

Тут с 1-го июля pravo.gov.ru стал единственным официальным информационно-правовым ресурсом, потому что вступил в силу указ Пр-та РФ от 03.03.2022 № 90 [1].

Ключевое слово тут единственным поскольку ранее федеральные законы публиковались, также, в Российской Газете, видимо, РГ более не будет получать на это государственную субсидию и на сайте РГ более не будет обязательной публикации федеральных законов.

Другое изменение - это появление раздела "Тексты правовых актов с внесёнными изменениями" [2]. В остальном, на самом деле, в этой новости не так много хорошего потому что ФСО, управляющее pravo.gov.ru, это силовое, а не правовое ведомство, с высокой степенью закрытости даже в части их публичных полномочий.

Я напомню несколько важных фактов:
1. Наиболее актуальные тексты официально опубликованных документов на publication.pravo.gov.ru необосновано публикуются в виде сканов. У этого нет никаких обоснований, кроме нежелания публиковать их удобным образом для пользователей.
2. На pravo.gov.ru отсутствуют открытые данные. Когда-то, года 4 назад, они ещё были. Неудобные для работы, но хоть как-то. Потом все наборы данных убрали и оставили только API с существенными ограничениями на поиск и число запросов.
3. Мало кто знает, но власти субъектов федерации не обязаны публиковать свои НПА на pravo.gov.ru, они публикуют их только если заключили соглашение с ФСО России (вернее с их подведом). Например, НПА органов власти Москвы в publication.pravo.gov.ru отсутствуют [3]. Я писал об этом в марте 2021 года [4]

Ссылки:
[1] https://publication.pravo.gov.ru/Document/View/0001202203030006?index=0&rangeSize=1
[2] https://actual.pravo.gov.ru/
[3] https://publication.pravo.gov.ru/SignatoryAuthority/region77
[4] https://t.iss.one/begtin/2656

#opendata #laws #lawmaking

Тем временем в Казахстане, в отличие от России, продолжает развиваться повестка открытости гос-ва и сам факт открытости диалога власти - это хороший признак такого развития.

Но есть и то за кто можно коллег из Казахстана покритиковать. Портал открытых данных РК data.egov.kz хотя и называется порталом открытых данных, но по факту таким не является. Помимо того что нет чётко сформулированных условий использования для каждого набора данных, таких как Creative Commons или ODBl, важно то что данные невозможно скачать без регистрации через государственный портал требующий местного кода ИИН. Фактически данные доступны только жителям республики и только после однозначной идентификации. Это противоречит принципам доступности открытых данных.

#opendata #kazakhstan

🔹 2022 жылғы 7 шілдеде сағат 12:00-де Ақпаратқа қол жеткізу мәселелері жөніндегі комиссияның отырысы өтеді.

Отырыста Шымкент қаласы, Түркістан, Жамбыл және Павлодар облыстары әкімдіктері қызметінің ашықтығын қамтамасыз етудің кейбір мәселелерін, «Мемлекеттік органның ашықтығы» бағыты бойынша жүргізілген операциялық бағалаудың қорытындыларын, мемлекеттік органдар деректерінің өзектілігі мәселесін қарастыру жоспарлануда.

Отырыстың тікелей көрсетілімі https://www.facebook.com/aqparatqogam бойынша өтеді.

🔸 7 июля 2022 года в 12.00 часов состоится заседание Комиссии по вопросам доступа к информации.

На заседании планируется рассмотреть вопросы обеспечения открытости деятельности акиматов г. Шымкент, Туркестанской, Жамбылской и Павлодарской областей, итоги операционной оценки по направлению «Открытость государственного органа», актуальности данных государственных органов.

Трансляция заседания пройдёт по ссылке: https://www.facebook.com/aqparatqogam

@aqparatqogam