Ivan Begtin
7.99K subscribers
1.86K photos
3 videos
101 files
4.57K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Одна из наиболее актуальных тем в современной цифровой криминалистике - это облачная криминалистика. Она заключается в сборе всей информации о человеке из облачных хранилищ Google, iCloud, Dropbox, OneDrive и многих других. В первую очередь, конечно, облака компаний Google и Apple.

При этом организации проводящие подобные цифровые расследования далеко не всегда могут получить доступ к данным непосредственно от владельца облака и более распространённой процедурой является извлечение данных из облачных аккаунтов используя реквизиты пользователя сохранённые в мобильном телефоне или компьютере.

Так, например, Elcomsoft cloud eXplorer [1] умеет извлекать практически всё что возможно из сервисов Google. Обещают что умеют собирать данных больше чем то что Google отдаёт в Takeout [2]. Другой продукт Oxygen Forensic Cloud Extractor [3] умеет собирать из более чем 30 разных онлайн сервисов, не так детально, но гораздо шире. Из облака умеют собирать данные Magnet Axiom [4] и многие другие продукты.

Облачная криминалистика имеет прямое отношение к мобильной криминалистике которая существует уже не один десяток лет. Но, в последние годы, с развитием облаков и облачных сервисов она стала гораздо более востребованной и актуальной. На основе данных из устройств и из облака не просто можно получить дополнительные доказательства виновности или невиновности, можно также выявить подозрительное поведение или попытки сокрытия информации.

Другая область которую отчасти можно отнести к облачной криминалистике - это криминалистика интернета вещей. Например, голосовые помощники Amazon Alexa установлены уже более чем в 25% домохозяйств в США. При расследовании ряда преступлений полиция в США пыталась запросить у Amazon'а данные голосовых помощников и получали отказ. Вот уже несколько лет специалисты по цифровой криминалистике изучают как извлекать данные из облака Amazon с помощью недокументированного API и достигают успеха [5] [6]. Но бывают и случаи когда Amazon передаёт данные, в случае судебного запроса [7].

Всё вместе, инструменты сбора облачных данных, ранее существующая компьютерная криминалистика и устройства интернета вещей не только дают больше возможности официальным, государственным криминалистам, но и корпоративным службам безопасности, пограничным службам и многим иным получающим возможность получать дополнительные данные о пользователях.

Ссылки:
[1] https://www.elcomsoft.com/ecx.html
[2] https://takeout.google.com/settings/takeout
[3] https://www.oxygen-forensic.com/en/products/oxygen-forensic-detective/detective/cloud-data-extraction
[4] https://www.magnetforensics.com/products/magnet-axiom/
[5] https://www.sans.org/cyber-security-summit/archives/file/summit-archive-1498230402.pdf
[6] https://www.dfrws.org/sites/default/files/session-files/pres_digital_forensic_approaches_for_amazon_alexa_ecosystem.pdf
[7] https://www.theverge.com/2017/1/6/14189384/amazon-echo-murder-evidence-surveillance-data

#data #forensics #privacy #clouds #iot
Свежее исследование Forrester Wave со сравнением 12 облачных провайдеров управления данными: Aim, Alation, Ataccama, Collibra, Congruity360, data.world, erwin, Infogix, OneTrust, SAP, Solix, Syniti [1]

В лидерах они упоминают Colibra, Alation, Infogix, Atacamma.

И ещё многих других в "догоняющих". Большая часть этих продуктов в России не представлены потому что все потенциальные их клиенты под прессингом "импортозамещения", но обзор весьма полезен для улавливания трендов в data governance.


Ссылки:
[1] https://reprints2.forrester.com/#/assets/2/1946/RES161533/report

#datacatalogs #clouds
Написал в сегодняшнюю рассылку [1] про платформу Гостех, где постарался изложить свою позицию насколько можно подробно.

А тут напишу что мой прогноз в том что платформа Гостех имеет следующие сценарии развития:
- Оптимистичный (для платформы): стать востребованным продуктом, на платформу начнут переносить существующие ФГИСы, а Сбербанк/ФКУ Гостех станут естественной монополией в этой области.

- Реалистичный: платформу будут использовать для создания новых ФГИС и расширения интеграционного контура с Госуслугами и ещё рядом ФГИС под прямым контролем Минцифры и нескольких ФОИВов и иных госструктур.

- Пессимистичный: появятся систематизированные требования для гособлаков, появится 2-3 платформы близких по масштабу к текущему Гостеху, скорее всего в отраслевом разрезе. Например, единая облачная платформа ВПК или единая облачная платформа транспортной отрасли и так далее, с выстраиванием отраслевой специфики.

Всё это сценарии развития Гостеха с точки зрения его создателей, каковы сценарии его развития для пользователей и разработчиков которые будут с ним работать - я предлагаю подумать всем вместе.

Ссылки:
[1] https://begtin.substack.com/p/17-
#government #tech #technology #clouds
Свежая новость, с 13 апреля Яндекс.Облако подняли цены, в среднем на +60%

Почему они вынуждены это делать, в отдельном их посте [1], в основном из-за повышения стоимости железа.

Это о том что реальная инфляция - это то как растут расходы на то что ты используешь/потребляешь.

И это ещё без учёта того что скоро в стране может быть дефицит серверов и тогда стоимость облачных сервисов и серверов будет ещё выше.

Я бы сказал, конечно, что не надо ли государству отказаться от всех этих законов Яровой, проектов вроде Безопасный город (под них и нужны куча железа), но что-то мне подсказывает что не откажутся. Но это тема для отдельного рассуждения.

Ссылки:
[1] https://cloud.yandex.ru/blog/posts/2022/03/pricing-update-march-2022

#price #clouds #inflation #economics
У Ben Stancil очередное замечательное рассуждение Microsoft, Google, and the original purple people [1] о том как устроены экосистемы продуктов по работе с данными и, что мне отметилось, он разбирает экосистему Microsoft и Google и отмечает что большое преимущество Microsoft в хорошей упаковке и совместной работе продуктов несмотря на то что по отдельности их продукты хуже некоторых на рынке, но интеграция между ними реально хороша.

У Google такого нет и слишком часто каждый их продукт это вещь в себе, тяжелая в интеграции даже с другими Google продуктами.

Хороший текст, мне нравятся рассуждения Бена, для основателя стартапа он на редкость вдумчив и пишет без маркетинговых лозунгов, но так что вчитываешься.

Его рассуждения натолкнули и меня про рассуждения про российские облачные продукты.

И тут у меня есть тезис - их не существует. Не существует не в том смысле что их нет на рынке, вроде как есть там что-то у VK и даже Яндекс.Облако, как бы существует, а кто-то ещё вспомнит про Selectel и других, но, есть существенная проблема - ни Яндекс, ни VK существенной ставки на их продукты не делают. А все остальные слегка в незрелом состоянии. По идее они все должны были с начала февраля запускать программу миграции с зарубежных сервисов и вложится в маркетинг, предлагать бесплатные 2-3 месяца тем кто переезжает, предлагать услуги по миграции, потому что, казалось бы, вот такая гигантская рыночная возможность. Ну как её упустить?

Но ни Яндекс, ни VK, не рассматривают облака и сетевую инфраструктуру как инструмент заработка или рыночного доминирования. Как это делают Amazon, Google, Microsoft и ещё ряд международных big tech компаний.

Инфраструктуру обработки данных всё ещё удобнее делать не в России, а в международных облачных провайдерах. Если есть валюта, и возможность, конечно. Тем кто может это делать.

Кстати знает ли кто-либо в России какую-либо крупную инфраструктурную компанию похожую на Яндекс или VK, но с прицелом на облачную инфраструктуру или я прав утверждая что таких нет?


Ссылки:
[1] https://benn.substack.com/p/the-original-purple-people

#datainfrstructure #clouds #data #readings
Для тех кто следит за тем как развивается рынок данных в мире.

Полезные материалы с конференции Databricks AI, часть 1 и часть 2․ А также оттуда же разбор про Spark Connect.

Всё это весьма далеко, конечно, от российской реальности, но полезно всем тем кто продолжает работать с глобальными облачными провайдерами сервисов работы с данными.

#dataengineering #data #clouds
В рубрике интересных стартапов в рынке данных компания Dgraph [1] создатели одноимённой графовой NoSQL системы управления базами данных с открытым кодом. Буквально только что они подняли раунд инвестиций на $6M [2] под их продукт Dgraph Cloud.

Фаундеры обещают обновить команду проекта, уже наняли нового CTO [3] и новый релиз этим летом.

В основе Dgraph собственной движок СУБД с родной поддержкой GraphQL и языком запросов DQL (Dgraph query language) на основе всё того же GraphQL и расширяющий его возможности.

В сравнениях они приводят другие NoSQL продукты, например, Neo4J и MongoDB [4], в свою пользу, конечно.

Я бы сказал так, GraphQL - это интересная концепция, язык запросов и альтернатива SQL, но "серебряной пулей" не является до сих пор.

Из достоинств Dgraph - это зрелость как продукта с открытым кодом и, на удивление, хорошо и подробно написанная документация.

Сама бизнес модель уже привычная. Берем зрелый продукт с открытым кодом и делаем облачный сервис. Причем они продают не собственное облако, а обслуживание dedicated servers на облаках других провайдеров.

Ссылки:
[1] https://dgraph.io
[2] https://dgraph.io/blog/post/funding-20220720/
[3] https://discuss.dgraph.io/t/new-funding-announcement/17377
[4] https://dgraph.io/comparison/

#opensource #clouds #nosql #dbms #data #datatools
Похоже Google делают ключевую ставку на поглощённый ими продукт Looker и переименовывают Google Data Studio в Looker Studio [1] и планируют развивать этот бренд и направление․

Это стратегия на явное усиление их продуктов по работе с данными, в первую очередь, продукты для BI.

Looker был куплен Google ещё 2.5 года назад [2] и уже сейчас вокруг него выстроена экосистема интегрированных продуктов и большого числа расширений где 20 источников данных предоставляются внутри Looker Studio, а 660 являются партнерскими источниками и коннекторами.

У всего этого, конечно, сильнейшая сторона в доступе к маркетинговым данным. Всё то что является частью "капитализма слежки".

В этом смысле Looker идеально соответствует бизнес модели Google о том что данные входят-данные не выходят.

Поэтому то что на Looker делается ставка, лично меня совершенно не удивляет.

Ссылки:
[1] https://www.youtube.com/watch?v=Bc_hcLVyFJI
[2] https://techcrunch.com/2020/02/13/google-closes-2-6b-looker-acquisition/

#datatools #clouds #google