Ivan Begtin
7.99K subscribers
1.87K photos
3 videos
101 files
4.58K links
I write about Open Data, Data Engineering, Government, Privacy, Digital Preservation and other gov related and tech stuff.

Founder of Dateno https://dateno.io

Telegram @ibegtin
Facebook - https://facebook.com/ibegtin
Secure contacts [email protected]
Download Telegram
Apple купили компанию Lattice Data [1] специализирующуюся на "неструктурированных темных данных" (unstructured dark data). О компании очень мало известно, только то что они привлекли 20 миллионов долларов США инвестиций от GV, Madrona и InQTel

Компания была создана командой Christopher Ré, Michael Cafarella, Raphael Hoffmann и Feng Niu ранее создавшими DeepDrive [2] "a system to extract value from dark data".

Если "темные данные" - это развитие Deep Dive, выявление отношений и сущностей из неструктуированных текстов, то уже становится интересно какие же новые продукты готовил Apple. Бьюсь об заклад что это будет как-либо связано еще и с распознаванием речи.

Ссылки:
[1] https://techcrunch.com/2017/05/13/apple-acquires-ai-company-lattice-data-a-specialist-in-unstructured-dark-data/
[2] https://deepdive.stanford.edu/

#darkdata #deepdrive #apple
Apple обновили раздел на сайте их отчёта по прозрачности и теперь предоставляют информацию о том как правительства стран запрашивают у них информацию и о чём именно [1].

Например, с января по июнь 2018 года Российские власти сделали 710 запросов из которых:
- 702 запроса с информацией об устройствах
- 5 запросов о финансовых идентификаторах (кредитные карты, кошельки и тд)
- 3 запроса связанных с аккаунтами, Apple ID и email адресами.
Подробнее на странице отчёта по стране [2]

Что характерно по другим странам - число официальных запросов никак не коррелирует с численностью граждан. Есть ли корреляция с числом айфонов у граждан стран, нужно собирать данные по их использованию.

Напомню что transparency report давно уже стало механизмом общественной ответственности цифровых/электронных/онлайн/IT сервисных компаний. Отчёты по прозрачности есть у Google, Microsoft, Automattic, Oath, Twitter, Proton A.G., Wikimedia, LinkedIn, DropBox, Reddit, Cloudflare, Janssen, Snap, Slack, Pinterest, Digital Ocean, SpiderOak, Amazon, T-Mobile и многие другие.

AccessNow в 2016 году делали обзор компаний публикующих отчёты о прозрачности [3], с тех пор их стало больше и отчёты подробнее.

Ссылки:
[1] https://www.apple.com/legal/transparency/
[2] https://www.apple.com/legal/transparency/ru.html
[3] https://www.accessnow.org/transparency-reporting-index/

#transparency #openness #apple
Apple опубликовали их мониторинг самоизоляции в виде mobility reports [1] только по всему миру.
На что надо обратить внимание:
1. У Apple искажённая аудитория, в первую очередь из-за стоимости устройств
2. Apple куда более data-friendly и отдают данные в CSV форматах. В отличие от Яндекса (не отдают данные) и Google (отдают в PDF'ах).


Ссылки:
[1] https://www.apple.com/covid19/mobility

#opendata #apple #covid19
Тот момент когда международные корпорации веду себя значительно более ответственно чем национальные правительства некоторых стран. Обе компании, Google и Apple пообещали отключить функции отслеживания контактов, которые они разработали, сразу после того как пандемия будет взята под контроль [1]. Они создали раздел вопросов и ответов на сайте инициативы. [2]


Ссылки:
[1] https://www.theverge.com/2020/4/24/21234457/apple-google-coronavirus-contact-tracing-tracker-exposure-notification-shut-down
[2] https://covid19-static.cdn-apple.com/applications/covid19/current/static/contact-tracing/pdf/ExposureNotification-FAQv1.0.pdf

#privacy #google #apple
Тем временем выяснилось что Apple использует проверку ключей разработчиков для отслеживания информации о том какие приложения есть на устройствах пользователей с помощью протокола ocsp [1] используемого для верификации сертификатов.
Может это и не отслеживание каждого запуска каждого приложения, но вполне себе слежка за тем что они установлены и используются.

А также, это важно отметить, поскольку все запросы в протоколе ocsp выполняются через http, то это отслеживание может осуществлять не только Apple, но и Ваш домашний провайдер, Ваш работодатель и Ваш дружелюбный сосед человек-паук хакер из соседнего подъезда прослушивающий Вашу сеть.

Если сервис отслеживания ещё не появился в системах мониторинга трафика, то почти наверняка скоро появится.

Ссылки:
[1] https://blog.jacopo.io/en/post/apple-ocsp/

#privacy #security #apple
Странно что к российским выборам никто из политиков не предложил штрафовать за замедление старых устройств вендорами. Как например это делает Apple, за что и были оштрафованы во Франции и во Франции перестали это делать. Теперь выходят публикации о том что если переключить старый iPhone 7 на регион Франция, то он работает быстрее [1].

Ссылки:
[1] https://www.gizchina.com/2021/08/23/old-iphones-become-faster-if-you-change-the-region-to-france/

#tech #apple #globaltech
Полезное чтение про данные и не только
- GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [1] статья о языковой модели GLaM от Google. 1.2 триллиона параметров, в 7 раз больше чем GPT-3, потребовало 456 мегават в час для расчёта. внутри несколько экспертных моделей. В открытом доступе, вроде бы, пока ещё её нет.

- STEGO [2] новый алгоритм умеющий распознавать изображения без предварительной разметки человеком. Звучит просто, а в реальности это очень важный шаг в развитии компьютерного зрения. Близок час когда изображения размеченные компьютером будут использовать для тестирования людей, а не наоборот

- How AltStore is building a haven for forbidden iPhone apps [3] про AltStore, альтернативу Apple Store для тех приложений которые оттуда выгнали. В статье рассуждается о том что Apple будет сложно убрать функции позволяющие AltStore существовать и рассказывается как AltStore обходит ограничения необходимости подписывать приложения. Но приложениям компаний под санкциями это врядли поможет.

- The 2022 state of [software] engineering time [4] исследование того на что тратят время программисты. Про открытый код, на что уходит время при разработке, про выбор между офисом и удалёнкой и многое другое.

Ссылки:
[1] https://arxiv.org/abs/2112.06905
[2] https://news.mit.edu/2022/new-unsupervised-computer-vision-algorithm-stego-0421
[3] https://www.fastcompany.com/90749170/altstore-riley-testut-iphone-sideloading-app-store
[4] https://retool.com/reports/state-of-engineering-time-2022/

#data #readings #engineering #apple #ai
Google решили пристыдить Apple создав специальный сайт Get the message [1] для кампании по внедрению протокола/стандарта RCS [2] для передачи текстовых сообщений.

RCS - это, действительно, стандарт и, действительно, Apple его не поддерживает, только тут важно помнить что RCS в отличие от iMessage не поддерживает опции end-to-end шифрования (шифрования точка-точка) [3] и подвержено "законному перехвату". В Google, активно промоутирующих RCS, не могут этого не знать. Поэтому открытые стандарты - это хорошо, но открытые небезопасные стандарты по умолчанию - это ничего хорошего.

Впрочем и закрытость экосистемы Apple - это тоже ничего хорошего ни для кого кроме самой компании, но как-то не хочется выбирать между проприетарной безопасностью и непропроприетарной госслежкой.


Ссылки:
[1] https://www.android.com/get-the-message/
[2] https://www.gsma.com/futurenetworks/rcs/
[3] https://indianexpress.com/article/technology/social/google-new-chat-service-wont-be-secure-like-imessage-and-whatsapp-amnesty-international-5147050/

#standards #google #apple #messaging #rcs #privacy
О том что Apple удалили из магазина приложений все приложения связанные с холдингом VK, это все, наверняка, уже прочитали. Вроде как ещё не удалили приложение Одноклассников, но если удаление было из-за санкций, то это вопрос только времени. Пока видно что в Google Play приложения MailRu Group остались, но, опять же, если удаление из-за санкций, то вероятность их исчезновения велика.

Правда для Android'а есть RuStore по приватности приложений в котором мы делали исследование совсем недавно и, если кратко, всё там даже хуже чем в Google Play.

Но я о другом. Много лет я пишу и два исследования мы провели о том что во многих приложениях содержатся внешние трекеры позволяющие третьим сторонам получать данные действий пользователей. В лидерах распространения таких трекеров глобальные рекламные корпорации вроде Facebook и Google, но, в России тоже есть свои игроки. Один из крупнейших из которых теперь холдинг VK.

Например, во многих приложениях стоят трекеры myTracker и myTarget от MailRu Group. В проекте Exodus Privacy посчитано 1281приложение с myTracker и 2826 с myTarget , но в реальности их гораздо больше. Кроме этих рекламных трекеров многие разработчики интегрируют SDK для авторизации во Вконтакте, есть как минимум 845 таких приложений. Всё это про приложения для Android, но SDK myTarget, myTracker и VKontakte есть и для iOS.

А теперь, внимание, вопрос․ Будут ли следующим шагом платформы Apple и Google предупреждать авторов приложений использующих трекеры VK о том что их приложения могут могут быть удалены из магазинов приложений если они этот код из приложений не уберут?

Следующим постом я запилил опрос на ту же тему.

#privacy #security #vk #mobileapps #trackers #android #apple
Группа исследователей в области инфобеза выяснили что сервис аналитики компании Apple, так и называется Apple Analytics, собирает персонально идентифицирующую информацию о пользователях [1].

В передаваемых данных там есть параметр "dsId" который они проверили и подтвердили что он является "Directory Services Identifier”, уникальный идентификатор аккаунта iCloud, хотя в условиях использования Apple фигурирует что [2] None of the collected information identifies you personally.

Ждём опровержений, исков к Apple, расследований регуляторов в ЕС и США.

Ссылки:
[1] https://twitter.com/mysk_co/status/1594515229915979776
[2] https://www.apple.com/legal/privacy/data/en/device-analytics/

#privacy #security #apple #surveillance
Свежее исследование Consumer Surveillance and Financial Fraud [1] о том как новые требования к приложениям по ограничению слежки за пользователями повлияли кибербезопасность и частоту жалоб пользователей, опубликованное National Bureau of Economic Research в США.

Тем кому лень читать всё исследование расскажу коротко. Apple ввели App Tracking Transparency (ATT) в 2021 году как обязательное требование для всех кто создает приложения для iOS, iPadOS и tvOS [2]. Эти требования сильно ограничили бизнес компаний которые отслеживали поведение пользователей внутри приложений и внешними трекерами.

В исследовании выяснилось что если 10% пользователей блокируют сбор данных, то снижение жалоб на взломы и нарушение приватности снижается на 3.21%. Много ли это или мало? Это очень много.

Ссылки:
[1] https://www.nber.org/papers/w31692
[2] https://support.apple.com/en-us/HT212025

#privacy #apple #mobileapps
Не карта, а инспектор рентгеновских данных (с)
Новый сервис от Overture Maps, консорциума по расширению данных OSM новыми инструментами и данными в виде как бы карты, но не карты [1]. В описании [2] можно узнать что он построен на динамической подгрузке geoparquet файлов из дампов данных Overture, внутри там WebAssembly с кодом на Rust, а тайлы подгружаются в форме PMTiles [3].

Штука любопытная более чем, и всё с открытым кодом.

Туда же заодно, открылась бета версия карт от Apple [4], позиционируются они явно как альтернатива Google Maps. Но Firefox не поддерживается, увы.

Ссылки:
[1] https://explore.overturemaps.org
[2] https://docs.overturemaps.org/blog/2024/07/24/explore-site/
[3] https://docs.protomaps.com/pmtiles/
[4] https://beta.maps.apple.com

#opensource #apple #maps #geodata #overture