Для тех кто интересуется современной облачной архитектурой, в том числе применительно к проектам на данных.
- Azure architectures https://docs.microsoft.com/en-us/azure/architecture/browse/ шаблоны проектирования архитектуры на базе Microsoft Azure
- AWS Well-Architected https://aws.amazon.com/ru/architecture/well-architected/ инструментарий и примеры проектирования для Amazon AWS
- Google Cloud Architecture https://cloud.google.com/docs/tutorials#architecture архитектура решений в Google Cloud, включая референсные примеры реализации

С отечественными облаками всё сильно хуже, готовых референсных архитектурных моделей для них нет.

#data #architecture

В рубрике интересных больших наборов данных, данные OpenAIRE Research Graph [1]. В наборе данных собраны все метаданные о публикациях, данных, исследователях, изданиях, финансировании и иных сведений из европейского проекта OpenAIRE. Это, в общей сложности, сведения о:
- 24 финансирующих структуры
- 97 000+ публикаторов (изданий/организаций)
- 3 000 000+ научных проектов
- 132 000 000+ научных публикаций
- 15 000 000+ научных наборов данных
а также сведения о программном обеспечении и иных научных продуктах.

Общий объём хранения в системе OpenAIRE около 860ТБ, а объём OpenAIRE Research Graph около 136ГБ [2].

Данные собираются из множества источников, включая ORCID, Crossref, Microsoft Academic Graph и других [3].

Это большая, сложная, неплохо продуманная система агрегации данных и публичный продукт в виде сайтов, данных и API.

Есть ли там исследователи и исследовательские центры из России? Да, конечно же есть. 797 научных организаций из России зарегистрированы в OpenAIRE [4].

Ссылки:
[1] https://graph.openaire.eu/develop/graph-dumps.html
[2] https://zenodo.org/record/5801283
[3] https://graph.openaire.eu/about#architecture
[4] https://explore.openaire.eu/search/find?active=organizations&country=%22RU%22

#data #opendata #science #openacess #datasets #eu

Написал на английском языке заметку Headless and reverse [data] products [1], это перевод моей русскоязычной статьи [2] о безголовых и обратных продуктах для работы с данными такими как headless BI и reverse ETL.

Тема эта широкая, в качестве упражнения можно даже потренироваться и выписать 3 колонки:
- направление работы с данными
- безголовость (headless)
- обратность (reverse)

Направления можно взять из Modern Data Infrastructure [3], а можно из любых других областей ИТ.

Ссылки:
[1] https://medium.com/@ibegtin/headless-and-reverse-data-products-a20dc163b382
[2] https://begtin.substack.com/p/19?s=w
[3] https://future.a16z.com/emerging-architectures-modern-data-infrastructure/

#architecture #data #reading

Облачные сервисы повсеместны и имеют много плюсов и большой минус - доступ к облаку может пропасть в любой момент. Не говоря уже о том что облачные сервисы почти всегда нарушают пользовательскую приватность. Альтернативный архитектурный подход в разработке приложений по модели local first [1] это архитектурный шаблон разработки программ в которых данные, в первую очередь, обязательно хранятся локально и синхронизируются с облаком без потери функциональности приложения если сервер/сервис недоступен.

Основные идеалы архитектуры local-fist:
1. Никаких индикаторов загрузки (спиннеров): работа всегда доступна
2. Работа не ограничена одним устройством
3. Сеть опциональна
4. Прозрачная интеграция работы с коллегами
5. Длинное Сейчас (The Long Now)
6. Безопасность и приватность по умолчанию
7. Ваш полный контроль и владение данными и процессами

Здесь, конечно, можно вспомнить что именно такая модель использовалась многими приложениями из 90-х, и вот мода на такую архитектуру возвращается.

Например о такой архитектуре пишут создатели Riffle [2], исследовательского проекта по построению приложений на данных по модели local first.

Ссылки:
[1] https://www.inkandswitch.com/local-first/
[2] https://riffle.systems/essays/prelude/

#data #architecture

[EN] And here are some new inspiring 3D models, this time of Geghard monastery alongside Ani. They are published at the Open Heritage website. Open Heritage 3D is a project dedicated to making primary 3D cultural heritage data open and accessible as well as to ease sharing these data for publishers.

CyArc which led the documentation of both sites is one of the most authoritative in the field of digital culture preservation. Interestingly, Geghard Monastery was immortalized by the high schoolers of the TUMO Center for Creative Technologies during the two-week workshop ran by CyArk.

Feel free to share if you know any other interesting data sources aimed at preserving cultural heritage.

#opendata #armenia #history #architecture