Танцуют все — и даже рисунки!

Рассказываем, как в Газпромбанке научились оживлять нарисованных человечков с помощью Data Science и трёх групп ML-моделей.

Читать: «Танцуют все — и даже рисунки!»

Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов

Рассказали, как удалить дубликаты в огромной базе данных, и о том, как обработать большой объем данных невысокого качества.

Читать: «Многоступенчатый фильтр: как очистить огромный массив данных от дубликатов»

Comparing Data Flows in Oracle Analytics Cloud with Spreadsheet-Based Tools

This article focuses on the key advantages of data flows in Oracle Analytics Cloud and how this tool differs from spreadsheet-based tools such as Microsoft Excel and Google Sheets.

Read: https://blogs.oracle.com/analytics/post/comparing-oac-data-flows-with-spreadsheetbased-tools

«Квантовые облака»: как VK Cloud и разработчики делают квантовые вычисления становятся ближе к бизнесу

Есть целый спектр задач, прежде всего промышленных, которые невозможно решить с помощью простых компьютеров. Суперкомпьютеры часто тоже оказываются бессильны из-за фундаментальных ограничений классической модели вычислений. Кроме того, решение многих задач становится экономически неоправданным из-за высокой стоимости суперкомпьютерной инфраструктуры. Поэтому у производственников и крупного бизнеса есть большой спрос на инструменты, которые могут проводить вычисления «за гранью» классических возможностей. В этом помогают квантовые процессоры и их эмуляторы.


Читать: https://habr.com/ru/companies/vk/articles/754518/

Point-in-time Recovery. Как уменьшить RPO для базы данных

Падение любой информационной системы — это по умолчанию больно и неприятно. На Хабре вы найдете много статей о том, как этого избежать. Но что делать, если все-таки случилась одна из тех историй, которыми пугают джунов? Уборщица разлила ведро воды в ЦОДе или злосчастный экскаватор перерубил оптоволокно?

Меня зовут Андрей Белый, я старший разработчик VK Cloud в команде DBaaS. В этой статье мы на примере PostgreSQL разберем принципы работы баз данных и поговорим о том, как минимизировать последствия инцидентов с помощью оптимизации RPO (Recovery point objective).

Материал подготовлен по мотивам моего выступления на VK Databases Meetup «Point-in-time Recovery. Как уменьшить RPO для базы данных».

Читать: https://habr.com/ru/companies/vk/articles/755922/

Вам в хранилище или к озеру? Чем занимаются специалисты по работе с данными и как стать Data-инженером

Привет, Хабр! Сегодня рассказываем, чем отличаются подходы к построению распределённых хранилищ данных Data Warehouse (DWH) и Data Lake и в чём специфика задач специалистов, работающих с данными.

В статье сначала опишем паттерны построения распределённых хранилищ, чтобы понимать, через какие процессы проходят данные. А после поговорим о задачах специалистов по работе с данными и необходимых для каждой позиции навыках.


Читать: https://habr.com/ru/companies/southbridge/articles/756652/

MLOps от Gucci и оценка уровня Data Driven’ности в компании

Привет, Хабр! MLOps пробрался даже в fashion-индустрию. И не говорите после этого, что работа с большими данными и ML — это немодно! В новом выпуске дайджеста — вновь «золотые» статьи по ML, AI и дата-аналитике. По классике начинаем с объемных образовательных статьей, а заканчиваем новинками «железа» от Nvidia и результатами отчетов по рынку (есть и на русском языке!). Еще больше полезных текстов по DataOps и MLOps — в Telegram-сообществе «MLечный путь».


Читать: https://habr.com/ru/companies/selectel/articles/756644/

Опыт PT: BI на страже кибербезопасности

Привет, Хабр! Сегодня мне хотелось бы поговорить о том, как можно применить BI, а также оценить роль, которую BI играет в цифровой трансформации компании. Ответы на эти вопросы мы получили на своем опыте, когда начали внедрять новую аналитическую платформу и обнаружили интерес к ней со стороны многих департаментов компании. Под катом — история, как мы перевели BI в Positive Technologies на единую платформу.
Узнать больше про этот кейс

Читать: https://habr.com/ru/articles/756758/

Oracle Analytics Cloud - How to Setup and Configure the Oracle Analytics Cloud Environment on OCI

You are just a few steps away from joining the Oracle Analytics world. Please use this quick guide to create and setup Oracle Analytics Cloud on Oracle Cloud Infrastructure.

Read: https://blogs.oracle.com/coretec/post/oracle-analytics-cloud-a-quick-guide-to-setup-oracle-analytics-cloud-environment

Oracle Fusion Analytics Implementation Series: Adopting and Expanding

Best Practices for Implementing Oracle Fusion Analytics Series: Adopting and Expanding

Read: https://blogs.oracle.com/analytics/post/oracle-fusion-analytics-implementation-series-adopting-and-expanding

«Я пропагандирую коллегам переход на Rust». В статье — 6 основных причин

Мы побеседовали с руководителем направления системного программирования в «Криптоните» Александром Авраменко о карьерном пути Rust-разработчика, особенностях языка Rust и его применении к моделям машинного обучения в высоконагруженных системах.


Читать: https://habr.com/ru/companies/kryptonite/articles/757362/

Как машинное обучение помогает пользователям на примере инвестиционной платформы JetLend

Рассказываем о ещё одной прикладной стороне машинного обучения: как оно помогает оценивать заёмщиков и снижать риски для инвесторов.

Читать: «Как машинное обучение помогает пользователям на примере инвестиционной платформы JetLend»

Книги о машинном обучении для новичков

Сделали для новичков в Machine Learning подборку из четырех книг, которые помогут обогатить и упростить ваше обучение.

Читать: «Книги о машинном обучении для новичков»

Как машинное обучение помогает пользователям на примере инвестиционной платформы JetLend

Рассказываем о ещё одной прикладной стороне машинного обучения: как оно помогает оценивать заёмщиков и снижать риски для инвесторов.

Читать: «Как машинное обучение помогает пользователям на примере инвестиционной платформы JetLend»

If it's an RCT, it can be trusted



Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/08/if-its-an-rct-it-can-be-trusted.html

Apache Spark для Data Engineering

Apache Spark — платформа обработки больших данных с открытым исходным кодом. Она популярна среди инженеров данных благодаря своей скорости, возможностях масштабируемости и простоте использования. Spark предназначен для работы с огромными наборами данных в распределенной вычислительной среде, что позволяет разработчикам создавать высокопроизводительные конвейеры данных, способные быстро обрабатывать огромные объемы данных.

Делимся переводом обзорной статьи о том, что такое Apache Spark и как он может помочь в data-engineering.


Читать: https://habr.com/ru/companies/southbridge/articles/757724/

Как подружить Spark и S3 для обработки файлов

Всем привет!

В этой статье мы расскажем, как нам удалось настроить взаимодействие Apache Spark и S3 для обработки больших файлов: с какими проблемами пришлось столкнуться и как нам удалось их решить.


Читать: https://habr.com/ru/companies/neoflex/articles/757794/

Путь 11 страданий: это не ДЗЕН и не ДАО — это выбор российского BI

Привет, Хабр! Мне, наконец, есть чем поделиться с вами. И это результаты практически годового процесса выбора BI-системы из числа российских разработок на замену одной из западных платформ. За это время мне стало очевидно, что примерно 50% действий, которые мы сделали, можно было и не делать, а 20% не стоило делать вовсе. В итоге получилась практически инструкция “как не надо” выбирать себе BI-систему, если вы хотите, чтобы она действительно начала приносить вам пользу ASAP. Под катом — также мои мысли о том, как надо было бы. Желающих обсудить, прошу присоединяться.
Хочу научиться на чужих ошибках...

Читать: https://habr.com/ru/articles/757954/

Ethical dilemmas poll: results post



Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/08/ethical-dilemmas-poll-results-post.html

Data Engineering Best Practices - #1. Data flow & Code

Read: https://www.startdataengineering.com/post/de_best_practices/