Data Engineering Weekly #118
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-118
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-118
👍1
Технологии помогают бизнесу: как предсказать «побег» арендаторов из торговых центров при помощи ML-модели
Ларин Алексей, Data Scientist
Владельцы торговых центров достаточно часто сталкиваются с ситуацией, когда арендатор прекращает свою деятельность без предварительного уведомления арендодателя. Соответственно, страдают организационные и бизнес-процессы владельца коммерческой недвижимости, падает прибыль. Сегодня поговорим о том, как технологии могут помочь решить эту проблему. Ну а использовать будем OCR-карту и модели данных.
Как всё это работает?
Читать: https://habr.com/ru/post/716642/
Ларин Алексей, Data Scientist
Владельцы торговых центров достаточно часто сталкиваются с ситуацией, когда арендатор прекращает свою деятельность без предварительного уведомления арендодателя. Соответственно, страдают организационные и бизнес-процессы владельца коммерческой недвижимости, падает прибыль. Сегодня поговорим о том, как технологии могут помочь решить эту проблему. Ну а использовать будем OCR-карту и модели данных.
Как всё это работает?
Читать: https://habr.com/ru/post/716642/
👍1
Как написать пайплайн для чтения рукописного текста
Привет, Хабр! В этой статье мы, команда Sber AI, расскажем о пайплайне для распознавания текста и о нюансах обучения HTR-моделей, а также поделимся датасетом школьных обезличенных тетрадей. Это почти 2 тысячи страниц с полной разметкой полигонов слов (более 300 тысяч текстов). Если нужно, то датасет есть в открытом доступе на hugging face.
Мы в Sber AI в рамках одного из наших направлений занимаемся распознаванием рукописного текста. В частности наша команда написала пайплайн для более удобного и быстрого проведения экспериментов под разные датасеты. Он состоит из двух модулей — (1) детекция слов и (2) чтение слов. К этому ещё можно добавить этап извлечения связного текста — объединение слов в предложения и страницы. Сложность HTR задачи (handwritten text recognition) в том, что рукопись каждого человека уникальна, на неё влияет множество факторов, включая возраст и настроение. Модель чтения печатного текста можно ускорить добавлением синтетики на основе печати простыми шрифтами на фонах. А вот с HTR-моделью это не даст такой сильный прирост, так что лучше воспользоваться синтетической рукопиской от GAN.
Отметим, что интересные задачи возникают и в модели для детекции рукописного текста. В таких данных текст, как правило, «прыгает» по странице, каждое слово под своим углом. Некоторые слова накладываются друг на друга, а строка может изгибаться, чтобы она поместилась на одной странице. Есть нюансы и при объединении двух моделей, например, нюансы даунгрейда качества чтения текста при объединении с детекцией (ошибки двух моделей мешают друг другу).
Читать: https://habr.com/ru/post/716796/
Привет, Хабр! В этой статье мы, команда Sber AI, расскажем о пайплайне для распознавания текста и о нюансах обучения HTR-моделей, а также поделимся датасетом школьных обезличенных тетрадей. Это почти 2 тысячи страниц с полной разметкой полигонов слов (более 300 тысяч текстов). Если нужно, то датасет есть в открытом доступе на hugging face.
Мы в Sber AI в рамках одного из наших направлений занимаемся распознаванием рукописного текста. В частности наша команда написала пайплайн для более удобного и быстрого проведения экспериментов под разные датасеты. Он состоит из двух модулей — (1) детекция слов и (2) чтение слов. К этому ещё можно добавить этап извлечения связного текста — объединение слов в предложения и страницы. Сложность HTR задачи (handwritten text recognition) в том, что рукопись каждого человека уникальна, на неё влияет множество факторов, включая возраст и настроение. Модель чтения печатного текста можно ускорить добавлением синтетики на основе печати простыми шрифтами на фонах. А вот с HTR-моделью это не даст такой сильный прирост, так что лучше воспользоваться синтетической рукопиской от GAN.
Отметим, что интересные задачи возникают и в модели для детекции рукописного текста. В таких данных текст, как правило, «прыгает» по странице, каждое слово под своим углом. Некоторые слова накладываются друг на друга, а строка может изгибаться, чтобы она поместилась на одной странице. Есть нюансы и при объединении двух моделей, например, нюансы даунгрейда качества чтения текста при объединении с детекцией (ошибки двух моделей мешают друг другу).
Читать: https://habr.com/ru/post/716796/
Специфика DataOPS в Учи.ру
Привет, Хабр! Меня зовут Сергей Поляков и я DataOps-инженер в Учи.ру. Наша платформа объединяет почти 19 млн пользователей, которые совершают сотни миллионов действий. При этом нам важно хранить эти данные, чтобы совершенствовать продукт. Главная задача Data-инженеров — поддерживать стабильную инфраструктуру и внедрять инструменты для централизованной работы с данными. Я расскажу, какие решения по автоматизации и DevOps-практики мы используем для этого.
Инфраструктура и источники данных
Наша инфраструктура располагается на проекте Data Warehouse. Примерный объем хранилища данных — около 100 ТБ и ежедневная дельта — в районе 10 ТБ. Все данные мы размещаем в облачном хранилище от Selectel.
Основными источниками данных являются:
Читать: https://habr.com/ru/post/716904/
Привет, Хабр! Меня зовут Сергей Поляков и я DataOps-инженер в Учи.ру. Наша платформа объединяет почти 19 млн пользователей, которые совершают сотни миллионов действий. При этом нам важно хранить эти данные, чтобы совершенствовать продукт. Главная задача Data-инженеров — поддерживать стабильную инфраструктуру и внедрять инструменты для централизованной работы с данными. Я расскажу, какие решения по автоматизации и DevOps-практики мы используем для этого.
Инфраструктура и источники данных
Наша инфраструктура располагается на проекте Data Warehouse. Примерный объем хранилища данных — около 100 ТБ и ежедневная дельта — в районе 10 ТБ. Все данные мы размещаем в облачном хранилище от Selectel.
Основными источниками данных являются:
Читать: https://habr.com/ru/post/716904/
❤1👍1
Cross functional subject area analysis and application of Explain metrics on combined datasets in Fusion Analytics
The following document describes how a Fusion Analytics user can create a cross-functional subject area between two or more subject areas and use the prebuilt Explain functionality of Oracle Analytics Cloud (OAC) on all the measures available on the combined subject areas.
Read: https://blogs.oracle.com/analytics/post/faw-cx-erp-cross-functional-sa
The following document describes how a Fusion Analytics user can create a cross-functional subject area between two or more subject areas and use the prebuilt Explain functionality of Oracle Analytics Cloud (OAC) on all the measures available on the combined subject areas.
Read: https://blogs.oracle.com/analytics/post/faw-cx-erp-cross-functional-sa
8fd4f70d-d05a-4ed8-a570-324cda1ff2d9_920x400.jpg
19 KB
The Data Founder Story: Why We Founded Speedb
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-why-we-founded
Read: https://www.dataengineeringweekly.com/p/the-data-founder-story-why-we-founded
Как MLOps помогает обеспечить гибкость машинного обучения и стимулирует инновации
Многие компании внедряли машинное обучение рывками, приобретая и разрабатывая модели, алгоритмы, инструменты и сервисы под конкретные задачи. Этот подход неизбежен на старте, когда бизнес только узнает о возможностях технологий. Но в результате получается сборная солянка из изолированных, запускаемых вручную, нестандартизированных процессов и компонентов. Как следствие, появляются неэффективные громоздкие сервисы, которые приносят меньше пользы, чем могли бы, или полностью блокируют дальнейшее развитие.
Команда VK Cloud перевела статью о значимости стандартизации и автоматизации ML-процессов и как с этим поможет подход MLOps.
Читать: https://habr.com/ru/post/713182/
Многие компании внедряли машинное обучение рывками, приобретая и разрабатывая модели, алгоритмы, инструменты и сервисы под конкретные задачи. Этот подход неизбежен на старте, когда бизнес только узнает о возможностях технологий. Но в результате получается сборная солянка из изолированных, запускаемых вручную, нестандартизированных процессов и компонентов. Как следствие, появляются неэффективные громоздкие сервисы, которые приносят меньше пользы, чем могли бы, или полностью блокируют дальнейшее развитие.
Команда VK Cloud перевела статью о значимости стандартизации и автоматизации ML-процессов и как с этим поможет подход MLOps.
Читать: https://habr.com/ru/post/713182/
Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами
Собрали лучшие материалы по Python с 1 по 14 февраля: как создать ИИ-плеер, как предсказать лесные пожары и как быстро прокачать код.
Читать: «Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами»
Собрали лучшие материалы по Python с 1 по 14 февраля: как создать ИИ-плеер, как предсказать лесные пожары и как быстро прокачать код.
Читать: «Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами»
Подборка актуальных вакансий
— Главный разработчик
Где: Москва, можно удалённо
Опыт: от 3 лет
— Middle DevOps Engineer
Где: Москва, можно удалённо
Опыт: без опыта
— Разработчик 1С
Где: Москва, Санкт-Петербург, Ростов-на-Дону
Опыт: от 3 лет
— Ведущий системный аналитик
Где: Москва, можно удалённо
Опыт: от 3 лет
— Руководитель команды NoSQL
Где: Москва, можно удалённо
Опыт: от 3 лет
— Auto QA-инженер
Где: Москва, можно удалённо
Опыт: от 1 года
— Senior Android Developer
Где: Москва, можно удалённо
Опыт: от 3 лет
— Senior iOS Developer
Где: Москва, можно удалённо
Опыт: от 3 лет
— Hadoop администратор
Где: Москва, можно удалённо
Опыт: от 1 до 3 лет
— Data Engineer
Где: Москва, можно удалённо
Опыт: можно без опыта
#вакансии #работа
— Главный разработчик
Где: Москва, можно удалённо
Опыт: от 3 лет
— Middle DevOps Engineer
Где: Москва, можно удалённо
Опыт: без опыта
— Разработчик 1С
Где: Москва, Санкт-Петербург, Ростов-на-Дону
Опыт: от 3 лет
— Ведущий системный аналитик
Где: Москва, можно удалённо
Опыт: от 3 лет
— Руководитель команды NoSQL
Где: Москва, можно удалённо
Опыт: от 3 лет
— Auto QA-инженер
Где: Москва, можно удалённо
Опыт: от 1 года
— Senior Android Developer
Где: Москва, можно удалённо
Опыт: от 3 лет
— Senior iOS Developer
Где: Москва, можно удалённо
Опыт: от 3 лет
— Hadoop администратор
Где: Москва, можно удалённо
Опыт: от 1 до 3 лет
— Data Engineer
Где: Москва, можно удалённо
Опыт: можно без опыта
#вакансии #работа
Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами
Собрали лучшие материалы по Python с 1 по 14 февраля: как создать ИИ-плеер, как предсказать лесные пожары и как быстро прокачать код.
Читать: «Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами»
Собрали лучшие материалы по Python с 1 по 14 февраля: как создать ИИ-плеер, как предсказать лесные пожары и как быстро прокачать код.
Читать: «Дайджест Python #3: пишем AI-плеер для сайта и боремся с лесными пожарами»
Visualize Oracle Analytics Cloud data using Power BI
Is Microsoft Power BI your tool of choice for visualizing data? If so, now you can use it to visualize data in Oracle Analytics Cloud (OAC) through the power of the OAC semantic layer.
Read: https://blogs.oracle.com/analytics/post/visualize-oracle-analytics-cloud-data-using-power-bi
Is Microsoft Power BI your tool of choice for visualizing data? If so, now you can use it to visualize data in Oracle Analytics Cloud (OAC) through the power of the OAC semantic layer.
Read: https://blogs.oracle.com/analytics/post/visualize-oracle-analytics-cloud-data-using-power-bi
Oracle
Visualize Oracle Analytics Cloud Data Using Power BI
Is Power BI your tool of choice for visualizing data? If so, you can visualize data provided by Oracle Analytics Cloud (OAC) through the power of the OAC semantic layer.
Pathway: unlocking data stream processing [Part 1] - real-time linear regression
Read: https://www.dataengineeringweekly.com/p/pathway-unlocking-data-stream-processing
Read: https://www.dataengineeringweekly.com/p/pathway-unlocking-data-stream-processing
Как Homebrew раздаёт 52 миллиона пакетов в месяц?
Пакетный менеджер Homebrew раздаёт 52 миллиона пакетов в месяц. Чтобы это делать, он использует хранилища контейнеров, отлично подходящие для этой задачи. Как это работает?
Читать: https://habr.com/ru/post/717400/
Пакетный менеджер Homebrew раздаёт 52 миллиона пакетов в месяц. Чтобы это делать, он использует хранилища контейнеров, отлично подходящие для этой задачи. Как это работает?
Читать: https://habr.com/ru/post/717400/
Как мы распараллелили CatBoost на Spark
Привет, Хабр! Я занимаюсь инженерией данных в Х5 Tech. В этой статье я решил поделиться проблемами, с которыми столкнулись при распараллеливании CatBoost на Spark, и как мы нашли решение. Возможно, это не rocket science, но если бы со мной поделились такими ответами заранее, я бы сэкономил себе пару вечеров свободного времени.
Читать: https://habr.com/ru/post/717450/
Привет, Хабр! Я занимаюсь инженерией данных в Х5 Tech. В этой статье я решил поделиться проблемами, с которыми столкнулись при распараллеливании CatBoost на Spark, и как мы нашли решение. Возможно, это не rocket science, но если бы со мной поделились такими ответами заранее, я бы сэкономил себе пару вечеров свободного времени.
Читать: https://habr.com/ru/post/717450/
7 способов улучшения датасетов медицинских снимков для машинного обучения
Качество датасета медицинских снимков (как и датасетов изображений в любой другой области) напрямую влияет на точность модели машинного обучения.
В секторе здравоохранения это ещё более важно, ведь качество крупных массивов данных медицинских снимков для диагностического и медицинского AI (искусственного интеллекта) или моделей глубокого обучения может стать для пациентов вопросом жизни и смерти.
Как знают команды клинических исследователей, сложность, форматы и слои информации в медицине больше и затейливее, чем в немедицинских изображениях и видео. Отсюда и берётся необходимость в алгоритмах искусственного интеллекта, машинного обучения (ML) и глубокого обучения с целью понимания, интерпретации и обучения на аннотированных массивах данных медицинских снимков.
В этой статье мы расскажем о сложностях создания обучающих массивов данных из медицинских снимков и видео (особенно в сфере радиологии), а также поделимся рекомендациями по созданию обучающих массивов данных высочайшего качества.
Читать: https://habr.com/ru/post/704192/
Качество датасета медицинских снимков (как и датасетов изображений в любой другой области) напрямую влияет на точность модели машинного обучения.
В секторе здравоохранения это ещё более важно, ведь качество крупных массивов данных медицинских снимков для диагностического и медицинского AI (искусственного интеллекта) или моделей глубокого обучения может стать для пациентов вопросом жизни и смерти.
Как знают команды клинических исследователей, сложность, форматы и слои информации в медицине больше и затейливее, чем в немедицинских изображениях и видео. Отсюда и берётся необходимость в алгоритмах искусственного интеллекта, машинного обучения (ML) и глубокого обучения с целью понимания, интерпретации и обучения на аннотированных массивах данных медицинских снимков.
В этой статье мы расскажем о сложностях создания обучающих массивов данных из медицинских снимков и видео (особенно в сфере радиологии), а также поделимся рекомендациями по созданию обучающих массивов данных высочайшего качества.
Читать: https://habr.com/ru/post/704192/
When you don't need data
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/02/when-you-dont-need-data.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/02/when-you-dont-need-data.html
У нас для вас отличные новости! Наш сайт обновился и теперь может уведомлять по почте и в Telegram о новых материалах, которые интересны именно вам
Для этого вам нужно:
1. Авторизоваться на сайте tproger.ru
2. Зайти в свой профиль и подписаться на интересные вам теги в разделе «Подписки». Например, библиотеки, инструменты и другие
3. В разделе уведомлений выбрать, как именно вы хотите получать уведомления
4. Всё! Вы великолепны и теперь всегда будете первым узнавать о свежих материалах
Для этого вам нужно:
1. Авторизоваться на сайте tproger.ru
2. Зайти в свой профиль и подписаться на интересные вам теги в разделе «Подписки». Например, библиотеки, инструменты и другие
3. В разделе уведомлений выбрать, как именно вы хотите получать уведомления
4. Всё! Вы великолепны и теперь всегда будете первым узнавать о свежих материалах
👍3
Data Pipeline Design Patterns - #2. Coding patterns in Python
Read: https://www.startdataengineering.com/post/code-patterns/
Read: https://www.startdataengineering.com/post/code-patterns/
Большие данные в строительстве
Строительная отрасль генерирует огромное количество данных, которые во всей их совокупности системно не используют в полном объеме для извлечения потенциально ценной информации. Причиной является конфликт между практикой взаимодействия субъектов строительства и BIM-технологией для проектирования объектов. Иная структура САПР в строительстве позволит собирать данные не конфликтуя со сложившимися отношениями.
Читать: https://habr.com/ru/post/717840/
Строительная отрасль генерирует огромное количество данных, которые во всей их совокупности системно не используют в полном объеме для извлечения потенциально ценной информации. Причиной является конфликт между практикой взаимодействия субъектов строительства и BIM-технологией для проектирования объектов. Иная структура САПР в строительстве позволит собирать данные не конфликтуя со сложившимися отношениями.
Читать: https://habr.com/ru/post/717840/
Data Engineering Weekly #119
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-119
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-119