Ликбез по Data Governance, защита LLM, рейтинг BI-инструментов и другие новинки в мире ML и DA
Привет, Хабр! После перерыва возвращаюсь с новым выпуском полезных материалов, которые помогут лучше разобраться в ML, AI и дата-аналитике. Сегодня в программе — эволюция СУБД, миграция с Apache Druid на ClickHouse и подходы к экономии ресурсов для инфраструктуры. Еще больше полезных материалов — в Telegram-сообществе «MLечный путь».
Читать: https://habr.com/ru/companies/selectel/articles/798363/
@big_data_analysis
Привет, Хабр! После перерыва возвращаюсь с новым выпуском полезных материалов, которые помогут лучше разобраться в ML, AI и дата-аналитике. Сегодня в программе — эволюция СУБД, миграция с Apache Druid на ClickHouse и подходы к экономии ресурсов для инфраструктуры. Еще больше полезных материалов — в Telegram-сообществе «MLечный путь».
Читать: https://habr.com/ru/companies/selectel/articles/798363/
@big_data_analysis
Подробный гайд: Как собрать дашборд в FineBI за 30 минут
Хабр, привет!
Меня зовут Александр Ларин, я руководитель центра технической поддержки и обучения в GlowByte и лидер самого большого в России сообщества FineBI.
В данной статье я хотел бы показать новичкам основы работы в FineBI: как подключиться к источнику данных, создать на его основе датасет, провести обработку данных, собрать свой первый дашборд – и всё это сделать буквально за 30 минут. А тех, кому этого будет недостаточно, приглашаю на наши курсы.
Читать: https://habr.com/ru/companies/glowbyte/articles/798411/
@big_data_analysis
Хабр, привет!
Меня зовут Александр Ларин, я руководитель центра технической поддержки и обучения в GlowByte и лидер самого большого в России сообщества FineBI.
В данной статье я хотел бы показать новичкам основы работы в FineBI: как подключиться к источнику данных, создать на его основе датасет, провести обработку данных, собрать свой первый дашборд – и всё это сделать буквально за 30 минут. А тех, кому этого будет недостаточно, приглашаю на наши курсы.
Читать: https://habr.com/ru/companies/glowbyte/articles/798411/
@big_data_analysis
Модель глубокого обучения, использующая данные ЭКГ для прогнозирования риска внезапной сердечной смерти
Внезапная сердечная смерть (ВСС) происходит, когда возникают проблемы с электрической активностью в сердце. Это распространенная причина смерти по всему миру, поэтому было бы полезно легко выявлять людей с высоким риском ВСС. Электрокардиограммы - это доступный и широко используемый способ измерения электрической активности сердца. Мы разработали вычислительный метод, который может использовать электрокардиограммы для определения, находится ли человек в повышенном риске ВСС. Наш метод может позволить врачам скрининг больших групп людей и выявление тех, кто находится в повышенном риске ВСС. Это может позволить регулярное наблюдение за этими людьми и, возможно, предотвращение ВСС у некоторых из них.
Читать: https://habr.com/ru/articles/798417/
@big_data_analysis
Внезапная сердечная смерть (ВСС) происходит, когда возникают проблемы с электрической активностью в сердце. Это распространенная причина смерти по всему миру, поэтому было бы полезно легко выявлять людей с высоким риском ВСС. Электрокардиограммы - это доступный и широко используемый способ измерения электрической активности сердца. Мы разработали вычислительный метод, который может использовать электрокардиограммы для определения, находится ли человек в повышенном риске ВСС. Наш метод может позволить врачам скрининг больших групп людей и выявление тех, кто находится в повышенном риске ВСС. Это может позволить регулярное наблюдение за этими людьми и, возможно, предотвращение ВСС у некоторых из них.
Читать: https://habr.com/ru/articles/798417/
@big_data_analysis
❤2👍2
Apache Flink: динамическое определение выходного топика в Kafka
Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.
В предыдущей статье — «Apache Flink. Как работает дедупликация данных в потоке Kafka-to-Kafka?» — я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Также разобрались, что такое состояние оператора и зачем оно нужно.
В этой статье добавим возможность динамического определения топика в Kafka для каждого события, куда его нужно записать.
Читать: https://habr.com/ru/companies/ru_mts/articles/798667/
@big_data_analysis
Всем привет, меня зовут Александр Бобряков. Я техлид в команде МТС Аналитики, занимаюсь Real-Time обработкой данных. Мы начали использовать фреймворк Apache Flink, и я решил поделиться на Хабре своим опытом внедрения этой технологии в цикле статей.
В предыдущей статье — «Apache Flink. Как работает дедупликация данных в потоке Kafka-to-Kafka?» — я рассказывал про построение пайплайна Kafka-to-Kafka с промежуточным разделением потока и дедупликацией событий. Также разобрались, что такое состояние оператора и зачем оно нужно.
В этой статье добавим возможность динамического определения топика в Kafka для каждого события, куда его нужно записать.
Читать: https://habr.com/ru/companies/ru_mts/articles/798667/
@big_data_analysis
Forwarded from Нейроканал
Данные ключ к успеху
Процесс сбора и обработки данных очень важный, так как от их качества зависит практически всё, что будет происходить потом. И встретить этот шаг вы должны во всеоружии. Так что не будем вас томить и дадим этот замечательный плейлист со всем необходимым, чтобы этому научится. А ещё можете глянуть этот доклад по автоматизации разметки с помощью ML-моделей.
#данные @neuro_channel
Процесс сбора и обработки данных очень важный, так как от их качества зависит практически всё, что будет происходить потом. И встретить этот шаг вы должны во всеоружии. Так что не будем вас томить и дадим этот замечательный плейлист со всем необходимым, чтобы этому научится. А ещё можете глянуть этот доклад по автоматизации разметки с помощью ML-моделей.
#данные @neuro_channel
👍3❤2
Как AI помогает побороть монополию в спортивной рекламе и при чем тут GPU и выделенные серверы
Спортивные соревнования сегодня переполнены рекламой — от роликов на экранах до статичных логотипов компаний на рекламных щитах стадионов. Эфир охватывает множество стран, в которых представлены различные бренды и действуют разные законы о рекламе. Благодаря прорыву в развитии ИИ и AR-технологий появляется возможность замены информации на поле под каждую аудиторию, причем непосредственно во время трансляции матча.
Реклама на спортивных аренах изначально была статичной и предназначалась для людей, посещающих конкретное мероприятие в определенном городе. Позже появились LED-экраны, которые демонстрировали сменяющие друг друга рекламные ролики. Следующий шаг — в ролики на экранах начали вставлять на долю секунды «зеленый фон», с помощью которого ИИ определял пространство и подставлял уникальный текст.
Сейчас заменить можно что угодно на что угодно. Сложность заключается в том, чтобы замена выполнялась незаметно и реалистично. Крупнейшие игроки этого рынка применяют специальные камеры. По фотографиям можно прийти к выводу о наличии специализированных датчиков, считывающих информацию о позиционировании и юстировке. То есть у популярных решений все еще есть хардверные «костыли».
Все это требует огромных вычислительных мощностей, так как вводные сведения и исходная трансляция обрабатываются специализированным софтом в режиме онлайн. То есть к камерам и датчикам прибавляются сервера для вычислений. Оборудование дорогое, рынок «закрытый», технологии тоже. И тут на выручку приходят AI и облачные GPU-сервера.
Читать: https://habr.com/ru/companies/hostkey/articles/798823/
@big_data_analysis
Спортивные соревнования сегодня переполнены рекламой — от роликов на экранах до статичных логотипов компаний на рекламных щитах стадионов. Эфир охватывает множество стран, в которых представлены различные бренды и действуют разные законы о рекламе. Благодаря прорыву в развитии ИИ и AR-технологий появляется возможность замены информации на поле под каждую аудиторию, причем непосредственно во время трансляции матча.
Реклама на спортивных аренах изначально была статичной и предназначалась для людей, посещающих конкретное мероприятие в определенном городе. Позже появились LED-экраны, которые демонстрировали сменяющие друг друга рекламные ролики. Следующий шаг — в ролики на экранах начали вставлять на долю секунды «зеленый фон», с помощью которого ИИ определял пространство и подставлял уникальный текст.
Сейчас заменить можно что угодно на что угодно. Сложность заключается в том, чтобы замена выполнялась незаметно и реалистично. Крупнейшие игроки этого рынка применяют специальные камеры. По фотографиям можно прийти к выводу о наличии специализированных датчиков, считывающих информацию о позиционировании и юстировке. То есть у популярных решений все еще есть хардверные «костыли».
Все это требует огромных вычислительных мощностей, так как вводные сведения и исходная трансляция обрабатываются специализированным софтом в режиме онлайн. То есть к камерам и датчикам прибавляются сервера для вычислений. Оборудование дорогое, рынок «закрытый», технологии тоже. И тут на выручку приходят AI и облачные GPU-сервера.
Читать: https://habr.com/ru/companies/hostkey/articles/798823/
@big_data_analysis
Data Engineering Best Practices - #2. Metadata & Logging
Read: https://www.startdataengineering.com/post/de_best_practices_log/
@big_data_analysis
Read: https://www.startdataengineering.com/post/de_best_practices_log/
@big_data_analysis
Forwarded from Нейроканал
Если вы новичок, но уже обладаете базовыми знаниями, то это идеально время, чтобы начать пилить пет проекты. Но если вдруг у вас нет своей идеи, то не отчаивайтесь. Держите целую подборку таких идей, с примерами реализации:
1. Прогнозирование успеваемости студентов.
2. Суммаризация текста.
3. Проекты по CV на любой вкус.
4. Классификация болезней куриц.
5. Проекты классификации аудио (1ч, 2ч, 3ч, 4ч).
6. Проект по обработке и анализу данных.
7. Прогнозирование цен на жилье.
8. Приложение с использованием Langchain и Open AI.
9. Классификация заболеваний почек.
10. LLM для ответов на вопросы по PDF.
@neuro_channel #петпроекты
1. Прогнозирование успеваемости студентов.
2. Суммаризация текста.
3. Проекты по CV на любой вкус.
4. Классификация болезней куриц.
5. Проекты классификации аудио (1ч, 2ч, 3ч, 4ч).
6. Проект по обработке и анализу данных.
7. Прогнозирование цен на жилье.
8. Приложение с использованием Langchain и Open AI.
9. Классификация заболеваний почек.
10. LLM для ответов на вопросы по PDF.
@neuro_channel #петпроекты
👍2
Оживляем SVG в POWER BI часть 1
Создание дашбордов на основе SVG макетов частая задача в PBI. На примере, дерева и столбчатой диаграммы, я покажу как это сделать, используя язык DAX и макеты в figma.
Читать: https://habr.com/ru/articles/800001/
@big_data_analysis
Создание дашбордов на основе SVG макетов частая задача в PBI. На примере, дерева и столбчатой диаграммы, я покажу как это сделать, используя язык DAX и макеты в figma.
Читать: https://habr.com/ru/articles/800001/
@big_data_analysis
Oracle Analytics Cloud March 2024 update
This blog covers new Oracle Analytics Cloud (OAC) features from the March 2024 update and includes, data connectivity, data prep, modeling, data visualization, augmented analytics, machine learning, localization and embedding. It highlights upgrades to help users connect more sources, faster data prep, better visualizations, customized analytics and localized UIs.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-cloud-march-2024-update
@big_data_analysis
This blog covers new Oracle Analytics Cloud (OAC) features from the March 2024 update and includes, data connectivity, data prep, modeling, data visualization, augmented analytics, machine learning, localization and embedding. It highlights upgrades to help users connect more sources, faster data prep, better visualizations, customized analytics and localized UIs.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-cloud-march-2024-update
@big_data_analysis
Oracle
Oracle Analytics Cloud March 2024 update
This blog covers new Oracle Analytics Cloud (OAC) features from the March 2024 update and includes, data connectivity, data prep, modeling, data visualization, augmented analytics, machine learning, localization and embedding. It highlights upgrades to help…
AI and the Evolution of Self-Service Analytics
Explore the evolution of self-service analytics with AI at Oracle. Discover how OAC leverages AI to enhance natural language interactions, generate insights, and revolutionize data storytelling. Dive into the future of analytics, where Oracle empowers users with seamless, intuitive experiences and groundbreaking formats like the Story Exchange, bridging the gap between data and impactful communication.
Read: https://blogs.oracle.com/analytics/post/ai-and-the-evolution-of-selfservice-analytics
@big_data_analysis
Explore the evolution of self-service analytics with AI at Oracle. Discover how OAC leverages AI to enhance natural language interactions, generate insights, and revolutionize data storytelling. Dive into the future of analytics, where Oracle empowers users with seamless, intuitive experiences and groundbreaking formats like the Story Exchange, bridging the gap between data and impactful communication.
Read: https://blogs.oracle.com/analytics/post/ai-and-the-evolution-of-selfservice-analytics
@big_data_analysis
Oracle
AI and the Evolution of Self-Service Analytics
Explore the evolution of self-service analytics with AI at Oracle. Discover how OAC leverages AI to enhance natural language interactions, generate insights, and revolutionize data storytelling. Dive into the future of analytics, where Oracle empowers users…
Oracle Fusion Analytics: Use of Deep Links to navigate to Fusion Applications from Workbooks
Fusion Data Intelligence provides the ability to drill to transactional detail in Oracle Fusion Application directly from a workbook, using data presented from the subject areas as part of the Fusion Data...
Read: https://blogs.oracle.com/analytics/post/oracle-fusion-analytics-use-of-deep-links-to-navigate-to-fusion-applications-from-data-visualizations
@big_data_analysis
Fusion Data Intelligence provides the ability to drill to transactional detail in Oracle Fusion Application directly from a workbook, using data presented from the subject areas as part of the Fusion Data...
Read: https://blogs.oracle.com/analytics/post/oracle-fusion-analytics-use-of-deep-links-to-navigate-to-fusion-applications-from-data-visualizations
@big_data_analysis
Oracle
Oracle Fusion Analytics: Use of Deep Links to navigate to Fusion Applications from Workbooks
Fusion Data Intelligence provides the ability to drill to transactional detail in Oracle Fusion Application directly from a workbook, using data presented from the subject areas as part of the Fusion Data...
G2 Market Research vs Gartner: слон или тигр?
Мы в Кругах Громова любим исследования. Можно было бы даже сказать «собаку на них съели», но собакенов мы любим не меньше, чем исследования, и, конечно, есть никого не собираемся. Как бы там ни было, нам интересно – и, конечно, познавательно – наблюдать и изучать работу крупных мировых игроков. Сегодня решили поделиться с вами результатами сравнения двух «рапторов» – Gartner и G2 Market Research.
Читать: https://habr.com/ru/articles/800173/
@big_data_analysis
Мы в Кругах Громова любим исследования. Можно было бы даже сказать «собаку на них съели», но собакенов мы любим не меньше, чем исследования, и, конечно, есть никого не собираемся. Как бы там ни было, нам интересно – и, конечно, познавательно – наблюдать и изучать работу крупных мировых игроков. Сегодня решили поделиться с вами результатами сравнения двух «рапторов» – Gartner и G2 Market Research.
Читать: https://habr.com/ru/articles/800173/
@big_data_analysis
«Иногда твоя работа выглядит магией»: что делают дата-сайентисты в промышленности и почему так востребованы
Привет, Хабр! Меня зовут Светлана Потапова, я руковожу «Северсталь Диджитал» — подразделением ИТ-функции Северстали, которое занимается разработкой и внедрением решений на основе машинного обучения.
Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Все обратили внимание на работу с данными, ведь они справедливо считаются новой нефтью, а их правильное использование даёт компаниям существенные преимущества. Обилие разнообразных задач со своей спецификой привело к появлению отдельного направления — Data Science (DS) в промышленности.
В этой статье расскажу, зачем становиться дата-сайентистом в промышленности, кто это такой и чем занимается и почему повышать цифровизацию производства непросто, но того стоит.
Читать: https://habr.com/ru/companies/netologyru/articles/800153/
@big_data_analysis
Привет, Хабр! Меня зовут Светлана Потапова, я руковожу «Северсталь Диджитал» — подразделением ИТ-функции Северстали, которое занимается разработкой и внедрением решений на основе машинного обучения.
Data Science уже давно вышла за пределы ИТ-компаний, шагнула дальше банков и телекома и пришла в промышленность, в том числе тяжёлую. Все обратили внимание на работу с данными, ведь они справедливо считаются новой нефтью, а их правильное использование даёт компаниям существенные преимущества. Обилие разнообразных задач со своей спецификой привело к появлению отдельного направления — Data Science (DS) в промышленности.
В этой статье расскажу, зачем становиться дата-сайентистом в промышленности, кто это такой и чем занимается и почему повышать цифровизацию производства непросто, но того стоит.
Читать: https://habr.com/ru/companies/netologyru/articles/800153/
@big_data_analysis
Пользовательские карты в Дельта BI
В функционале Дельты есть возможность импорта пользовательских карт, которые можно в дальнейшем использовать вместо стандартных форм, входящих в геопространственную базу данных Дельты. Такая возможность может быть полезна, например, если требуется создать карту, отображающую крупные регионы, объединяющие несколько стран (Евросоюз, СНГ, страны Азиатско-Тихоокеанского региона и т.п.)
Или, как будет рассмотрено в данном примере, будет загружена карта административных округов Москвы.
Читать: https://habr.com/ru/companies/navicon/articles/800297/
@big_data_analysis
В функционале Дельты есть возможность импорта пользовательских карт, которые можно в дальнейшем использовать вместо стандартных форм, входящих в геопространственную базу данных Дельты. Такая возможность может быть полезна, например, если требуется создать карту, отображающую крупные регионы, объединяющие несколько стран (Евросоюз, СНГ, страны Азиатско-Тихоокеанского региона и т.п.)
Или, как будет рассмотрено в данном примере, будет загружена карта административных округов Москвы.
Читать: https://habr.com/ru/companies/navicon/articles/800297/
@big_data_analysis
Проверь себя: Ты — знаток мира BI?
Привет, Хабр! А сейчас у нас на кону интересное развлечение. Мы предлагаем вам угадать двух тайных экспертов марафона по визуализции “Ничего Лишнего”, которые будут принимать участие в двух днях работы с участниками. Под катом — краткие характеристики наших героев, а также варианты ответов. Проверьте себя, насколько вы знаете мир BI (или проверьте свою интуицию, что тоже забавно).
Читать: https://habr.com/ru/companies/visiology/articles/800465/
@big_data_analysis
Привет, Хабр! А сейчас у нас на кону интересное развлечение. Мы предлагаем вам угадать двух тайных экспертов марафона по визуализции “Ничего Лишнего”, которые будут принимать участие в двух днях работы с участниками. Под катом — краткие характеристики наших героев, а также варианты ответов. Проверьте себя, насколько вы знаете мир BI (или проверьте свою интуицию, что тоже забавно).
Читать: https://habr.com/ru/companies/visiology/articles/800465/
@big_data_analysis
Элегантный стек данных для встроенной аналитики
Контекст
По работе мне доводилось иметь дело с аналитическими стеками любых конфигураций и размеров. Мы на собственном опыте изучили, что цена стека для встроенной аналитики данных, расположенного за фронтендом, может моментально вырасти настолько, что об окупаемости инвестиций и речи не будет. Такой риск существует, если тщательно не просчитать 1) модели ценообразования для разных технологий и затраты на единицу продукции, 2) реализованную стоимость 3) производительность труда разработчика.
Сейчас появилась целая волна инструментов, созданных специально для решений из области встраиваемой аналитики, поэтому я решил набросать этот пост, в котором покажу, как некоторые из этих инструментов сочетаются друг с другом, и почему они так хороши.
В этой статье будут исследованы соотношения затрат/ценности и преимущества нескольких стеков, ориентированных на работу с данными, а именно MotherDuck / Cube / React (MDCuRe)
Читать: https://habr.com/ru/companies/piter/articles/800515/
@big_data_analysis
Контекст
По работе мне доводилось иметь дело с аналитическими стеками любых конфигураций и размеров. Мы на собственном опыте изучили, что цена стека для встроенной аналитики данных, расположенного за фронтендом, может моментально вырасти настолько, что об окупаемости инвестиций и речи не будет. Такой риск существует, если тщательно не просчитать 1) модели ценообразования для разных технологий и затраты на единицу продукции, 2) реализованную стоимость 3) производительность труда разработчика.
Сейчас появилась целая волна инструментов, созданных специально для решений из области встраиваемой аналитики, поэтому я решил набросать этот пост, в котором покажу, как некоторые из этих инструментов сочетаются друг с другом, и почему они так хороши.
В этой статье будут исследованы соотношения затрат/ценности и преимущества нескольких стеков, ориентированных на работу с данными, а именно MotherDuck / Cube / React (MDCuRe)
Читать: https://habr.com/ru/companies/piter/articles/800515/
@big_data_analysis
Как делить пользователей на группы в АБ-тестах: ошибки и рекомендации
В предыдущих статьях https://habr.com/ru/articles/787098/, https://habr.com/ru/articles/795251/ и https://habr.com/ru/articles/781060/ мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой.
Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon, возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.
Читать: https://habr.com/ru/articles/800809/
@big_data_analysis
В предыдущих статьях https://habr.com/ru/articles/787098/, https://habr.com/ru/articles/795251/ и https://habr.com/ru/articles/781060/ мы рассмотрели основные подводные камни автоматизации и анализу АБ тестов, привели подробный обзор статей по этой теме, а так же рассмотрели типичные задачи аналитика данных. В контексте АБ-тестов одним из ключевых аспектов является механизм разделения на группы, который в терминологии специалистов часто называется сплитовалкой.
Может показаться, что задача элементарная - сгенерировать случайное целое число каждому пользователю с вероятностью 1/n, где n - число групп в АБ тесте. Но на практике, особенно для высоконагруженных сервисов, таких как Ozon, возникает множество архитектурных и платформенных сложностей. В данной статье мы сконцентрируемся на основных принципах деления на группы, принятых в индустрии.
Читать: https://habr.com/ru/articles/800809/
@big_data_analysis
Материалы для подготовки к собеседованию на позицию Data Scientist. Часть 2: Классическое машинное обучение
Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). Мы строим скоринговые (credit scoring), лидогенерационные (lead generation) и антифрод (anti-fraud) модели на телеком данных, а также делаем гео-аналитику (geoanalytics).
В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.
В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по классическому машинному обучению.
Читать: https://habr.com/ru/companies/megafon/articles/800919/
@big_data_analysis
Привет! Меня зовут Артем. Я работаю Data Scientist'ом в компании МегаФон (платформа для безопасной монетизации данных OneFactor). Мы строим скоринговые (credit scoring), лидогенерационные (lead generation) и антифрод (anti-fraud) модели на телеком данных, а также делаем гео-аналитику (geoanalytics).
В предыдущей статье я поделился материалами для подготовки к одному из самых волнительных (для многих) этапов - Live Coding.
В этой статье рассмотрим материалы, которые можно использовать для подготовки к секции по классическому машинному обучению.
Читать: https://habr.com/ru/companies/megafon/articles/800919/
@big_data_analysis