Почему стоит использовать Apache Airflow?
Apache Airflow — это мощный инструмент для управления сложными данными. Он позволяет удобно планировать задачи, упорядочивать их выполненеие и анализировать результаты с помощью визуального интерфейса. Узнайте больше о фичах, которые помогут эффективно управлять данными!
Читать подробнее
___
Другие наши проекты
Apache Airflow — это мощный инструмент для управления сложными данными. Он позволяет удобно планировать задачи, упорядочивать их выполненеие и анализировать результаты с помощью визуального интерфейса. Узнайте больше о фичах, которые помогут эффективно управлять данными!
Читать подробнее
___
Другие наши проекты
👍1
Создание и обработка Excel файлов с использованием Python
Всем привет! Работа с Excel файлами — одна из частых задач, встречающихся в повседневной разработке. В этой статье рассмотрим, как с помощью Python можно создавать, заполнять, и стилизовать Excel файлы. Для этого мы будем использовать библиотеки pandas, openpyxl и faker (для тестов).
Читать: https://habr.com/ru/articles/824050/
@big_data_analysis
___
Другие наши проекты | Чата аналитиков данных
Всем привет! Работа с Excel файлами — одна из частых задач, встречающихся в повседневной разработке. В этой статье рассмотрим, как с помощью Python можно создавать, заполнять, и стилизовать Excel файлы. Для этого мы будем использовать библиотеки pandas, openpyxl и faker (для тестов).
Читать: https://habr.com/ru/articles/824050/
@big_data_analysis
___
Другие наши проекты | Чата аналитиков данных
strtree — классификатор строк на основе регулярных выражений
Вы хотите найти короткие регулярные выражения, полно и точно отделяющие один класс строк от другого? Это статья для вас. Мы поговорим про задачу классификации строк с помощью автоматически определяемых паттернов, а в конце я предоставлю пример такой процедуры с кодом на Python. Пользоваться мы будем небольшой open-source библиотекой strtree.
Читать: https://habr.com/ru/articles/824544/
@big_data_analysis
___
Другие наши проекты | Чата аналитиков данных
Вы хотите найти короткие регулярные выражения, полно и точно отделяющие один класс строк от другого? Это статья для вас. Мы поговорим про задачу классификации строк с помощью автоматически определяемых паттернов, а в конце я предоставлю пример такой процедуры с кодом на Python. Пользоваться мы будем небольшой open-source библиотекой strtree.
Читать: https://habr.com/ru/articles/824544/
@big_data_analysis
___
Другие наши проекты | Чата аналитиков данных
Восстановление после сбоев Oracle Analytics Server на Oracle Cloud
В статье обсуждается использование инструмента OCI Full Stack Disaster Recovery для обеспечения непрерывной работы Oracle Analytics Server в облаке Oracle. Решение позволяет быстро восстановить данные и минимизировать потери при сбоях.
Читать подробнее
___
Другие наши проекты
В статье обсуждается использование инструмента OCI Full Stack Disaster Recovery для обеспечения непрерывной работы Oracle Analytics Server в облаке Oracle. Решение позволяет быстро восстановить данные и минимизировать потери при сбоях.
Читать подробнее
___
Другие наши проекты
Oracle
Disaster Recovery of Oracle Analytics Server on Oracle Cloud using OCI Full Stack Disaster Recovery
Как создать отчет о разрешениях каталога в Oracle Analytics Cloud с помощью REST API
Узнайте, как с помощью REST API создать детальный отчет о разрешениях каталога в Oracle Analytics Cloud. Статья объясняет все шаги, начиная с подключения к API и заканчивая анализом полученных данных.
Читать подробнее
___
Другие наши проекты
Узнайте, как с помощью REST API создать детальный отчет о разрешениях каталога в Oracle Analytics Cloud. Статья объясняет все шаги, начиная с подключения к API и заканчивая анализом полученных данных.
Читать подробнее
___
Другие наши проекты
Oracle
How to Create a Catalog Permissions Report in Oracle Analytics Cloud using REST APIs
Oracle Analytics признан лидером 2024 года!
Поздравляем сообщество Oracle Analytics с достижением значительного успеха. Благодаря их усилиям Oracle Analytics был признан лидером в Magic Quadrant от Gartner по аналитике и бизнес-интеллекту за 2024 год.
Читать подробнее
___
Другие наши проекты
Поздравляем сообщество Oracle Analytics с достижением значительного успеха. Благодаря их усилиям Oracle Analytics был признан лидером в Magic Quadrant от Gartner по аналитике и бизнес-интеллекту за 2024 год.
Читать подробнее
___
Другие наши проекты
Oracle
Oracle Analytics Named a Leader in the 2024 Gartner® Magic Quadrant™ for Analytics & Business Intelligence Platforms
Congratulations to the Oracle Analytics community on their analytics leadership, which has helped Oracle Analytics become a leader in the Gartner ABI Magic Quadrant.
Ускорение Python в 2 раза с помощью multiprocessing, async и MapReduce
Python действительно может считаться относительно медленным языком программирования по сравнению с некоторыми другими языками, такими как C++ или Java. Однако, существуют различные библиотеки и инструменты, которые позволяют ускорить выполнение счетных задач в Python. Рассмотрим как можно ускорить анализ данных в 2 раза!
Читать: https://habr.com/ru/articles/825206/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Python действительно может считаться относительно медленным языком программирования по сравнению с некоторыми другими языками, такими как C++ или Java. Однако, существуют различные библиотеки и инструменты, которые позволяют ускорить выполнение счетных задач в Python. Рассмотрим как можно ускорить анализ данных в 2 раза!
Читать: https://habr.com/ru/articles/825206/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Как упаковать бэкенд-код на Go для аналитики на базе Spark
Всем привет! Я Ваня Ахлестин, занимаюсь поддержкой и развитием аналитической платформы кластера Search&Recommendations на базе Spark и Hadoop в Авито. Сегодня расскажу, как начать использовать ваш код из Python или PySpark и не тратить много времени дорогих разработчиков.
Читать: https://habr.com/ru/companies/avito/articles/824746/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Всем привет! Я Ваня Ахлестин, занимаюсь поддержкой и развитием аналитической платформы кластера Search&Recommendations на базе Spark и Hadoop в Авито. Сегодня расскажу, как начать использовать ваш код из Python или PySpark и не тратить много времени дорогих разработчиков.
Читать: https://habr.com/ru/companies/avito/articles/824746/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
👍1
GigaChat + RAG: как гига нам инструкции для разметки пишет в 3 раза быстрее
Почти за всем хорошим ML стоят хорошие данные. И так получилось, что таких данных часто нет и их приходится добывать, а даже добыв, из них нужно сделать что-то подходящее, и (если сильно огрубить) такой процесс называется разметкой.
Разметка — такая штука, когда все в индустрии делают примерно одно и то же, но чуть-чуть или сильно по разному. Разметка — очень нудная штука сама по себе, и потому ее запуском, отладкой и настройкой инженеры заниматься вот совсем не любят. Сам процесс довольно монотонен, но когда у тебя мультимодальный конвейер из поступающих данных, то делать всяческие инструменты для разметки и предлагать инженерам решения без их участия — это весело!
Одна из наших важнейших метрик, помимо качества результата, это позаимствованный у бизнеса термин ttm (time to market), что в нашем случае — время от момента прихода клиента с идеей по момент продуманного запуска его задачи в разметку.
В этой статье — пошагово о том, как мы не только ускорили написание инструкций, но и даже попутно повысили их качество. Идея — гениально проста, рецепт — повторяем, эффект — огонь.
Расчехляйте вашу LLM, закатайте рукава, тут есть много работки!
Читать: https://habr.com/ru/articles/825606/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Почти за всем хорошим ML стоят хорошие данные. И так получилось, что таких данных часто нет и их приходится добывать, а даже добыв, из них нужно сделать что-то подходящее, и (если сильно огрубить) такой процесс называется разметкой.
Разметка — такая штука, когда все в индустрии делают примерно одно и то же, но чуть-чуть или сильно по разному. Разметка — очень нудная штука сама по себе, и потому ее запуском, отладкой и настройкой инженеры заниматься вот совсем не любят. Сам процесс довольно монотонен, но когда у тебя мультимодальный конвейер из поступающих данных, то делать всяческие инструменты для разметки и предлагать инженерам решения без их участия — это весело!
Одна из наших важнейших метрик, помимо качества результата, это позаимствованный у бизнеса термин ttm (time to market), что в нашем случае — время от момента прихода клиента с идеей по момент продуманного запуска его задачи в разметку.
В этой статье — пошагово о том, как мы не только ускорили написание инструкций, но и даже попутно повысили их качество. Идея — гениально проста, рецепт — повторяем, эффект — огонь.
Расчехляйте вашу LLM, закатайте рукава, тут есть много работки!
Читать: https://habr.com/ru/articles/825606/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
PandasA — кратно ускоряем работу аналитика данных в одну строчку
Ускоряем написание кода при работе с таблицами и библиотекой Pandas с помощью PandasAI в несколько раз за пару строк. Хитрецы уже используют ...
Читать: https://habr.com/ru/articles/825572/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Ускоряем написание кода при работе с таблицами и библиотекой Pandas с помощью PandasAI в несколько раз за пару строк. Хитрецы уже используют ...
Читать: https://habr.com/ru/articles/825572/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Графы в рекомендательных системах [часть 1]
Привет, ХАБР! Недавно я писал научную статью с AIRI по графовым рекомендательным системам. Это был мой первый практический опыт работы с этой технологией, поэтому пришлось углубиться в исследования и изучение доступных материалов. Я решил, что пока я разбираюсь в этой теме, было бы полезно поделиться своими находками с вами.
Эта статья будет частью серии, состоящей из двух или трех частей. В первой части мы рассмотрим базовые понятия, концепции и простые модели, а также выделим их ключевые особенности. Вторую часть напишут мои знакомые из WildRecSys, где они расскажут о lightGCN и поделятся своим опытом использования этой модели. Все остальные части можно будет найти в моем телеграм канале, поэтому приглашаю подписаться что бы не пропустить, а вам приятного чтения.
📖 Идем разбираться!
Читать: https://habr.com/ru/articles/825896/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Привет, ХАБР! Недавно я писал научную статью с AIRI по графовым рекомендательным системам. Это был мой первый практический опыт работы с этой технологией, поэтому пришлось углубиться в исследования и изучение доступных материалов. Я решил, что пока я разбираюсь в этой теме, было бы полезно поделиться своими находками с вами.
Эта статья будет частью серии, состоящей из двух или трех частей. В первой части мы рассмотрим базовые понятия, концепции и простые модели, а также выделим их ключевые особенности. Вторую часть напишут мои знакомые из WildRecSys, где они расскажут о lightGCN и поделятся своим опытом использования этой модели. Все остальные части можно будет найти в моем телеграм канале, поэтому приглашаю подписаться что бы не пропустить, а вам приятного чтения.
📖 Идем разбираться!
Читать: https://habr.com/ru/articles/825896/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Настройка собственных имен хостов для доступа к Oracle Fusion Analytics
Узнайте, как подготовить сетевые компоненты с пользовательскими именами хостов для доступа к конечным точкам службы Oracle Fusion Analytics. Обеспечьте бесперебойное соединение и безопасность вашего корпоративного анализа. В статье подробно описаны все шаги настройки.
Читать подробнее
___
Другие наши проекты
Узнайте, как подготовить сетевые компоненты с пользовательскими именами хостов для доступа к конечным точкам службы Oracle Fusion Analytics. Обеспечьте бесперебойное соединение и безопасность вашего корпоративного анализа. В статье подробно описаны все шаги настройки.
Читать подробнее
___
Другие наши проекты
Oracle
Prepare Custom Hostnames for Oracle Fusion Analytics Service Endpoints Internet Access
Prepare Custom Hostnames Internet Access Network Components for Oracle Fusion Analytics Service Endpoints
👍1
Какой у вас профессиональный уровень в IT?
Anonymous Poll
24%
Ещё не работаю в IT
4%
Intern / Стажер-разработчик или т.п.
17%
Junior / Младший разработчик или т.п.
30%
Middle / «Миддл»
7%
Senior / Старший разработчик или т.п.
7%
(Team) Lead / Руководитель команды, группы и т.п. или ведущий разработчик
1%
Руководитель разработки, департамента, топ-менеджер
8%
Связан с IT, но не занимаюсь и не руковожу разработкой (дизайнер, аналитик, продакт, ...)
2%
Другое (пожалуйста, укажите в комментариях ваш вариант)
SQL или Python для трансформаций данных?
Статья рассматривает выбор между SQL и Python для трансформаций данных. Обсуждаются критерии выбора движка выполнения и интерфейса кодирования, такие как производительность, тип данных и потребности проекта. Важно учитывать рабочую нагрузку, расход ресурсов и удобство сопровождения.
Читать подробнее
___
Другие наши проекты
Статья рассматривает выбор между SQL и Python для трансформаций данных. Обсуждаются критерии выбора движка выполнения и интерфейса кодирования, такие как производительность, тип данных и потребности проекта. Важно учитывать рабочую нагрузку, расход ресурсов и удобство сопровождения.
Читать подробнее
___
Другие наши проекты
👍2
Графовые сети в рекомендательных системах
Всем привет! Меня зовут Александр Тришин, я работаю DS в команде персональных рекомендаций Wildberries и занимаюсь графовыми нейросетями.
Это был мой первый опыт работы с графовыми сетями, и мне пришлось погрузиться в изучение статей и проведение собственных экспериментов. В процессе я нашел много интересного и полезного, поэтому решил поделиться своими находками с вами. В результате графовая нейросеть используется в качестве кандидатной модели для увеличения exploration.
В этой публикации я расскажу вам о LightGCN и не только. Вспомним, что такое сверточные графовые сети, их основные компоненты и принципы работы: подробно разберем модель на user-item графе, после перейдём к item-item графу. Затем познакомимся с моделью LightGCN: рассмотрим архитектуру, процесс обучения, недостатки (медленная сходимость и смещение в популярное) и варианты их устранения. А в конце посмотрим, как это всё применять на практике: обучим сетку на датасете Movielens-25m, замерим метрики, столкнёмся с проблемами LightGCN и вместе их решим! Ноутбук прилагается 🤓
Читать: https://habr.com/ru/companies/wildberries/articles/826422/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Всем привет! Меня зовут Александр Тришин, я работаю DS в команде персональных рекомендаций Wildberries и занимаюсь графовыми нейросетями.
Это был мой первый опыт работы с графовыми сетями, и мне пришлось погрузиться в изучение статей и проведение собственных экспериментов. В процессе я нашел много интересного и полезного, поэтому решил поделиться своими находками с вами. В результате графовая нейросеть используется в качестве кандидатной модели для увеличения exploration.
В этой публикации я расскажу вам о LightGCN и не только. Вспомним, что такое сверточные графовые сети, их основные компоненты и принципы работы: подробно разберем модель на user-item графе, после перейдём к item-item графу. Затем познакомимся с моделью LightGCN: рассмотрим архитектуру, процесс обучения, недостатки (медленная сходимость и смещение в популярное) и варианты их устранения. А в конце посмотрим, как это всё применять на практике: обучим сетку на датасете Movielens-25m, замерим метрики, столкнёмся с проблемами LightGCN и вместе их решим! Ноутбук прилагается 🤓
Читать: https://habr.com/ru/companies/wildberries/articles/826422/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Инфраструктура для data engineer S3
S3 – это один из сервисов, который используется для построения Data Lake и обмена файлами.
В этой статье рассказывается о технологии S3 со стороны дата-инженерии.
Мы в статье рассмотрим как развернуть сервис, как им пользоваться и зачем он нужен в дата-инженерии
Читать: https://habr.com/ru/articles/827052/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
S3 – это один из сервисов, который используется для построения Data Lake и обмена файлами.
В этой статье рассказывается о технологии S3 со стороны дата-инженерии.
Мы в статье рассмотрим как развернуть сервис, как им пользоваться и зачем он нужен в дата-инженерии
Читать: https://habr.com/ru/articles/827052/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
👍4
Создание голосового ассистента на Python с классификацией пользователей на основе нейронных сетей (аналог FaceID)
Всем привет!
Возвращаюсь к теме применения нейронных сетей в личных целях. На этот раз будем запускать долгий проект, по созданию голосового ассистента (ГА). Создать свою Алису или Siri довольно просто, есть уже много статей на Хабр (и не только), которые подробно описывают основные принципы, но чтобы было действительно профессионально и интересно мы углубимся в эту тему и «прикрутим» нейронные сети к нашему ГА. И в первой части начнем с того, что научим нашего голосового ассистента распознавать человека, который в данный момент пользуется компьютером.
Такой проект отлично будет смотреть в любом портфолио, тут будет присутствовать, как и общее программирование на Python, так и взаимодействие с нейронными сетями. Я считаю, что любой начинающий или практикующий питонист (аналитик, специалист по машинному обучению) разобрав, поняв, доработав (нужное подчеркнуть) данный проект, отлично прокачает свои навыки.
Первую часть нашего большого проекта поделим на несколько этапов:
Читать: https://habr.com/ru/articles/827216/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Всем привет!
Возвращаюсь к теме применения нейронных сетей в личных целях. На этот раз будем запускать долгий проект, по созданию голосового ассистента (ГА). Создать свою Алису или Siri довольно просто, есть уже много статей на Хабр (и не только), которые подробно описывают основные принципы, но чтобы было действительно профессионально и интересно мы углубимся в эту тему и «прикрутим» нейронные сети к нашему ГА. И в первой части начнем с того, что научим нашего голосового ассистента распознавать человека, который в данный момент пользуется компьютером.
Такой проект отлично будет смотреть в любом портфолио, тут будет присутствовать, как и общее программирование на Python, так и взаимодействие с нейронными сетями. Я считаю, что любой начинающий или практикующий питонист (аналитик, специалист по машинному обучению) разобрав, поняв, доработав (нужное подчеркнуть) данный проект, отлично прокачает свои навыки.
Первую часть нашего большого проекта поделим на несколько этапов:
Читать: https://habr.com/ru/articles/827216/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Услуги Data Warehouse от ScienceSoft
ScienceSoft с 2005 года предоставляет услуги по дата-вахтингам: консультации, разработка, поддержка и миграция. Компания помогает клиентам объединять данные в эффективные DWH решения для улучшения аналитики и отчетности. Узнайте больше о возможностях и обратитесь за консультацией. ScienceSoft: Преимущества построения DWH решений
ScienceSoft помогает компаниям строить эффективные DWH решения, снижая проектные и эксплуатационные затраты до 80%. Примеры успешных проектов включают построение хранилищ данных для авиакосмической, автомобильной, банковской и других отраслей. Убедитесь сами в их эффективности! ScienceSoft помогает bioAffinity Technologies в диагностике рака легких
bioAffinity Technologies выбрала ScienceSoft для разработки ПО автоматизированного анализа данных для выявления рака легких. Проект потребовал внедрения сложной отраслевой методологии и интеграции с медицинскими системами, что ScienceSoft успешно реализовала благодаря глубокому пониманию лабораторного ПО.
Читать подробнее
___
Другие наши проекты
ScienceSoft с 2005 года предоставляет услуги по дата-вахтингам: консультации, разработка, поддержка и миграция. Компания помогает клиентам объединять данные в эффективные DWH решения для улучшения аналитики и отчетности. Узнайте больше о возможностях и обратитесь за консультацией. ScienceSoft: Преимущества построения DWH решений
ScienceSoft помогает компаниям строить эффективные DWH решения, снижая проектные и эксплуатационные затраты до 80%. Примеры успешных проектов включают построение хранилищ данных для авиакосмической, автомобильной, банковской и других отраслей. Убедитесь сами в их эффективности! ScienceSoft помогает bioAffinity Technologies в диагностике рака легких
bioAffinity Technologies выбрала ScienceSoft для разработки ПО автоматизированного анализа данных для выявления рака легких. Проект потребовал внедрения сложной отраслевой методологии и интеграции с медицинскими системами, что ScienceSoft успешно реализовала благодаря глубокому пониманию лабораторного ПО.
Читать подробнее
___
Другие наши проекты
Scnsoft
Data Warehouse Services – ScienceSoft
Rendering data warehouse services: design, development, and consulting. Cloud, on-premises, and hybrid solutions. High-performing DWH no matter what!
Предсказание выбытия насосов или как я вошел в data science
Всем привет, меня зовут Богдан. В ML я начал свое посвящение осенью 2023 года и за этот год успел поработать над таким неоднозначным проектом как "Предсказание выбытия насосов". На данную тему на Хабре уже есть несколько статей, которые я в своё время нашел и опыт которых я пытался перенести в свой учебный big data пет проект :)
ссылки на других ребят тут: ссылка 1 и ссылка 2
Хочу сказать что в данной статье не будет кода, она будет посвящена размышлениям, неудачам и иногда смешным попыткам решить данную проблему. Ну а также наверное где-то я буду кидать ссылки на совершенно разные вещи и немного похвастаюсь нашим финальным решением и тем, к чему меня привело участие во всем этом.
Если вы хотите посмотреть на то как это реализовано под капотом, то добро пожаловать в репу на гитхабе
Здесь расписано множество вещей, которые я успел попробовать пока работал над этой задачей в них входят как удачные решения, так и не очень.
Читать: https://habr.com/ru/articles/827242/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
Всем привет, меня зовут Богдан. В ML я начал свое посвящение осенью 2023 года и за этот год успел поработать над таким неоднозначным проектом как "Предсказание выбытия насосов". На данную тему на Хабре уже есть несколько статей, которые я в своё время нашел и опыт которых я пытался перенести в свой учебный big data пет проект :)
ссылки на других ребят тут: ссылка 1 и ссылка 2
Хочу сказать что в данной статье не будет кода, она будет посвящена размышлениям, неудачам и иногда смешным попыткам решить данную проблему. Ну а также наверное где-то я буду кидать ссылки на совершенно разные вещи и немного похвастаюсь нашим финальным решением и тем, к чему меня привело участие во всем этом.
Если вы хотите посмотреть на то как это реализовано под капотом, то добро пожаловать в репу на гитхабе
Здесь расписано множество вещей, которые я успел попробовать пока работал над этой задачей в них входят как удачные решения, так и не очень.
Читать: https://habr.com/ru/articles/827242/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
7 способов выгрузить данные из 1С для бизнес-аналитики
При загрузке данных из 1С во внешнюю BI-платформу обычно возникают трудности. 1C – закрытая проприетарная система, подключиться к которой напрямую и просто выгрузить данные без нарушения лицензионной политики нельзя.
Как решить эту проблему?
Рассматриваем 7 самых популярных способов извлечения данных из 1С для бизнес-аналитики, их плюсы и минусы.
Читать: https://habr.com/ru/articles/827992/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных
При загрузке данных из 1С во внешнюю BI-платформу обычно возникают трудности. 1C – закрытая проприетарная система, подключиться к которой напрямую и просто выгрузить данные без нарушения лицензионной политики нельзя.
Как решить эту проблему?
Рассматриваем 7 самых популярных способов извлечения данных из 1С для бизнес-аналитики, их плюсы и минусы.
Читать: https://habr.com/ru/articles/827992/
@big_data_analysis
___
Другие наши проекты | Чат аналитиков данных