Data Analysis / Big Data
2.83K subscribers
561 photos
4 videos
2 files
2.65K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Forwarded from Нейроканал
Признавайтесь, у кого тут 4 гига, 4 ядра?

На той неделе Google представила решение для разработчиков, столкнувшихся с проблемой нехватки GPU для обучения языковых моделей. Компания выпустила открытый набор инструментов localllm, позволяющий запускать квантованные языковые модели локально на процессоре и в Workstations — полностью управляемой среде разработки Google Cloud.

Если у вас возник вопрос, а что за сущность вообще эти квантованные языковые модели, то вот вам ответ — это оптимизированные модели искусственного интеллекта, предназначенные для работы на устройствах с ограниченными вычислительными ресурсами.

Подробная документация, примеры кода и инструкции по настройке ищите в этом репозитории.

#localllm #llm #инструмент
1
Deploy Network Components for Oracle Fusion Analytics Service Endpoints Internet Access

Deploy in minutes the initial network components necessary for Internet access to Oracle Fusion Analytics service endpoints using Oracle Cloud Shell and the Terraform OCI provider.

Read: https://blogs.oracle.com/analytics/post/deploy-network-components-for-internet-access-to-oracle-fusion-analytics-service-endpoints
Best Practices For Implementing Row-Level Security In Oracle Analytics

Learn how to create high performing row-level security filters.

Read: https://blogs.oracle.com/analytics/post/best-practices-for-implementing-rowlevel-security-in-oracle-analytics-1
7 направлений оптимизации ClickHouse, которые помогают в BI

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?

Читать: https://habr.com/ru/articles/794456/
7 направлений оптимизации ClickHouse, которые помогают в BI

Привет, Хабр! Меня зовут Никита Ильин, я занимаюсь разработкой архитектуры BI-платформы Visiology. Сегодня мы поговорим про оптимизацию ClickHouse — ведущей СУБД, которую все чаще используют для решения задач аналитики на больших объемах данных. В этой статье я расскажу, почему важно оптимизировать ClickHouse, в каких направлениях это можно делать, и почему разумный подход к размещению информации, кэшированию и индексированию особенно важен с точки зрения производительности BI-платформы. Также мы поговорим о том, к каким нюансам нужно готовиться, если вы решаете оптимизировать CH самостоятельно, сколько времени и сил может потребовать этот процесс и почему мы решили “зашить” в новый движок ViQube 2 десятки алгоритмов автоматической оптимизации.
А что там с оптимизацией ClickHouse?

Читать: https://habr.com/ru/companies/visiology/articles/794456/
Побеждаем рутину в Data Science: как перестать быть недопрограммистами и недоисследователями

Профессия Data Scientist сейчас стала особенно привлекательна, вовлекая еще больше энтузиастов и даже евангелистов, благодаря последним достижениям в области генерации текстов и изображений. Внешний фон наводит на мысли, что будни дата сайентиста заполнены исключительно творческой самореализацией, и рутина в процессы его работы никогда не сможет просочиться. Увы, но большую часть DS команд рутина уже поглотила.


Читать: https://habr.com/ru/companies/alfa/articles/788290/
Искусство продуктовой аналитики: как преобразовать цифры в ценные инсайты для бизнеса

В современном мире данные играют все более важную роль в развитии бизнеса. Они позволяют принимать обоснованные и осознанные решения, а также выявлять потенциальные возможности для оптимизации и роста. Однако, необходимо понимать, что накопление большого объема данных само по себе недостаточно для достижения успеха. Чтобы преобразовать цифры в ценные инсайты, требуется искусство продуктовой аналитики.
Узнать подробнее

Читать: https://habr.com/ru/articles/794670/
👍2
Единая модель безопасности в Дельта BI

Для многих компаний анализ больших данных становится обыденной задачей. Этому способствует развитие технологий и снижение стоимости систем хранения. Поэтому сегодня многие компании могут собирать и хранить большие объемы разнородных данных. Кроме сбора и хранения данных, часто возникает необходимость их преобразования в удобный для пользователей вид, в чем помогают различные BI-системы.

Согласно исследованию IDC «Аналитика больших данных» более 50% опрошенных заявляют, что одним из ключевых факторов, влияющих на выбор решения для анализа больших данных является безопасность.

А как обстоят дела с безопасностью в Дельта BI?


Читать: https://habr.com/ru/companies/navicon/articles/794744/
Экзоскелет мощностью 1 лошадиная сила для ежедневных путешествий

Мы все испытывали усталость и беспомощность, таскали тяжелые предметы снаряжения, проходили десятки тысяч шагов, отставали на трассе и в конечном итоге разрушали свои планы.

С оснащенным экзоскелетом Hypershell Omega, вы можете идти на большие расстояния, взбираться на высокие горы, бегать быстро и нести больше груза, или просто идти с меньшими усилиями.


Читать: https://habr.com/ru/articles/794833/
FineBI под микроскопом: Обзор новых функций и улучшений в Q1 2024

Хабр, привет!

Меня зовут Александр Ларин, я являюсь руководителем центра технической поддержки и обучения в GlowByte, а также лидером самого большого в России сообщества FineBI.

Сегодня в нашем фокусе – обновления, которые не оставят равнодушными ни одного бизнес-аналитика. Призываю поднять планку ваших знаний о современных инструментах анализа данных. Если вы, как и я, жаждете узнать о последних обновлениях в мире бизнес-аналитики, то эта статья именно для вас. Развивайтесь вместе с FineBI, чтобы быть на шаг впереди конкурентов в мире данных и аналитики. А тех, кому этого будет недостаточно, приглашаю на наши курсы.


Читать: https://habr.com/ru/companies/glowbyte/articles/795303/
Подготовка к собеседованию на позицию Data Scientist. Часть 1: Live Coding

В данной статье разберемся что такое live coding интервью и как к нему готовиться.

Материал в первую очередь будет полезен Data Scientist'ам и ML инженерам, при этом некоторые разделы, например, Алгоритмы и структуры данных подойдут всем IT специалистам, которым предстоит пройти секцию live coding.


Читать: https://habr.com/ru/companies/megafon/articles/795261/
Forwarded from Нейроканал
OpenAI запустила форум для исследователей ИИ

На нём будут проводиться различные образовательные вебинары, технические беседы, а также множество возможностей для участников (включая исследователей OpenAI) для общения и генерации новых идей.

А тем, кому удастся себя проявить, будут и предложены и оплачиваемые мероприятия, например: оценки моделей, создание наборов оценок и не только. Для вступления необходимо проходить по некоторым критериям, но попробовать точно стоит!

#openai #нейроновости
1
Как связать натуральные ключи с суррогатным в Anchor Modeling

Хранить значения натуральных ключей необходимо, потому что они связывают хранимые данные с реальным миром (внешними классификаторами, реестрами и т.п.), и с ними работают бизнес-пользователи: в выпадающих списках, отчетах и дашбордах. Но в методологии Anchor Modeling для связи таблиц используются только суррогатные ключи, не подверженные изменениям, и это правильно. Поэтому нужно хранить связь натуральных ключей с суррогатным ключом, предпочтительно формата UUIDv7. Как же это сделать в методологии Anchor Modeling?
Получить ответ

Читать: https://habr.com/ru/articles/795689/
How Banks Can Boost Cross-Selling: The Ultimate Guide

We explore how a central CRM system, mobile banking app and analytics software can help banks to succeed in cross-selling.

Read: https://www.scnsoft.com/finance/cross-selling-in-banking-guide
Типичные задачи аналитика. Часть 2. А есть ли тренд?

В первой части статьи на Habr мы рассмотрели классические подходы к оценке изменений метрики при условии ее стационарности. В этом контексте статистические критерии, применяемые в A/B тестировании, оказались весьма эффективными.

Однако, если существует стабильный тренд, например, среднемесячная аудитория увеличивается из года в год, оценка разницы средних за два смежных периода времени может быть некорректной. В таком случае среднее значение предыдущего периода всегда будет отличаться от среднего постпериода, и это часто может быть не связано с исследуемым функционалом.

Одна из причин — тренд не всегда зависит от действий компании и часто является следствием внешних условий. Например, рост аудитории может быть связан с увеличением благосостояния населения, масштабированием бизнеса или сезонными факторами.

Таким образом, наличие или отсутствие тренда является важным аспектом анализа данных. Рассмотрим несколько успешных и неудачных подходов, которые можно применять для решения этой задачи.


Читать: https://habr.com/ru/articles/795251/
1
Banks need emotion recognition software to increase customer loyalty

Banking software consultants advice using text, voice and image analysis software to interpret customers’ emotions and boost customer loyalty.

Read: https://www.scnsoft.com/finance/banks-need-emotion-recognition-software-to-increase-customer-loyalty
👍1
Недвижимость и Big Data: плюсы технологии

Big Data представляет колоссальные массивы информации, собранные с различных платформ — начиная от социальных сетей и заканчивая данными о местоположении. Главное здесь — не сам объем данных, а способность эффективно их анализировать для извлечения значимых выводов.
Как Big Data помогает в работе с данными

Читать: https://habr.com/ru/articles/796923/
1