Data Analysis / Big Data
2.84K subscribers
566 photos
3 videos
2 files
2.76K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Системы для работы с данными: зачем нужны и как их построить

Рассказываем, как построить качественную инфраструктуру для работы с данными, какие нужны специалисты и как выйти с решением на рынок.

Читать: «Системы для работы с данными: зачем нужны и как их построить»
👍1
Extending Fusion Analytics - Part 1 of 4

Welcome to part one, "Starting your Fusion Analytics extensibility journey", of this four-part blog series sharing insight into exploiting Fusion data with Fusion Analytics (FAW) and how to utilise FAW’s power to deliver greater insights beyond those based on Fusion data alone. We will follow an analytics path that many Fusion customers take, exploring the various scenarios they encounter and evaluate on their analytics journey.

Read: https://blogs.oracle.com/analytics/post/extending-fusion-analytics---part-1
Provisioning Private Oracle Fusion Analytics

This post describes provisioning Private Fusion Analytics.

Read: https://blogs.oracle.com/analytics/post/provisioning-private-oracle-fusion-analytics
Recap: A Data Catalog for People Who Hate Data Catalogs

Read: https://www.dataengineeringweekly.com/p/recap-a-data-catalog-for-people-who
Extending Fusion Analytics - Part 4 of 4

Welcome to part four, "Further accelerating time to insight with Fusion Analytics", of this four-part blog series sharing insight into exploiting Fusion data with Fusion Analytics (FAW) and how to utilise FAW’s power to deliver greater insights beyond those based on Fusion data alone. We will follow an analytics path that many Fusion customers take, exploring the various scenarios they encounter and evaluate on their analytics journey.

Read: https://blogs.oracle.com/analytics/post/extending-fusion-analytics---part-4
Extending Fusion Analytics - Part 3 of 4

Welcome to part three, "Leveraging the power of the Fusion Analytics platform", of this four-part blog series sharing insight into exploiting Fusion data with Fusion Analytics (FAW) and how to utilise FAW’s power to deliver greater insights beyond those based on Fusion data alone. We will follow an analytics path that many Fusion customers take, exploring the various scenarios they encounter and evaluate on their analytics journey.

Read: https://blogs.oracle.com/analytics/post/extending-fusion-analytics---part-3
Extending Fusion Analytics - Part 2 of 4

Welcome to part two, "Moving beyond Fusion data & delivering deeper insights with Fusion Analytics", of this four-part blog series sharing insight into exploiting Fusion data with Fusion Analytics (FAW) and how to utilise FAW’s power to deliver greater insights beyond those based on Fusion data alone. We will follow an analytics path that many Fusion customers take, exploring the various scenarios they encounter and evaluate on their analytics journey.

Read: https://blogs.oracle.com/analytics/post/extending-fusion-analytics---part-2
Парсили сайты, парсим и будем парсить. И не нужно этому мешать

Здравствуйте, меня зовут Максим Кульгин. Моя компания xmldatafeed.com занимается парсингом много лет. На днях мы вернули 16 000 руб. клиенту, так как не смогли парсить весь iherb.com с нужной клиенту скоростью (а там очень много товаров). Проверил и оказалось, что это единичный случай за весь год и родилась эта, чуть-чуть философская статья.

Одна из наших прошлых статей (самостоятельный парсинг сайтов) спровоцировала острые дискуссии среди читателей. И в комментариях к статье, и в нашем телеграм-канале (пишем, в том числе, про заработок на парсинге) обсуждение дилеммы «человек против роботов» (здравствуй, Будущее!) перевело взгляд в философскую плоскость. Все технические разговоры про парсинг неизменно сводятся к рассмотрению средств противодействия ботам и способам это противодействие нейтрализовать.


Читать: https://habr.com/ru/post/709386/
Concert venue ticket pricing analytics - Part 2: Using an image as a map

Can a concert venue realize the revenue currently captured by ticket-resellers by raising ticket prices? By how much, for which seats, and for which concert genres? In part 2 of this series, learn how to upload an image to serve as a “map” to enhance the analysis.

Read: https://blogs.oracle.com/analytics/post/concert-venue-ticket-pricing-analytics-2
NER в поисках брендов. Часть 1

Опыт показывает, что построение результативных коммуникаций в маркетинге требует пристального изучения целевой аудитории и неочевидных знаний о ней. А значит, нужны новые подходы. Наши специалисты из CleverData предлагают использовать практику data science и рассмотреть один из таких подходов, как бренд-анализ. Хотим поделиться опытом, как с помощью NER (техники распознавания именованных сущностей) мы начали выделять бренды в покупках целевой аудитории одного из европейских производителей автомобилей. Оказалось, что эта аудитория предпочитает бутилированную воду, товары для взрослых Durex и электронику Apple. Расскажем, как мы пришли к таким выводам и чем они могут быть полезны.


Читать: https://habr.com/ru/post/708414/
👍1
Разметка данных: бизнес на миллиарды долларов, лежащий в основе прогресса AI

Когда два года назад Лэй Ван стала аннотатором данных, её работа была относительно простой: определять гендер людей на фотографиях. Но с тех пор Ван заметила, что сложность её задач становится всё выше: от разметки гендера до разметки возраста, от рамок вокруг 2D-объектов до 3D-разметки, от фотографий при дневном свете до сцен ночью и в тумане, и так далее.

Ван 25 лет. Она работала секретарём в приёмной, однако когда в 2017 году её компания закрылась, друг, работавший разработчиком алгоритмов, предложил ей исследовать новый карьерный путь в аннотировании данных — процессе разметки данных, позволяющем применять их в системах искусственного интеллекта, особенно с использованием машинного обучения с учителем. Став безработной, она решила рискнуть.

Два года спустя Ван уже работала помощником проект-менеджера в пекинской компании Testin. Обычно она начинает свой рабочий день со встречи с клиентами, которые в основном представляют китайские технологические компании и стартапы в сфере AI. Клиент сначала передаёт ей в качестве теста небольшую долю массива данных. Если результаты удовлетворяют требованиям, Ван получает массив данных полностью. Затем она передаёт его производственной команде, обычно состоящей из десяти разметчиков и трёх контролёров. Такие команды настроены на эффективность и могут, например, аннотировать 10 тысяч изображений для распознавания дорожных полос примерно за восемь дней с точностью в 95%.


Читать: https://habr.com/ru/post/706974/
Connecting Oracle Analytics Cloud to Apache Hive on OCI Big Data Service residing at different OCI region

This article guides you in setting up connectivity between Oracle Analytics Cloud & OCI Big Data Services (BDS) when both the services are deployed in different OCI regions.
The article provides step-by-step instructions for configuring the Virtual Cloud Network (VCN) & OCI Big Data Service (BDS) that hosts the Apache Hive Service deployed in Phoenix region making it accessible from Oracle Analytics Cloud which is deployed in Ashburn region. No system can access it over the public Internet.

Read: https://blogs.oracle.com/analytics/post/connecting-oracle-analytics-cloud-to-apache-hive-on-oci-big-data-service-residing-at-different-oci-region
ETL и коннекторы к источникам данных: российские реалии

За время работы над аналитическими отчетами по рынку отечественных BI-систем, о которых я уже рассказывал, мы поняли, что есть потребность в обзоре еще одного компонента – а вернее, даже двух связанных с BI. Речь про ETL и коннекторы. Им и посвящено наше новое исследование ETL-круг Громова.

Зачем?

Сейчас есть насущная необходимость в агрегированной информации о российских решениях. Да, в какой-то степени этот вопрос может закрыть всем известный реестр отечественного софта. Но, во-первых, там есть далеко не все решения. А во-вторых, информация о ПО там далеко не полная. Ведь кроме технических параметров нужно разобраться со многими другими, причем желательно в сравнении – реестр этого не позволяет сделать.

Вторая причина запуска исследования в том, что не все BI-платформы имеют собственные встроенные ETL, а значит, выбор ETL тесно связан с выбором BI-платформы. И раз уж последние мы регулярно изучаем, то и первым необходимо уделить определенное внимание.

Ну и третье: рынок российских ETL и коннекторов хоть, на наш взгляд, пока недостаточно развит, но он уже сформировался. Есть ряд сильных и сравнительно известных продуктов, но есть и быстро развивающиеся и весьма перспективные, потенциально способные изменить расклад на рынке. И сейчас, когда многим приходится искать замены для ранее используемых решений, информация о наличии российских предложений весьма актуальна.


Читать: https://habr.com/ru/post/709996/
Знакомство с Fugue — уменьшаем шероховатости при работе с PySpark

Автор оригинальной статьи: Kevin Kho

Повышение производительности разработчиков и снижение затрат на проекты Big Data


Читать: https://habr.com/ru/post/710338/
Create and schedule aggregates without an ETL tool in Oracle Fusion Analytics Warehouse

As enterprise data volumes surge, customers of Oracle Fusion Analytics Warehouse often need to create custom aggregate tables. This article addresses this critical need by outlining how custom aggregates can be created from transactional fact tables and scheduled automatically.

Read: https://blogs.oracle.com/analytics/post/faw_create-schedule-aggregates
👍1