DataHub: веб-песочница для тех, кто изучает SQL
Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.
Читать: https://habr.com/ru/articles/731158/
Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.
Читать: https://habr.com/ru/articles/731158/
Were the U.S. polls accurate?
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/04/were-the-us-polls-accurate.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/04/were-the-us-polls-accurate.html
Как рассчитать скидку за первый и последний этаж почти без формул в Excel
В продолжение рассказов о Big Data для простых смертных предлагаем попробовать себя в решении жилищного вопроса: как отличаются цены за квадратный метр на разных этажах. Житейская польза от этой заметки заключается в получении без особых усилий и без специальных навыков достоверных знаний об ожиданиях на рынке недвижимости. Государство скрывает цены реальных сделок, но иметь адекватное представление о настроениях продавцов можно и без знакомого опытного риелтора, сына маминой подруги.
Статья представляет собой простую иллюстрированную инструкцию по решению задачи анализа этажности городской застройки, в т.ч. расчет скидок за первый и последний этажи. В качестве модельного города принят Брянск. Расчетный файл прилагается и его листы пронумерованы в последовательности выполненных операций. Шаблон расчета легко адаптировать для другого города и вида недвижимости.
Изложенный подход призван аргументировать представление о том, что Big Data не является прерогативой дата сатанистов, но в известной степени доступен неспециалистам. Материал может быть интересен всем, кроме работающих с данными профессионально. Приведенные приемы будут востребованы в работе с данными для риелторов и оценщиков без навыков программирования. Технохардкор в данном случае заключается не в инсайтах применения фреймворков типа MapReduce, а в реализации всего пайплайна средствами общеизвестного офисного приложения.
Инструкция состоит из двух частей. В первой части изложен порядок подготовки, первичного ознакомления с данными и уточнения цели исследования. Во второй части дается расчет скидки за этаж.
Читать: https://habr.com/ru/articles/731100/
В продолжение рассказов о Big Data для простых смертных предлагаем попробовать себя в решении жилищного вопроса: как отличаются цены за квадратный метр на разных этажах. Житейская польза от этой заметки заключается в получении без особых усилий и без специальных навыков достоверных знаний об ожиданиях на рынке недвижимости. Государство скрывает цены реальных сделок, но иметь адекватное представление о настроениях продавцов можно и без знакомого опытного риелтора, сына маминой подруги.
Статья представляет собой простую иллюстрированную инструкцию по решению задачи анализа этажности городской застройки, в т.ч. расчет скидок за первый и последний этажи. В качестве модельного города принят Брянск. Расчетный файл прилагается и его листы пронумерованы в последовательности выполненных операций. Шаблон расчета легко адаптировать для другого города и вида недвижимости.
Изложенный подход призван аргументировать представление о том, что Big Data не является прерогативой дата сатанистов, но в известной степени доступен неспециалистам. Материал может быть интересен всем, кроме работающих с данными профессионально. Приведенные приемы будут востребованы в работе с данными для риелторов и оценщиков без навыков программирования. Технохардкор в данном случае заключается не в инсайтах применения фреймворков типа MapReduce, а в реализации всего пайплайна средствами общеизвестного офисного приложения.
Инструкция состоит из двух частей. В первой части изложен порядок подготовки, первичного ознакомления с данными и уточнения цели исследования. Во второй части дается расчет скидки за этаж.
Читать: https://habr.com/ru/articles/731100/
🔥1
Enable custom scripts for machine learning and data curation in Oracle Analytics Server
This article walks you through how to enable machine learning for Oracle Analytics Server.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-and-machine-learning-enablement
This article walks you through how to enable machine learning for Oracle Analytics Server.
Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-and-machine-learning-enablement
Oracle
Oracle Analytics Server and Machine Learning enablement
this blog will walk users through how to enable Machine Learning on their Oracle Analytics Server deployment.
The Anatomy of a Map in Oracle Analytics Cloud
Read this post to quickly understand how to work with map layers that can enhance your analysis.
Read: https://blogs.oracle.com/analytics/post/the-anatomy-of-a-map-in-oracle-analytics-cloud
Read this post to quickly understand how to work with map layers that can enhance your analysis.
Read: https://blogs.oracle.com/analytics/post/the-anatomy-of-a-map-in-oracle-analytics-cloud
Oracle
The Anatomy of a Map in Oracle Analytics Cloud
Read this post to quickly understand how to work with map layers that can enhance your analysis.
Какой у вас опыт работы в IT?
Anonymous Poll
25%
Пока что нет опыта
13%
Менее 1 года
12%
1-2 года
17%
2-4 года
10%
4-6 лет
3%
6-10 лет
3%
10-15 лет
10%
Более 15 лет
6%
Посмотреть результаты
Как мы делали скоринг на микросервисной архитектуре руками не-программистов
2023 год — год противоречивых сигналов для будущего IT-отрасли и, в частности, занятости айтишников.
С одной стороны, с поголовной цифровизацией всех сфер и процессов экономики растёт спрос на разработчиков — что, безусловно, плюс для айтишников.
С другой — необходимость участия программистов во многих прежде «аналоговых» процессах как таковая стала превращаться в препятствие для цифровизации. Естественным образом, со стороны заказчиков и работодателей возник спрос на решения, которые позволят оцифровывать и автоматизировать процессы без необходимости заменять весь прежний штат программистами. Компании ищут выходы где угодно, включая надежды на то, что программистов заменят нейросети.
В реальности все, кто хоть немного разбираются в вопросе, понимают, что до этого далеко: во многих чувствительных областях нейросети, возможно, никогда не заменят человека — потому что с человека можно спросить за ошибки, а с нейросети взятки гладки. Реальным ответом на запрос рынка видятся сегодня low-code и no-code — то есть, технологии создания ПО с помощью визуального редактора с минимальным написанием кода или без написания кода вообще.
С другой стороны, стандартом становится постепенный переход к микросервисной архитектуре. Это подход, при котором единое приложение строится как набор небольших сервисов, каждый из которых работает в собственном процессе и коммуницирует с остальными используя легковесные механизмы, как правило HTTP. Эти сервисы построены вокруг бизнес-потребностей и развертываются независимо с использованием полностью автоматизированной среды. Существует абсолютный минимум централизованного управления этими сервисами. Сами по себе эти сервисы могут быть написаны на разных языках и использовать разные технологии хранения данных.
Читать: https://habr.com/ru/articles/731596/
2023 год — год противоречивых сигналов для будущего IT-отрасли и, в частности, занятости айтишников.
С одной стороны, с поголовной цифровизацией всех сфер и процессов экономики растёт спрос на разработчиков — что, безусловно, плюс для айтишников.
С другой — необходимость участия программистов во многих прежде «аналоговых» процессах как таковая стала превращаться в препятствие для цифровизации. Естественным образом, со стороны заказчиков и работодателей возник спрос на решения, которые позволят оцифровывать и автоматизировать процессы без необходимости заменять весь прежний штат программистами. Компании ищут выходы где угодно, включая надежды на то, что программистов заменят нейросети.
В реальности все, кто хоть немного разбираются в вопросе, понимают, что до этого далеко: во многих чувствительных областях нейросети, возможно, никогда не заменят человека — потому что с человека можно спросить за ошибки, а с нейросети взятки гладки. Реальным ответом на запрос рынка видятся сегодня low-code и no-code — то есть, технологии создания ПО с помощью визуального редактора с минимальным написанием кода или без написания кода вообще.
С другой стороны, стандартом становится постепенный переход к микросервисной архитектуре. Это подход, при котором единое приложение строится как набор небольших сервисов, каждый из которых работает в собственном процессе и коммуницирует с остальными используя легковесные механизмы, как правило HTTP. Эти сервисы построены вокруг бизнес-потребностей и развертываются независимо с использованием полностью автоматизированной среды. Существует абсолютный минимум централизованного управления этими сервисами. Сами по себе эти сервисы могут быть написаны на разных языках и использовать разные технологии хранения данных.
Читать: https://habr.com/ru/articles/731596/
Putting a face to data stories with AI avatars: Oracle Analytics & Synthesia
Find out how the Oracle Analytics team helps you break down barriers between data and consumers.
Read: https://blogs.oracle.com/analytics/post/putting-a-face-to-data-stories-with-ai-avatars-oracle-analytics-synthesia
Find out how the Oracle Analytics team helps you break down barriers between data and consumers.
Read: https://blogs.oracle.com/analytics/post/putting-a-face-to-data-stories-with-ai-avatars-oracle-analytics-synthesia
Creating delightful analytics experiences using dashboard filters in Oracle Analytics Cloud
Dashboard filters together with the Workbook filter in the Present workspace help you create a delightful experience for your users.
Read: https://blogs.oracle.com/analytics/post/creating-delightful-end-user-experience-using-dashboard-filters-in-oac
Dashboard filters together with the Workbook filter in the Present workspace help you create a delightful experience for your users.
Read: https://blogs.oracle.com/analytics/post/creating-delightful-end-user-experience-using-dashboard-filters-in-oac
Oracle
Creating delightful end user experience using dashboard filters in OAC
An implementation of dashboard filters alongside the workbook filter through Present workspace to curate a delightful experience for the report end users.
Проблемы приземления данных из Kafka и их решения на Apache Flink
Меня зовут Вадим Опольский и я работаю data-инженером и участвую в проведении онлайн-тренингов. В статье есть ссылки на воркшопы, чтобы повторить практические вещи из Apache Flink, о которых я расскажу. А обсудим мы следующие проблемы:
➜ Неравномерный поток данных;
➜ Потери данных при передаче их из Kafka в storage;
➜ Масштабирование и скейлинг;
➜ Backpressure;
➜ Мелкие файлы на HDFS;
➜ Стриминговый процессинг.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/728520/
Меня зовут Вадим Опольский и я работаю data-инженером и участвую в проведении онлайн-тренингов. В статье есть ссылки на воркшопы, чтобы повторить практические вещи из Apache Flink, о которых я расскажу. А обсудим мы следующие проблемы:
➜ Неравномерный поток данных;
➜ Потери данных при передаче их из Kafka в storage;
➜ Масштабирование и скейлинг;
➜ Backpressure;
➜ Мелкие файлы на HDFS;
➜ Стриминговый процессинг.
Читать: https://habr.com/ru/companies/oleg-bunin/articles/728520/
Новые горизонты в оценке рисков: как источники данных помогают создать точные модели
На связи команда по разработке риск-моделей для крупного корпоративного, а также малого и среднего бизнеса банка «Открытие» — Андрей Бояренков, Владимир Иванов и Иван Луговский. В этой статье мы расскажем про наш опыт улучшения показателей ранжирования моделей оценки вероятности дефолта заемщика/скоринговых моделей за счет использования различных источников данных и объединения их в отдельные модули.
Читать: https://habr.com/ru/companies/otkritie/articles/732216/
На связи команда по разработке риск-моделей для крупного корпоративного, а также малого и среднего бизнеса банка «Открытие» — Андрей Бояренков, Владимир Иванов и Иван Луговский. В этой статье мы расскажем про наш опыт улучшения показателей ранжирования моделей оценки вероятности дефолта заемщика/скоринговых моделей за счет использования различных источников данных и объединения их в отдельные модули.
Читать: https://habr.com/ru/companies/otkritie/articles/732216/
Семантический слой для Аналитики ключевых метрик – dbt Metrics vs. Cube
Привет! Сегодня речь пойдет о семантическом слое метрик. В публикации рассмотрим на практике грани интересной темы:
— Что такое семантический слой, и в чем разница между Метрикой и Витриной данных
— Пути формирования метрик: SQL (ad-hoc), UI, dbt Metrics, Cube
— Примеры декларативной конфигурации в YAML и использования метрик
— На что обращать внимание при выборе решения: Стек технологий, Доступность vs. Выразительнось, Гибкость vs. Скорость
Читать: https://habr.com/ru/companies/otus/articles/732066/
Привет! Сегодня речь пойдет о семантическом слое метрик. В публикации рассмотрим на практике грани интересной темы:
— Что такое семантический слой, и в чем разница между Метрикой и Витриной данных
— Пути формирования метрик: SQL (ad-hoc), UI, dbt Metrics, Cube
— Примеры декларативной конфигурации в YAML и использования метрик
— На что обращать внимание при выборе решения: Стек технологий, Доступность vs. Выразительнось, Гибкость vs. Скорость
Читать: https://habr.com/ru/companies/otus/articles/732066/
Мнение об интенсивах Академии Яндекса + выпускной проект
Всем привет! Я выпускник данной Академии и победитель в конкурсе проектов. Я получил уникальный опыт, который будет полезен начинающим специалистам
Этот обзор будет полезен тем, кто еще учится в вузе или школе, а также тем у кого есть дети или знакомые данного возраста - Академия рассчитана на молодых людей 8 класса - 2 курса
Предвкушаю вопросы, поэтому я сразу говорю - обзор не реклама, ссылок не будет. В статье будут и минусы. Я хочу поделиться мнением, попробовать себя в написании статей, а также рассказать о своем проекте, но об этом лишь в конце статьи - проект покажет реальный уровень выпускников академии
Все что будет дальше является сугубо личным мнением. Приступим!
Читать: https://habr.com/ru/articles/732454/
Всем привет! Я выпускник данной Академии и победитель в конкурсе проектов. Я получил уникальный опыт, который будет полезен начинающим специалистам
Этот обзор будет полезен тем, кто еще учится в вузе или школе, а также тем у кого есть дети или знакомые данного возраста - Академия рассчитана на молодых людей 8 класса - 2 курса
Предвкушаю вопросы, поэтому я сразу говорю - обзор не реклама, ссылок не будет. В статье будут и минусы. Я хочу поделиться мнением, попробовать себя в написании статей, а также рассказать о своем проекте, но об этом лишь в конце статьи - проект покажет реальный уровень выпускников академии
Все что будет дальше является сугубо личным мнением. Приступим!
Читать: https://habr.com/ru/articles/732454/
Data Engineering Weekly #129
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-129
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-129
Мигрируем с Qlik: как создать надежное хранилище для ваших данных
Последние 12 месяцев много обсуждается тема миграции с ИТ-систем, которые оказались недоступны в России. Во всех компонентах ИТ-инфраструктуры появились критические зоны, которые раньше закрывались международными продуктами и которые нужно срочно переводить на работающие платформы. Не исключением стала и область бизнес-аналитики. Иностранные BI-системы ушли с российского рынка и компании начали интересоваться, на что можно перенести свою аналитическую отчетность.
Меня зовут Александр Гончар и работаю в консалтинговой компании A2 Consulting и для нас тема миграции с зарубежных BI-решений не является новой. За последние пять лет мы реализовали десяток проектов, в которых осуществляли миграцию из аналитических платформ в другие решения, прежде всего, в части хранилищ данных (ХД). Расскажу сегодня об опыте миграции с такого известного BI-инструмента, как Qlik.
Зачем мигрировать с Qlik?
Актуальность миграции данных с платформ QlikView и Qlik Sense, в которых основные данные хранятся в файловом хранилище в виде QVD-файлов, а весь ETL выполняется средствами Qlik, сохранялась из-за нескольких факторов.
Первая причина – желание заказчиков глубже анализировать клиентские данные и пользоваться преимуществами предиктивной аналитики. Параллельно, у компаний из других отраслей существовало несколько систем бизнес-аналитики, и им хотелось пользоваться данными из единого источника.
Читать: https://habr.com/ru/articles/732734/
Последние 12 месяцев много обсуждается тема миграции с ИТ-систем, которые оказались недоступны в России. Во всех компонентах ИТ-инфраструктуры появились критические зоны, которые раньше закрывались международными продуктами и которые нужно срочно переводить на работающие платформы. Не исключением стала и область бизнес-аналитики. Иностранные BI-системы ушли с российского рынка и компании начали интересоваться, на что можно перенести свою аналитическую отчетность.
Меня зовут Александр Гончар и работаю в консалтинговой компании A2 Consulting и для нас тема миграции с зарубежных BI-решений не является новой. За последние пять лет мы реализовали десяток проектов, в которых осуществляли миграцию из аналитических платформ в другие решения, прежде всего, в части хранилищ данных (ХД). Расскажу сегодня об опыте миграции с такого известного BI-инструмента, как Qlik.
Зачем мигрировать с Qlik?
Актуальность миграции данных с платформ QlikView и Qlik Sense, в которых основные данные хранятся в файловом хранилище в виде QVD-файлов, а весь ETL выполняется средствами Qlik, сохранялась из-за нескольких факторов.
Первая причина – желание заказчиков глубже анализировать клиентские данные и пользоваться преимуществами предиктивной аналитики. Параллельно, у компаний из других отраслей существовало несколько систем бизнес-аналитики, и им хотелось пользоваться данными из единого источника.
Читать: https://habr.com/ru/articles/732734/
Как мы организовали Data Warehouse в MANGO OFFICE
Рассказываем, как реорганизовали в MANGO OFFICE корпоративное хранилище данных: какие проблемы решали, какие точки роста находили и какой получился результат.
Читать: https://habr.com/ru/companies/mango_telecom/articles/732820/
Рассказываем, как реорганизовали в MANGO OFFICE корпоративное хранилище данных: какие проблемы решали, какие точки роста находили и какой получился результат.
Читать: https://habr.com/ru/companies/mango_telecom/articles/732820/
Как дать крылья своей сводной таблице в Apache Superset
Эта статья посвящена особенностям доработок в Apache Superset, и в ней я расскажу, как его можно использовать для визуализации больших объемов данных в рамках сводных таблиц.
Хочу читать дальше
Читать: https://habr.com/ru/articles/731216/
Эта статья посвящена особенностям доработок в Apache Superset, и в ней я расскажу, как его можно использовать для визуализации больших объемов данных в рамках сводных таблиц.
Хочу читать дальше
Читать: https://habr.com/ru/articles/731216/
Covid vaccines contain PEDs, according to an athlete
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/05/covid-vaccines-contain-peds-according-to-an-athlete.html
Read: https://junkcharts.typepad.com/numbersruleyourworld/2023/05/covid-vaccines-contain-peds-according-to-an-athlete.html
Бустим топ: внедрение ML в ранжирование каталога
Привет! Я Артем Караблинов, data scientist направления ранжирования и навигации в Lamoda Tech. В середине 2021 года мы запустили новый алгоритм ранжирования каталога, основанный на машинном обучении. С его помощью мы добились существенного улучшения продуктовых метрик за счет внедрения learning-to-rank подхода машинного обучения.
Это стало прочной основой перед этапом полностью персонализированного каталога, который мы выпустили в начале 2023 года.
В этой статье я расскажу, почему задача ранжирования каталога важна для бизнеса, как мы построили систему ранжирования каталога на основе ML и перешли на нее с эвристик. Здесь не будет хардкор-подробностей про начинку алгоритмов, но для понимания статьи пригодятся базовые знания ML.
Читать: https://habr.com/ru/companies/lamoda/articles/731542/
Привет! Я Артем Караблинов, data scientist направления ранжирования и навигации в Lamoda Tech. В середине 2021 года мы запустили новый алгоритм ранжирования каталога, основанный на машинном обучении. С его помощью мы добились существенного улучшения продуктовых метрик за счет внедрения learning-to-rank подхода машинного обучения.
Это стало прочной основой перед этапом полностью персонализированного каталога, который мы выпустили в начале 2023 года.
В этой статье я расскажу, почему задача ранжирования каталога важна для бизнеса, как мы построили систему ранжирования каталога на основе ML и перешли на нее с эвристик. Здесь не будет хардкор-подробностей про начинку алгоритмов, но для понимания статьи пригодятся базовые знания ML.
Читать: https://habr.com/ru/companies/lamoda/articles/731542/
Из оператора в Data-инженеры: выверка данных через шаблоны Excel
Всем привет! Меня зовут Ксения, в 2019 году я пришла в СИГМУ оператором по оцифровке ГИС-планшетов с местоположением кабельных линий. В этом материале хочу поделиться своим опытом работы в шаблоне Excel, который помог мне стать экспертом по выверке данных.
Сам шаблон и пошаговые инструкции ниже.
Читать: https://habr.com/ru/companies/sigma/articles/733056/
Всем привет! Меня зовут Ксения, в 2019 году я пришла в СИГМУ оператором по оцифровке ГИС-планшетов с местоположением кабельных линий. В этом материале хочу поделиться своим опытом работы в шаблоне Excel, который помог мне стать экспертом по выверке данных.
Сам шаблон и пошаговые инструкции ниже.
Читать: https://habr.com/ru/companies/sigma/articles/733056/