Quick and powerful ways to create or improve join keys in your Oracle Analytics datasets
This article describes powerful ways to create or improve join keys in your datasets with the power of the Oracle Analytics Dataset editor and augmented data preparation capabilities.
Read: https://blogs.oracle.com/analytics/post/quick-powerful-ways-to-create-or-improve-join-keys-in-your-oracle-analytics-datasets
This article describes powerful ways to create or improve join keys in your datasets with the power of the Oracle Analytics Dataset editor and augmented data preparation capabilities.
Read: https://blogs.oracle.com/analytics/post/quick-powerful-ways-to-create-or-improve-join-keys-in-your-oracle-analytics-datasets
Oracle
Quick powerful ways to create or improve join keys in your Oracle Analytics datasets
In this post I will show you some powerful ways to create or improve join keys in your datasets with the power of the Oracle Analytics dataset editor and augmented data preparation capabilities.
Миллион записей для змеи
Загрузить миллион записей в питон за секунду?
Нет. Получилось еще быстрее!
У меня есть небольшое хобби - я экспериментирую с машинным обучением применительно к торговле на бирже, в частности, с криптовалютами. После различных наколенных экспериментов я захотел создать удобный инструмент - базу торговых котировок. В процессе работы необходима быстрая загрузка достаточно большого количества данных. Это необходимо для расчетов, генерации данных для обучения, бэк-тестинга и других задач. Количество записей, которые нужно загрузить в питон довольно велико - речь может идти о миллионах и более записей.
Читать: https://habr.com/ru/post/706074/
Загрузить миллион записей в питон за секунду?
Нет. Получилось еще быстрее!
У меня есть небольшое хобби - я экспериментирую с машинным обучением применительно к торговле на бирже, в частности, с криптовалютами. После различных наколенных экспериментов я захотел создать удобный инструмент - базу торговых котировок. В процессе работы необходима быстрая загрузка достаточно большого количества данных. Это необходимо для расчетов, генерации данных для обучения, бэк-тестинга и других задач. Количество записей, которые нужно загрузить в питон довольно велико - речь может идти о миллионах и более записей.
Читать: https://habr.com/ru/post/706074/
Генерируем музыку с помощью Stable Diffusion
Многие уже слышали, а может и пробовали модель Stable Diffusion для генерации картинок из текста. Но знаете ли вы, как с помощью той же модели можно генерировать аудио?
Читать: https://habr.com/ru/post/706168/
Многие уже слышали, а может и пробовали модель Stable Diffusion для генерации картинок из текста. Но знаете ли вы, как с помощью той же модели можно генерировать аудио?
Читать: https://habr.com/ru/post/706168/
Data Engineering Weekly #112
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-112
Read: https://www.dataengineeringweekly.com/p/data-engineering-weekly-112
Генератор эмбеддингов: как провести качественный анализ метрик сотрудников без прямого доступа к персональным данным
Привет, Хабр! Меня зовут Роман, я работаю в Сбере в блоке HR исследователем данных. Мне и моим коллегам часто приходится иметь дело с персональными данными сотрудников (далее ПДн). А получить допуск к использованию этих данных в различных контурах банка очень непросто: в Сбере серьёзно относятся к безопасности ПДн. Ситуация усложняется тем, что для решения разных задач требуются разные наборы данных. Каждый раз запрашивать допуск — можно, но это долго. Поэтому для упрощения и ускорения работы с использованием ПДн мы решили разработать пайплайн, который анонимизирует данные сотрудников, позволяя проверять их влияние на разные метрики без доступа к чувствительной информации. Результатом работы этого механизма является эмбеддинг.
В статье я показываю особенности работы одной из частей утилиты «Генератор эмбеддингов» в конкретной задаче — поиск похожего сотрудника внутри компании. Подобная задача имеет массу прикладных направлений в бизнесе: поиск преемника, оперативный поиск сотрудника на место уволившегося, профилирование должностей и др. Без использования ПДн здесь, к сожалению, не обойтись. Так, например, для многих сотрудников важную роль играет удалённость офиса банка. И для того чтобы предложить оптимальный вариант работы, нужно учитывать место проживания человека, что уже является ПДн. «Генератор эмбеддингов» помогает оптимизировать этот процесс.
Узнать больше о нашем решении
Читать: https://habr.com/ru/post/706354/
Привет, Хабр! Меня зовут Роман, я работаю в Сбере в блоке HR исследователем данных. Мне и моим коллегам часто приходится иметь дело с персональными данными сотрудников (далее ПДн). А получить допуск к использованию этих данных в различных контурах банка очень непросто: в Сбере серьёзно относятся к безопасности ПДн. Ситуация усложняется тем, что для решения разных задач требуются разные наборы данных. Каждый раз запрашивать допуск — можно, но это долго. Поэтому для упрощения и ускорения работы с использованием ПДн мы решили разработать пайплайн, который анонимизирует данные сотрудников, позволяя проверять их влияние на разные метрики без доступа к чувствительной информации. Результатом работы этого механизма является эмбеддинг.
В статье я показываю особенности работы одной из частей утилиты «Генератор эмбеддингов» в конкретной задаче — поиск похожего сотрудника внутри компании. Подобная задача имеет массу прикладных направлений в бизнесе: поиск преемника, оперативный поиск сотрудника на место уволившегося, профилирование должностей и др. Без использования ПДн здесь, к сожалению, не обойтись. Так, например, для многих сотрудников важную роль играет удалённость офиса банка. И для того чтобы предложить оптимальный вариант работы, нужно учитывать место проживания человека, что уже является ПДн. «Генератор эмбеддингов» помогает оптимизировать этот процесс.
Узнать больше о нашем решении
Читать: https://habr.com/ru/post/706354/
👍1
Подборка актуальных вакансий
— Аналитик DWH
Где: Москва, можно удалённо
Опыт: можно без опыта
— Младший инженер-аналитик SOC
Где: Краснодар
Опыт: от 1 года
— Системный аналитик
Где: Москва
Опыт: от 1 года
— Системный аналитик
Где: Москва
Опыт: от 1 года
— Cистемный аналитик
Где: Москва, можно удалённо
Опыт: от 3 лет
— Middle / Senior System Analyst
Где: Москва, можно удалённо
Опыт: от 2 лет
— Ведущий системный аналитик
Где: Москва, можно удалённо
Опыт: от 2 лет
#вакансии #работа
— Аналитик DWH
Где: Москва, можно удалённо
Опыт: можно без опыта
— Младший инженер-аналитик SOC
Где: Краснодар
Опыт: от 1 года
— Системный аналитик
Где: Москва
Опыт: от 1 года
— Системный аналитик
Где: Москва
Опыт: от 1 года
— Cистемный аналитик
Где: Москва, можно удалённо
Опыт: от 3 лет
— Middle / Senior System Analyst
Где: Москва, можно удалённо
Опыт: от 2 лет
— Ведущий системный аналитик
Где: Москва, можно удалённо
Опыт: от 2 лет
#вакансии #работа
👍1
Как стать аналитиком? (и зачем)
Они носят множество имен: Data Analyst, Data Scientist, Business Analyst и т. д., но всех их объединяет одна основная черта — эти люди занимаются анализом данных. Итак, начнем с главного. Сколько получают аналитики?
Читать: https://habr.com/ru/post/706856/
Они носят множество имен: Data Analyst, Data Scientist, Business Analyst и т. д., но всех их объединяет одна основная черта — эти люди занимаются анализом данных. Итак, начнем с главного. Сколько получают аналитики?
Читать: https://habr.com/ru/post/706856/
Ещё одна подборка не только книг по Deep Learning
Большая книга по теории, большая книга не только по теории, подкасты и курс — под катом 6 рекомендаций для изучения от наших DS-инженеров.
К рекомендациям
Читать: https://habr.com/ru/post/706816/
Большая книга по теории, большая книга не только по теории, подкасты и курс — под катом 6 рекомендаций для изучения от наших DS-инженеров.
К рекомендациям
Читать: https://habr.com/ru/post/706816/
👍1
Functional Data Engineering - A Blueprint
Read: https://www.dataengineeringweekly.com/p/functional-data-engineering-a-blueprint
Read: https://www.dataengineeringweekly.com/p/functional-data-engineering-a-blueprint
Restaurant Industry Salary Analysis by Role using Oracle Analytics Cloud
Find out how you can create informative and exciting dashboards using Oracle Analytics capabilities.
Read: https://blogs.oracle.com/analytics/post/restaurant-industry-salary-analysis-by-role-using-oracle-analytics
Find out how you can create informative and exciting dashboards using Oracle Analytics capabilities.
Read: https://blogs.oracle.com/analytics/post/restaurant-industry-salary-analysis-by-role-using-oracle-analytics
Oracle
Restaurant Industry Salary Analysis by Role using Oracle Analytics
Find out how you can create exciting dashboards using Oracle Analytics capabilities.
Using Fusion Analytics Warehouse with Power BI
This blog describes accessing Oracle Fusion Analytics Warehouse data using Microsoft Power BI.
Read: https://blogs.oracle.com/analytics/post/using-fusion-analytics-warehouse-with-power-bi
This blog describes accessing Oracle Fusion Analytics Warehouse data using Microsoft Power BI.
Read: https://blogs.oracle.com/analytics/post/using-fusion-analytics-warehouse-with-power-bi
Oracle
Using Fusion Data Intelligence with Power BI
This blog describes accessing Oracle Fusion Data Intelligence data using Microsoft Power BI.
👍1
Создаем сервис для serverless перевода голоса, как в Cyberpunk 2077
На днях мне наконец-то удалось поиграть в Cybperunk 2077, и я заметил, что в игре есть одна интересная особенность: Когда персонаж говорит на иностранном языке, текст сначала появляется над ним в оригинале, а затем как бы вживую переводится на английский.
Тогда я задался вопросом: сколько работы потребуется, чтобы создать нечто подобное с помощью современного DL-стека? Можно ли сделать это за выходные?
Читать: https://habr.com/ru/post/707250/
На днях мне наконец-то удалось поиграть в Cybperunk 2077, и я заметил, что в игре есть одна интересная особенность: Когда персонаж говорит на иностранном языке, текст сначала появляется над ним в оригинале, а затем как бы вживую переводится на английский.
Тогда я задался вопросом: сколько работы потребуется, чтобы создать нечто подобное с помощью современного DL-стека? Можно ли сделать это за выходные?
Читать: https://habr.com/ru/post/707250/
Как вы себе представляете современную птицеферму?
Если первое, что приходит вам на ум – это страшного вида покосившийся сарай, то это очень далеко от истины. А как насчет светлого, кондиционируемого помещения, оборудованного диско-светом, игровой площадкой, роботом-пылесосом, подключенного к датчикам на основе IoT и находящегося под круглосуточным мониторингом с помощью облачных технологий? Это уже гораздо ближе к правде. Давайте разбираться.
Читать: https://habr.com/ru/post/707304/
Если первое, что приходит вам на ум – это страшного вида покосившийся сарай, то это очень далеко от истины. А как насчет светлого, кондиционируемого помещения, оборудованного диско-светом, игровой площадкой, роботом-пылесосом, подключенного к датчикам на основе IoT и находящегося под круглосуточным мониторингом с помощью облачных технологий? Это уже гораздо ближе к правде. Давайте разбираться.
Читать: https://habr.com/ru/post/707304/
Как развернуть Apache Superset в облаке: Docker, ВМ, Kubernetes
В последнее время многие российские компании столкнулись с задачей по выстраиванию системы бизнес-аналитики на новом технологическом стеке. В качестве замены Tableau, Power BI и Qlik одни рассматривают BI-решения российских вендоров — с лицензионной поддержкой, постоянными обновлениями версий и возможностью влиять на roadmap. Другие — Open-Source-инструменты: они бесплатны, однако их придётся развертывать, настраивать и администрировать своими силами. Один из таких инструментов — Apache Superset.
Мы расскажем о способах развёртывания Apache Superset на разных платформах (Docker, ВМ, Kubernetes), а также дадим подробные инструкции на примере облака VK Cloud.
Читать: https://habr.com/ru/post/706418/
В последнее время многие российские компании столкнулись с задачей по выстраиванию системы бизнес-аналитики на новом технологическом стеке. В качестве замены Tableau, Power BI и Qlik одни рассматривают BI-решения российских вендоров — с лицензионной поддержкой, постоянными обновлениями версий и возможностью влиять на roadmap. Другие — Open-Source-инструменты: они бесплатны, однако их придётся развертывать, настраивать и администрировать своими силами. Один из таких инструментов — Apache Superset.
Мы расскажем о способах развёртывания Apache Superset на разных платформах (Docker, ВМ, Kubernetes), а также дадим подробные инструкции на примере облака VK Cloud.
Читать: https://habr.com/ru/post/706418/
Копирайтеры больше не нужны? Просим новую нейросеть Notion AI написать про Python
В ноябре 2022 года компания Notion представила нейронную сеть для генерации текстов — и на днях мы получили доступ к альфа-версии. Вы не поверите, на что она способна. Notion AI умеет писать статьи, посты и даже твиты — и это вам не Балабоба!
Но настолько ли хороша Notion AI, как может показаться? И умеет ли она писать технические статьи? Под катом — первый на Хабре обзор новой нейронки.
Читать: https://habr.com/ru/post/707346/
В ноябре 2022 года компания Notion представила нейронную сеть для генерации текстов — и на днях мы получили доступ к альфа-версии. Вы не поверите, на что она способна. Notion AI умеет писать статьи, посты и даже твиты — и это вам не Балабоба!
Но настолько ли хороша Notion AI, как может показаться? И умеет ли она писать технические статьи? Под катом — первый на Хабре обзор новой нейронки.
Читать: https://habr.com/ru/post/707346/
Генерация конвейеров обработки данных в Dataflow
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Эта статья посвящена всем практикующим специалистам по данным, заинтересованным в освоении запуска, стандартизации и автоматизации пакетных конвейеров данных в Netflix.
О Dataflow мы писали в статье под названием Data pipeline asset management with Dataflow. Та статья представляла подробное знакомство с одним из наиболее технических аспектов Dataflow, но сам этот инструмент толком не описывала. На сей раз мы оправдаем заявленное вступление, после чего сосредоточимся на одной из основных возможностей Dataflow — образцах рабочих потоков. Для начала же мы коротко разберём Dataflow в общем.
Читать: https://habr.com/ru/post/707006/
Restricting Access to Data in a Manager Hierarchy using Oracle Fusion Analytics Security Extensions
Restricting Access to Data in a Human Capital Management (HCM) Manager Hierarchy using Oracle Fusion Analytics Warehouse Security Extensions
Read: https://blogs.oracle.com/analytics/post/faw-exclude-access-to-supervisor-hierarchy
Restricting Access to Data in a Human Capital Management (HCM) Manager Hierarchy using Oracle Fusion Analytics Warehouse Security Extensions
Read: https://blogs.oracle.com/analytics/post/faw-exclude-access-to-supervisor-hierarchy
Oracle
Restricting Access to Data in a Manager Hierarchy using Oracle Fusion Analytics Security Extensions
Excluding Access to Supervisory Hierarchy Data using Oracle Fusion Analytics Security Extensions
ML алгоритм нашел баг в моем коде…
Я играл с языковой моделью SalesForce CodeGen. Она генерирует новый код по подсказкам. Но я хотел посмотреть, как она будет анализировать уже написанный код.
Я попросил модель посмотреть на существующий код и оценить вероятность появления каждого слова с учетом предыдущих слов. Далее я сравнил вероятность появления моего слова с вероятностью слова предсказанного моделью
Я взял один из файлов моего проекта. Яркость отражает маловероятность каждого слова. Красный цвет показывает, насколько более вероятен токен модели.
Читать: https://habr.com/ru/post/707442/
Я играл с языковой моделью SalesForce CodeGen. Она генерирует новый код по подсказкам. Но я хотел посмотреть, как она будет анализировать уже написанный код.
Я попросил модель посмотреть на существующий код и оценить вероятность появления каждого слова с учетом предыдущих слов. Далее я сравнил вероятность появления моего слова с вероятностью слова предсказанного моделью
Я взял один из файлов моего проекта. Яркость отражает маловероятность каждого слова. Красный цвет показывает, насколько более вероятен токен модели.
Читать: https://habr.com/ru/post/707442/
Oracle Fusion Analytics: Migrate Oracle Analytics Content, KPIs, and Decks Across Environments using a Content Bundle
This article describes how to use Content Bundles to migrate Oracle Analytics Cloud (Oracle Analytics) content, KPIs, and Decks from one environment to another.
Read: https://blogs.oracle.com/analytics/post/faw-migrate-oac-content-kpis-and-decks-using-a-content-bundle
This article describes how to use Content Bundles to migrate Oracle Analytics Cloud (Oracle Analytics) content, KPIs, and Decks from one environment to another.
Read: https://blogs.oracle.com/analytics/post/faw-migrate-oac-content-kpis-and-decks-using-a-content-bundle
Oracle
Oracle Fusion Analytics Warehouse: Migrate Oracle Analytics Content, KPIs, and Decks Across Environments using a Content Bundle
This article describes how to use Content Bundles to migrate Oracle Analytics Cloud content, KPIs, and Decks from one environment to another.
Большой Брат для новичков: как работают системы распознавания лиц
Одно из направлений Data Science — системы распознавания лиц. Благодаря им московские камеры признаны одними из самых совершенных в мире. Ловить преступников и входить в приложения с ними проще, а прятаться от правосудия и выдавать себя за другого человека — сложнее. Вместе с экспертом Вадимом Лукмановым разбираемся на базовом уровне, где применяются системы распознавания лиц и как они работают.
Читать: https://habr.com/ru/post/707566/
Одно из направлений Data Science — системы распознавания лиц. Благодаря им московские камеры признаны одними из самых совершенных в мире. Ловить преступников и входить в приложения с ними проще, а прятаться от правосудия и выдавать себя за другого человека — сложнее. Вместе с экспертом Вадимом Лукмановым разбираемся на базовом уровне, где применяются системы распознавания лиц и как они работают.
Читать: https://habr.com/ru/post/707566/
Шесть шагов для создания более качественных моделей Computer Vision
Компьютерное зрение (computer vision, CV) — подраздел искусственного интеллекта, использующий алгоритмы машинного обучения и глубокого обучения для распознавания и интерпретации объектов на изображениях и видео. CV сосредоточено на воссоздании аспектов сложности зрительной системы человека, позволяя компьютерам определять и анализировать предметы на фотографиях и видео точно так же, как это делают люди.
За последние годы в области компьютерного зрения произошёл существенный прогресс, благодаря прорывам в искусственном интеллекте и инновациям в глубоком обучении и нейронных сетях компьютеры превзошли людей в различных задачах, связанных с распознаванием объектов. Одним из движущих факторов эволюции компьютерного зрения является объём генерируемых сегодня данных, которые применяются для обучения и совершенствования CV.
В этой статье мы сначала рассмотрим способы применения моделей компьютерного зрения в реальном мире, чтобы понять, почему нам нужно создавать более качественные модели. Затем мы перечислим шесть способов совершенствования моделей компьютерного зрения при помощи улучшения обработки данных. Но для начала давайте вкратце обсудим различия между моделями компьютерного зрения и машинного обучения.
Читать: https://habr.com/ru/post/705008/
Компьютерное зрение (computer vision, CV) — подраздел искусственного интеллекта, использующий алгоритмы машинного обучения и глубокого обучения для распознавания и интерпретации объектов на изображениях и видео. CV сосредоточено на воссоздании аспектов сложности зрительной системы человека, позволяя компьютерам определять и анализировать предметы на фотографиях и видео точно так же, как это делают люди.
За последние годы в области компьютерного зрения произошёл существенный прогресс, благодаря прорывам в искусственном интеллекте и инновациям в глубоком обучении и нейронных сетях компьютеры превзошли людей в различных задачах, связанных с распознаванием объектов. Одним из движущих факторов эволюции компьютерного зрения является объём генерируемых сегодня данных, которые применяются для обучения и совершенствования CV.
В этой статье мы сначала рассмотрим способы применения моделей компьютерного зрения в реальном мире, чтобы понять, почему нам нужно создавать более качественные модели. Затем мы перечислим шесть способов совершенствования моделей компьютерного зрения при помощи улучшения обработки данных. Но для начала давайте вкратце обсудим различия между моделями компьютерного зрения и машинного обучения.
Читать: https://habr.com/ru/post/705008/