Data Analysis / Big Data
2.82K subscribers
573 photos
4 videos
2 files
2.71K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Visiology 3.2: вот теперь действительно можно в прод

Привет, Хабр! Сегодня мы делимся новшествами в нашем релизе Visiology 3.2, а также раскрываем улучшения, которые коснулись второй версии платформы в релизе 2.31. Самым важным событием этого обновления стоит считать отказ от маркировки Preview. Таким образом, начиная с Visiology 3.2 мы готовы предлагать нашу BI-платформу с поддержкой наиболее распространенных операторов DAX, визуальной моделью данных как альтернативу Microsoft Power BI и другим аналитическим системам. Под катом — новое в модели доступа, улучшение скорости на 60+%, подключение CSV, пользовательские виджеты и многое другое, в общем — подробный разбор улучшений в Visiology 3.2 и Visiology 2.31.


Читать: https://habr.com/ru/companies/visiology/articles/729582/
Геопространственные технологий для управления паспортом медицинского участка

Все началось с голосовых роботов. Во время борьбы с Ковидом наш коллцентр, носящий теперь гордое имя Центр телефонного обслуживания граждан 122, все чаще и чаще выстраивал очереди со временем ожидания ответа оператора свыше 30 минут. Нанять больше людей и начать стабильно укладываться в норматив ответа оператора менее 3-х минут не позволяли размеры помещения и фонда оплаты труда.

Стали пробовать решения для автоматизации контакт центров, которые можно было бы интегрировать с медицинской информационной системой (МИС). За 3 месяца пилотирования NLP продукта и его интеграции действующие в бизнес-процессы удалось добиться вменяемых результатов по распознаванию номеров медицинских полисов, адресов проживания и имени пациентов. Даже удалось удержать среднее время обслуживания одного звонка на уровне 100 секунд… Однако процент автоматических обслуженных обращений болтался в диапазоне от 11 до 30 процентов, и пациенты продолжали томится в ожидании ответа оператора.

Виной низкой эффективности проекта роботизации коллцентра послужило состояние адресной базы МИС и серьезные различия в бизнес правилах бюджетных медицинских учреждений. Мы с вами часто меняем место жительства и ни перед кем за это не отчитываемся. Строительные компании увлечены реновацией и на месте ветхих бараков, гаражных кооперативов или промышленных пустошей появляются многоэтажки, о заселении которых медицинские организации узнают по телефону, когда нам требуется врач. Про оперативное информационное взаимодействие органов внутренних дел, управлений архитектуры и органов охраны здоровья остается только мечтать.


Читать: https://habr.com/ru/articles/729612/
Дайджест Python #7: аналоги ChatGPT и обновления фреймворков

Собрали лучшие новости о Python с 1 по 15 апреля. Узнайте, как написать свой Duolingo и как изменились фреймворки для работы с Big Data.

Читать: «Дайджест Python #7: аналоги ChatGPT и обновления фреймворков»
Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live

Oracle Analytics Server (OAS) 2023 Update (7.0.0) is live

Read: https://blogs.oracle.com/analytics/post/oracle-analytics-server-oas-2023-update-700-is-live
Проверяем ветхозаветную историю происхождения человечества от Адама и Евы с помощью популяционной модели

Помню, как несколько лет назад сидел на последнем ряду аудитории и слушал лекцию по теории эволюции. Тогда мне это было особенно интересно: каждый вечер я штудировал доклады Дробышевского, Соколова, Панчина, Гельфанда и других причастных к Антропогенезу. И в один день преподаватель сердито посмотрела в окно и спросила меня, как долго должны ходить по газону люди, чтобы образовалась тропа.

На этот странный вопрос я ответить не смог, но он меня неожиданно натолкнул на идею для любопытного эксперимента. Зачем изучать тропообразовательный потенциал людей, когда можно построить симуляцию и проверить теологическую теорию о самом происхождении человечества. Мне стало интересно, может ли человечество развиться до 11 млрд со времен Адама и Евы к концу XXI века. О том, что из этого получилось, рассказываю под катом.


Читать: https://habr.com/ru/companies/selectel/articles/729828/
MLOps-платформа Dognauts для разработки и эксплуатации ML-моделей. Часть 1: предыстория создания

Добрый день! Меня зовут Евгений Овчинцев, я работаю в компании Neoflex и в настоящее время являюсь архитектором продукта Dognauts. В данной серии статей я планирую рассказать о том, как создавался и развивался продукт: почему принимались те или иные решения, с какими проблемами пришлось столкнуться и что из всего этого получилось.


Читать: https://habr.com/ru/companies/neoflex/articles/729718/
Analytics-Mastery: The future of analytics and how to achieve it

What are the differences between being data-driven and analytics-driven? AI/ML technologies are the critical factors that are paramount to becoming analytics-driven.What is Analytics-mastery? It is a state in which an organization has established the data systems and data culture that accelerate the data-to-decision process while increasing confidence in their analytics-informed decisions.

Read: https://blogs.oracle.com/analytics/post/analyticsmastery-the-future-of-analytics-and-how-to-achieve-it
Big Data в облаках

Всем привет! Сегодня хотим затронуть тему облачных технологий. Дмитрий Морозов, архитектор DWH в компании GlowByte, занимается хранилищами данных 6 лет, последние 2,5 года участвует в проектах, использующих облака. В этой статье он сделает обзор облачных решений, которые могут быть полезны для задач хранения больших данных, а также уделит внимание вопросам выбора облачного хранилища. Статья основана на личном опыте, может быть интересна как разработчикам, дата-инженерам, так и менеджерам, отвечающим за корпоративную Big Data-инфраструктуру и ищущим возможности ее масштабировать.


Читать: https://habr.com/ru/companies/glowbyte/articles/729868/
DevOps для данных: как ускорить обработку и передачу информации за счет принципов DataOps

Какой смысл в BIG DATA и аналитических моделях машинного обучения, если информация вовремя не попадает к разработчикам, бизнес-аналитикам и руководителям? Если в вашей компании время передачи информации к специалистам по тестированию, развертыванию и поддержке занимает дни, а не секунды, пришла пора задуматься о внедрении практик DataOps (DATA Operations, датаопс).

Чтобы ближе познакомить вас с современными инструментами обработки и передачи информации, мы подготовили перевод ключевых тезисов из статьи «DataOps — что это такое и почему вам это должно быть интересно?».



Читать: https://habr.com/ru/companies/cloud_mts/articles/730070/
DataHub: как делиться структурированными данными и получать за них донаты?

Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье речь пойдёт о том, как создать FREE и SPONSORED репозитории данных, а так же в чем их отличия.


Читать: https://habr.com/ru/articles/730434/
DataHub: репозитории данных коммерческого типа. Как зарабатывать на доступе к данным?

Привет! Меня зовут Андрей Шмиг, я основатель и разработчик платформы DataHub - Crowd Data Sourcing at Hand, своего рода GitHub для данных. В этой статье покажу, каким образом можно монетизировать имеющиеся у вас структурированные и неструктурированные данные будь вы разработчик, data-scientist или ML-специалист.


Читать: https://habr.com/ru/articles/730638/
Дата-аналитик и ML-инженер: разбираем обязанности специалистов

Рассказываем, чем занимается ML-инженер на примере задач в Дзене и разбираемся, как с этим связан дата-аналитик.

Читать: «Дата-аналитик и ML-инженер: разбираем обязанности специалистов»
Дата-аналитик и ML-инженер: разбираем обязанности специалистов

Рассказываем, чем занимается ML-инженер на примере задач в Дзене и разбираемся, как с этим связан дата-аналитик.

Читать: «Дата-аналитик и ML-инженер: разбираем обязанности специалистов»
Массивный курс по управлению данными и обзор новинок от NVIDIA. Дайджест полезных текстов про ML и дата-аналитику

Привет, Хабр! Делюсь новым уловом текстов, которые помогут вам лучше разобраться в темах ML, искусственного интеллекта и дата-аналитики. В этой подборке — смесь фундаментальных трудов и более «популярных» статей. Начнем с красочного лонгрида, а закончим — сводом знаний по управлению данными в 10 главах (не пугайтесь).

Еще больше полезных подборок по DataOps и MLOps публикуем в Telegram-сообществе «MLечный путь». Там обсуждаем проблемы и лучшие практики организации production ML-сервисов, а также обмениваемся опытом. Присоединяйтесь к более 1 000 специалистов, развивающим ML- и Data-направления в российских и зарубежных компаниях.


Читать: https://habr.com/ru/companies/selectel/articles/730664/
Мы развиваемся и нам в команду требуются новые люди! Сейчас мы ищем двух человек

Если вы разбираетесь в темах Python / Data Science / AI и хотите рассказывать об этом другим разработчикам, создавая целое сообщество единомышленников то, возможно, вас заинтересует эта вакансия: https://tprg.ru/GEZL

А если вам хочется вместе с нами развивать наши каналы в Telegram и делиться с подписчиками только самыми лучшими материалами, то обратите внимание на эту вакансию (особенно если интересуетесь мобильной разработкой): https://tprg.ru/bqed

#вакансии #работа
DataHub: организовываем доступ к публичным данным через Predefined Queries

Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу, каким образом можно организовать доступ для внешних пользователей к репозиториям данных через Predefined Queries.


Читать: https://habr.com/ru/articles/730858/
The Next Big Things for Oracle Cloud Platform

Recap of The Next Big Things session at Oracle Openworld 2018. Five exciting demos including: content experience, digital assistants, blockchain applications, data science development platform, and visual development.

Read: https://blogs.oracle.com/bigdata/post/the-next-big-things-for-oracle-cloud-platform
👍1
DataHub: веб-песочница для тех, кто изучает SQL

Привет! Меня зовут Андрей Шмиг, я разработчик платформы DataHub, платформа для совместной работы над данными - своего рода GitHub для данных. В этой статье покажу на что способен веб-редактор MySQL хранилища и почему это отличный инструмент для работы тем, кто изучает SQL.


Читать: https://habr.com/ru/articles/731158/