Data Analysis / Big Data
2.83K subscribers
573 photos
4 videos
2 files
2.76K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Как структурировать процессы контроля качества для аннотаций медицинских снимков

При создании любой модели компьютерного зрения командам разработчиков машинного обучения требуются высококачественные массивы данных с высококачественными аннотациями, чтобы обеспечить хорошую точность модели.

Однако когда дело касается создания моделей искусственного интеллекта для применения в здравоохранении, ставки становятся ещё выше — эти модели могут непосредственно влиять на жизни людей. Их необходимо обучать на данных, аннотированных опытными медицинскими специалистами, у которых не очень много свободного времени. Также они должны удовлетворять высоким научным и нормативным стандартам, поэтому чтобы вывести модель из разработки в продакшен, командам разработчиков ML необходимо обучать их на лучших данных с лучшими аннотациями.

Именно поэтому у любой компании, занимающейся компьютерным зрением (особенно если она создаёт модели для медицинской диагностики), должен существовать процесс контроля качества аннотаций медицинских данных.


Читать: https://habr.com/ru/post/705558/
Сравнение систем Machine Learning as a Service: Amazon, Microsoft Azure, Google Cloud AI, IBM Watson

Большинству компаний машинное обучение кажется чем-то сверхсложным, дорогим и требующим серьёзных специалистов. И если вы намереваетесь создавать новую систему рекомендаций Netflix, то так и есть. Однако тенденция превращения всего в сервис затронула и эту сложную сферу. Начать с нуля проект ML можно без особых инвестиций, и это будет правильным решением, если ваша компания новичок в data science и хочет начать с решения самых простых задач.

Одна из самых вдохновляющих историй об ML — это рассказ о японском фермере, решившем автоматически сортировать огурцы, чтобы помочь своим родителям в этой утомительной работе. В отличие от крупных корпораций, этот парень не имел ни опыта в машинном обучении, ни большого бюджета. Однако ему удалось освоить TensorFlow и применить глубокое обучение для распознавания разных классов огурцов.

Благодаря облачным сервисам машинного обучения вы можете начать создавать свои первые рабочие модели, делая ценные выводы из прогнозов даже при наличии небольшой команды. Мы уже говорили о стратегии машинного обучения. Теперь давайте рассмотрим лучшие на рынке платформы машинного обучения и поговорим об инфраструктурных решениях, которые нужно принять.


Читать: https://habr.com/ru/post/699436/
Выжить без cookies: как мы объединили CDP и сквозную аналитику для компании-автопроизводителя

В этой статье мы расскажем об интеграции платформы для управления собственными данными от нашей компании CleverData с решением для сквозной аналитики Calltouch. Проект проводили для компании-автопроизводителя с разветвленной дилерской сетью.


Читать: https://habr.com/ru/post/712304/
Как я создавал свой первый дашборд на Visiology 3 и почему второй буду делать немного позже

Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной версии. Под катом — немного информации о платформе для тех, кто не в теме, а также подробный рассказ о моем "пилоте" и некоторые мысли о том, стоило ли так кардинально менять архитектуру BI-платформы.


Читать: https://habr.com/ru/post/713922/
Как я создавал свой первый дашборд на Visiology 3 и почему второй буду делать немного позже

Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной Visiology 3.0. Под катом — подробный рассказ о моем "пилоте" и некоторые мысли о работе с новой версией Visiology.


Читать: https://habr.com/ru/post/714032/
Администрируем сервер Дельта BI, применяя опыт работы с Tableau Server

Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS).


Читать: https://habr.com/ru/post/714394/
Дайджест Python: чем плох Django и как создать бота на GPT-3

Собрали дайджест из лучших новостей и статей по Python с 15 по 31 января про Data Science, веб-разработку, нейросети и приложения.

Читать: «Дайджест Python: чем плох Django и как создать бота на GPT-3»
Дайджест Python: чем плох Django и как создать бота на GPT-3

Собрали дайджест из лучших новостей и статей по Python с 15 по 31 января про Data Science, веб-разработку, нейросети и приложения.

Читать: «Дайджест Python: чем плох Django и как создать бота на GPT-3»
Управление на основе данных. Что общего между электронным дневником и базой налоговой?

Сегодня о подходе к управлению, основанному на данных, не говорит только ленивый. Кто уже имеет с этим дело в своей работе, предлагаем сразу переходить к разделу с описанием опыта Татарстана по управлению данными. А для тех, кто этим направлением раньше не интересовался, Центр цифровой трансформации Татарстана дает пару вводных.


Читать: https://habr.com/ru/post/714492/
Делитесь своим опытом и получайте дополнительный доход

Яндекс Практикум ищет наставников и ревьюеров на свои курсы, особенно на следующие направления:

— Frontend-разработка
— DevOps
— Продуктовая аналитика

Узнать подробнее и откликнуться: https://tprg.ru/aikZ

#вакансии #работа
👍1
By the Numbers: Harry Kane’s 200 Premier League Goals

Check out how Oracle Cloud data analysis provides a deep dive into the Tottenham striker’s career milestone.

Read: https://blogs.oracle.com/analytics/post/premier-league-harry-kane
Гайд по созданию Big Data-проектов в облаке: технологический стек, этапы и подводные камни

Любой специалист, который когда-либо работал с Big Data знает, что в подобных проектах большой не только объем данных. Также это внушительные вычислительные ресурсы, разветвленный технологический стек и мощная инфраструктура. Поэтому Big Data-проекты часто реализовывают в облаке.

Меня зовут Алексей Бестужев, я архитектор VK Cloud, и в этой статье мы обсудим нюансы и неочевидные особенности запуска процессов при работе с большими данными в облаке.

Материал подготовлен на основе нашего совместного вебинара с Кириллом Сливчиковым, управляющим партнером компании 7RedLines.


Читать: https://habr.com/ru/post/714124/
Реальный путь в data science

Эта статья про мой путь до первой работы в DS (data science). Путь был не маленьким и был пройден за 2,5 года. Кого-то эта цифра отпугнет, если бы я знал это в начале, то меня бы тоже отпугнула, кто-то назовет меня неспособным дурачком (и отчасти будет прав), а для кого-то (я надеюсь) эта статья поможет сократить время обучения и пройти этот путь быстрее.


Читать: https://habr.com/ru/post/715234/
Select the best option to render dashboards in Oracle Analytics Cloud

This article describes the options available for rendering dashboards in Oracle Analytics Cloud

Read: https://blogs.oracle.com/analytics/post/oracle-analytics-dashboard-rendering-mode-options
Embedding Fusion Analytics Content in Oracle Application Cloud

A Digital Sales Oracle Application Cloud customer, who has also bought the Fusion Analytics warehouse; there are some use cases that warrant embedding Fusion Analytics content  in Oracle Application Cloud  as it provides contextual information on the primary CX application that the users use.

Read: https://blogs.oracle.com/analytics/post/embedding-fusion-analytics-content-in-oracle-application-cloud