Data Analysis / Big Data
2.84K subscribers
573 photos
4 videos
2 files
2.76K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Big Data МТС запускает хакатон по ML с призовым фондом 650 тысяч рублей

2 месяца участники ML-хакатона будут разрабатывать решения для определения пола и возраста человека по cookie. Самые успешные получат приз.

Читать: «Big Data МТС запускает хакатон по ML с призовым фондом 650 тысяч рублей»
Топ-5 трендов управления производственными активами

Мы в Factory5 постоянно исследуем рынок и отмечаем тенденции развития не только отечественного, но и зарубежного рынка цифровых решений для промышленности. 2022 год стал поворотным в истории многих предприятий: компаниям приходилось трансформироваться под новые реалии, пробовать новое и принимать быстрые решения. Представляем вашему вниманию обзор актуальных трендов рынка применения систем класса EAM (Enterprise Asset Management). Такие системы применяются для автоматизации бизнес-процессов учета, технического обслуживания и ремонта основных фондов промышленных компаний.


Читать: https://habr.com/ru/post/712782/
Заповеди начинающего DS

Привет! Меня зовут Mashkka Тихонова. Я - Senior Data Scientist, а еще я активно преподаю все, что связано с ML, DS и DL - помогаю людям начать свой путь в Data Science!

За годы преподавания у меня накопилось много советов для тех, кто только-только начинает свой путь в DS. Этими советами я всегда делюсь со студентами, а теперь решила собрать их в одном посте, написанном по мотивам моей серии постов в tg .

Советы эти совсем простые (уровня не заваливай горизонт на фото, когда фоткаешь пейзаж), но очень часто именно про такие базовые вещи на первых этапах забывают рассказать.В свое время я сама наступала на эти грабли, так как мне их никто не рассказал. Буду рада, если помогу вам этих ошибок избежать!


Читать: https://habr.com/ru/post/712592/
Виброакустический мониторинг дорожной обстановки

В России впервые в мире внедрили систему акустического мониторинга по волоконно-оптическим линиям на действующей автомобильной дороге протяженностью около 240 километров. Система позволяет в режиме реального времени отслеживать большое количество событий на дороге с точностью до 1 метра по акустическим следам от участников дорожного движения.

Проект был реализован компанией "СМАРТС", за программную часть отвечала ИТ-компания Haulmont. Собственно далее рассказ пойдет от лица разработчиков о сложностях и нюансах этого уникального проекта.


Читать: https://habr.com/ru/post/712788/
Зачем мы моделируем импульсные нейронные сети и с помощью чего это делаем

Привет, Хабр! На связи Михаил Киселев, руководитель направления в отделе ИИ компании «Цифрум» (Росатом) и руководитель лаборатории нейроморфных вычислений в Чувашском государственном университете. Сегодня подниму тему импульсных нейронных сетей. Общее представление о том, что такое искусственные нейронные сети, есть, наверное, у всех. Многие представляют, зачем они нужны, как устроены, как работают. Речь пойдет об одной их разновидности – импульсных нейронных сетях (ИНС). Нейросети вообще мыслились их создателями как компьютерные модели ансамблей нервных клеток мозга – это и из их названия следует. У разных типов нейросетей степень этого сходства разная. Так вот, ИНС – это самый похожий на биологический мозг тип нейронных сетей.

За счет этой похожести достигаются немалые преимущества. Прежде всего – энергоэкономичность нейропроцессоров. Почему же тогда мы не видим вокруг себя эти импульсные сети – в смартфонах, камерах, умных часах, умных утюгах?
и узнать, почему же

Читать: https://habr.com/ru/post/712244/
Как структурировать процессы контроля качества для аннотаций медицинских снимков

При создании любой модели компьютерного зрения командам разработчиков машинного обучения требуются высококачественные массивы данных с высококачественными аннотациями, чтобы обеспечить хорошую точность модели.

Однако когда дело касается создания моделей искусственного интеллекта для применения в здравоохранении, ставки становятся ещё выше — эти модели могут непосредственно влиять на жизни людей. Их необходимо обучать на данных, аннотированных опытными медицинскими специалистами, у которых не очень много свободного времени. Также они должны удовлетворять высоким научным и нормативным стандартам, поэтому чтобы вывести модель из разработки в продакшен, командам разработчиков ML необходимо обучать их на лучших данных с лучшими аннотациями.

Именно поэтому у любой компании, занимающейся компьютерным зрением (особенно если она создаёт модели для медицинской диагностики), должен существовать процесс контроля качества аннотаций медицинских данных.


Читать: https://habr.com/ru/post/705558/
Сравнение систем Machine Learning as a Service: Amazon, Microsoft Azure, Google Cloud AI, IBM Watson

Большинству компаний машинное обучение кажется чем-то сверхсложным, дорогим и требующим серьёзных специалистов. И если вы намереваетесь создавать новую систему рекомендаций Netflix, то так и есть. Однако тенденция превращения всего в сервис затронула и эту сложную сферу. Начать с нуля проект ML можно без особых инвестиций, и это будет правильным решением, если ваша компания новичок в data science и хочет начать с решения самых простых задач.

Одна из самых вдохновляющих историй об ML — это рассказ о японском фермере, решившем автоматически сортировать огурцы, чтобы помочь своим родителям в этой утомительной работе. В отличие от крупных корпораций, этот парень не имел ни опыта в машинном обучении, ни большого бюджета. Однако ему удалось освоить TensorFlow и применить глубокое обучение для распознавания разных классов огурцов.

Благодаря облачным сервисам машинного обучения вы можете начать создавать свои первые рабочие модели, делая ценные выводы из прогнозов даже при наличии небольшой команды. Мы уже говорили о стратегии машинного обучения. Теперь давайте рассмотрим лучшие на рынке платформы машинного обучения и поговорим об инфраструктурных решениях, которые нужно принять.


Читать: https://habr.com/ru/post/699436/
Выжить без cookies: как мы объединили CDP и сквозную аналитику для компании-автопроизводителя

В этой статье мы расскажем об интеграции платформы для управления собственными данными от нашей компании CleverData с решением для сквозной аналитики Calltouch. Проект проводили для компании-автопроизводителя с разветвленной дилерской сетью.


Читать: https://habr.com/ru/post/712304/
Как я создавал свой первый дашборд на Visiology 3 и почему второй буду делать немного позже

Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной версии. Под катом — немного информации о платформе для тех, кто не в теме, а также подробный рассказ о моем "пилоте" и некоторые мысли о том, стоило ли так кардинально менять архитектуру BI-платформы.


Читать: https://habr.com/ru/post/713922/
Как я создавал свой первый дашборд на Visiology 3 и почему второй буду делать немного позже

Привет, Хабр! Меня зовут Салават Сафиуллин, и сегодня я хочу поделиться с вами своим первым опытом создания дашборда на Visiology 3. Это новая версия платформы, которой мы пользуемся уже несколько лет, но она кардинально отличается как архитектурой, так и принципами работы. Дашборды на версии нужно создавать заново и по-другому. Поэтому мне было особенно интересно сделать пробу и подготовить дашборд на базе демонстрационной Visiology 3.0. Под катом — подробный рассказ о моем "пилоте" и некоторые мысли о работе с новой версией Visiology.


Читать: https://habr.com/ru/post/714032/
Администрируем сервер Дельта BI, применяя опыт работы с Tableau Server

Головная боль администратора BI сервера пропорциональна масштабу развернутого решения. Начнем с главных ориентиров, следуя которым мы привыкли достигать баланса в работе BI сервера (и улучшать качество ночного сна админа). А дальше разберемся, какой функционал помогает решать эти и другие задачи в Дельта BI — на фоне привычного для Vizuators Tableau Server (TS).


Читать: https://habr.com/ru/post/714394/
Дайджест Python: чем плох Django и как создать бота на GPT-3

Собрали дайджест из лучших новостей и статей по Python с 15 по 31 января про Data Science, веб-разработку, нейросети и приложения.

Читать: «Дайджест Python: чем плох Django и как создать бота на GPT-3»
Дайджест Python: чем плох Django и как создать бота на GPT-3

Собрали дайджест из лучших новостей и статей по Python с 15 по 31 января про Data Science, веб-разработку, нейросети и приложения.

Читать: «Дайджест Python: чем плох Django и как создать бота на GPT-3»
Управление на основе данных. Что общего между электронным дневником и базой налоговой?

Сегодня о подходе к управлению, основанному на данных, не говорит только ленивый. Кто уже имеет с этим дело в своей работе, предлагаем сразу переходить к разделу с описанием опыта Татарстана по управлению данными. А для тех, кто этим направлением раньше не интересовался, Центр цифровой трансформации Татарстана дает пару вводных.


Читать: https://habr.com/ru/post/714492/
Делитесь своим опытом и получайте дополнительный доход

Яндекс Практикум ищет наставников и ревьюеров на свои курсы, особенно на следующие направления:

— Frontend-разработка
— DevOps
— Продуктовая аналитика

Узнать подробнее и откликнуться: https://tprg.ru/aikZ

#вакансии #работа
👍1