Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Вышел PyTorch 2.4

Что нового:

🔸 добавляет поддержку последней версии Python (3.12) для torch.compile;
🔸 улучшает производительность для проектов, работающих на CPU;
🔸 добавляет новый API для создания кастомных операторов, упрощающий интеграцию собственных ядер в PyTorch, особенно для torch.compile;
🔸 вводит по дефолту бэкэнд на основе libuv.

🔗 Ссылка на блогпост
🔗 Видео с вопросами и ответами по PyTorch 2.4
🔥10🥰43
🐛 5 признаков неопытного разработчика: как избежать типичных ошибок и ускорить профессиональный рост

Независимо от уровня теоретической подготовки, переход от обучения к реальной практике всегда сопряжен с множеством вызовов. Начинающие разработчики часто сталкиваются с рядом типичных проблем, которые могут существенно замедлить их профессиональный рост.

В этой статье мы рассмотрим наиболее распространенные проблемы, с которыми сталкиваются начинающие разработчики:

🔗 Читать статью
👍3
🤗 Техлид Hugging Face рассказал, что платформа обслуживает 6 петабайтов данных и почти миллиард запросов ежедневно!

При этом он отметил:

Искусственный интеллект только начинает развиваться🚀


По данным платформы, сейчас на Hugging Face Hub размещено более 350 тысяч моделей, 75 тысяч датасетов и 150 тысяч демопространств.
👾13👍4
👨‍🎓️ Кто есть кто в команде data science: путеводитель по профессии

О data scientist часто говорят, будто это одна профессия, хотя в науке о данных существуют и другие специализации. Расскажем, из каких направлений можно выбирать и что потребуется для их изучения.

🔗 Читать статью
3👍1
🦄 5 мифов о работе в IT, которые мешают начать карьеру программиста

Разоблачаем в нашей статье 5 распространенных мифов о карьере в IT: от замены программистов нейросетями до необходимости технического образования.

🔗 Ссылка
Please open Telegram to view this post
VIEW IN TELEGRAM
👍1😢1🌚1
🎓 Подборка новых обучающих материалов по искусственному интеллекту

✍️ Parlance
Сайт содержит подборку видеороликов по LLM (большим языковым моделям), RAG, файн-тюнингу и промпт-инжирингу.

✍️ Data Science for Beginners
Это вводный курс от Microsoft для начинающих с видеороликами и квизами.

✍️ Слайды и код с курса по CV от Ивана Карпухина
Недавно в ВШЭ в рамках ISSCAI автор провёл серию лекций и семинаров по компьютерному зрению. По ссылке выше вы можете найти слайды, а здесь код.

✍️ Введение в мультимодальный RAG от NVIDIA
😁9🎉5👍1
💬 Какой у вас уровень английского?

😢 — Не знаю английский/элементарный уровень
👍 — Средний: немного говорю, могу смотреть и читать несложные материалы
❤️ — Высокий: читаю, смотрю сериалы и уроки, всё понимаю
👾 — Идеальный: могу работать на английском и свободно говорю
👍4528👾17😢8💯2
🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
Как стать разработчиком ML и нейронок

ML‑разработчик из команды SOICA делится своим мнением и полезными ресурсами, которые помогли ему освоить новую профессию. Он предлагает такую дорожную карту:

▪️Освоение основ программирования
▪️Изучение математики
▪️Получение базовых знаний в ML
▪️Выбор специализации
▪️Создание своего проекта

🔗 Ссылка на статью с подробностями и советами
👍2
✍️ Обширная шпаргалка по Pandas, Numpy и Python

На Kaggle есть большой ноутбук с примерами кода и пояснениями по разным темам Pandas, Numpy и Python. Вот часть содержания:

▪️типы данных в Python (списки, кортежи, словари, множества);
▪️основные методы Numpy;
▪️работа с сериями и датафреймами Pandas.

🔗 Ссылка на шпаргалку
❤‍🔥5👍5👏2
🔢 Математика для Data Science: необходимый минимум

Данные стали новой нефтью, а науку о данных Harvard Business Review назвал самой перспективной профессией 21 века. Для работы в сфере Data Science необходима математика: она позволяет извлекать смысл из огромных массивов информации и принимать обоснованные решения.

Расскажем, какие разделы математики нужно знать для успешного старта в нашей статье:

🔗 Ссылка на статью
Awesome Jupyter — сборник проектов, облегчающих работу с Jupyter

Список включает в себя:
▪️окружения/фронтенды,
▪️инструменты для визуализации,
▪️инструменты для контроля версий,
▪️расширения JupyterLab.

Кроме того, в репозитории есть список гайдов и туториалов по Jupyter.

🔗 Ссылка на репозиторий
🤩2
Привет, друзья! 👋

Мы готовим статью о возможном снижении уровня знаний среди IT-специалистов и хотим узнать ваше мнение. Поделитесь своими мыслями, ответив на следующие вопросы:

Как вы оцениваете уровень знаний современных IT-специалистов по сравнению с их предшественниками 10-15 лет назад? 🤔

- Значительно снизился 📉
- Немного снизился 🔻
- Остался на том же уровне ➡️
- Немного повысился 🔼
- Значительно повысился 📈

Какие факторы, по вашему мнению, наиболее сильно влияют на уровень знаний IT-специалистов сегодня? (выберите до 3 вариантов) 🧠

- Качество образования в вузах 🎓
- Доступность онлайн-курсов и самообучения 💻
- Требования рынка труда 💼
- Развитие технологий и инструментов разработки 🛠️
- Влияние социальных сетей и информационного шума 📱
- Отток квалифицированных специалистов ✈️
- Другое (укажите в комментариях) 🗨️

Как вы считаете, что нужно сделать для повышения уровня знаний IT-специалистов? 💡

Поделитесь своими идеями в комментариях! Самые интересные и конструктивные предложения мы обязательно включим в нашу статью. Спасибо за участие! 🙏
👍31
Forwarded from Библиотека разработчика игр | Gamedev, Unity, Unreal Engine
🎮 Как зарабатывать на играх или зачем изучать игровую аналитику в 2024 году

Если вы решили заняться геймдевом всерьез, возникает вопрос выбора специализации. Сегодня мы поговорим о востребованной профессии игрового аналитика. Попробуем разобраться, зачем нужен такой специалист и как им стать.

👉 Статья
👍3
Новостной #дайджест по сфере ИИ

🔥 Google выпустила Gemma 2 2B — лучшую в своей категории
Эта модель была обучена на более крупных моделях посредством дистилляции. Новинка превосходит все модели GPT-3.5 на Chatbot Arena. Веса можно скачать тут.

👀 ИИ научился определять ранние стадии опухоли молочной железы
Новая модель использует изображения тканей и учитывает пространственную организацию клеток, что повышает точность диагностики. Это поможет врачам более эффективно оценивать стадии рака и избежать чрезмерного лечения.

🔋 Представлена ​​новая технология, которая снижает энергопотребление ИИ-моделей в 1000 раз и более
Исследователи разработали новую технологию CRAM, которая вместо традиционного перемещения данных между процессором и памятью обрабатывает данные прямо внутри ячеек памяти. Это позволяет сократить энергозатраты более чем в 1000 раз.
👍5
🚀 Введение в MLflow

MLflow — это платформа для управления жизненным циклом моделей машинного обучения. Она помогает организовать процесс разработки, обучения, развёртывания и отслеживания моделей.

В новой статье на «Хабре» рассматривается, как:

▪️организовать эксперименты и запуски,
▪️оптимизировать гиперпараметры с помощью optuna,
▪️сравнивать модели и выбирать лучшие параметры,
▪️упаковать проект в MLproject,
▪️установить удалённый Tracking Server MLflow.

🔗 Читать статью
🔗 Ссылка на репозиторий с гайдом
👏94👍1
Torchchat — библиотека для запуска LLM на локальных серверах, настольных компьютерах и мобильных устройствах

Это решение от PyTorch. Torchchat:

▪️включает в себя инструменты для чата и генерации текста;
▪️поддерживает популярные модели, такие как Llama и GPT;
▪️может быть использована для оценки моделей.

🔗 Ссылка на репозиторий проекта
4
👀 «Гайд по методу опорных векторов (SVM) для идиотов»

Автор книги Practical Guide to Applied Conformal-Prediction составил An Idiot’s guide to Support vector machines (SVMs). Это небольшая книжка, в которой рассказывается о:

▪️ключевых принципах SVM;
▪️ограничениях и модификациях метода.

Всё это сопровождается подробными иллюстрациями.

🔗 Ссылка на гайд
😁128👍2🥰1
✏️ Вопрос с реального собеседования по Data Science

Что вы знаете про биномиальное распределение? Зачем оно нужно в Data Science?

Биномиальное распределение в основном моделирует количество успешных исходов в фиксированном числе испытаний. В целом, позволяет характеризовать испытания с помощью двух параметров n и p, представляющих количество испытаний и вероятность успеха в одном испытании соответственно.

На практике биномиальное распределение можно использовать для определения вероятности определённого числа успехов, таких как продажи, за определённый период для нового продукта. Кроме того, биномиальное распределение помогает понять вероятностное распределение числа клиентов, обслуживаемых в течение временного интервала.

#собес_academy
👍16
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈
🎉3