Полезные материалы по Data Science и машинному обучению
Data Science - довольно сложная сфера, особенно для новичков. С чего стоит начать, на какие темы стоит обратить особое внимание, а какие лучше оставить на потом? Ответы на эти и многие другие вопросы вы сможете найти в этой ценнейшей статье. Её автор — опытный MLOps-инженер в отделе Data- и ML-продуктов Selectel.
В материале не просто даются названия книг и курсов, которые полезно было бы прочитать, но и дается понятие о том, почему это важно знать конкретно эту информацию и чем она поможет в будущем.
#ml #bigdata
Data Science - довольно сложная сфера, особенно для новичков. С чего стоит начать, на какие темы стоит обратить особое внимание, а какие лучше оставить на потом? Ответы на эти и многие другие вопросы вы сможете найти в этой ценнейшей статье. Её автор — опытный MLOps-инженер в отделе Data- и ML-продуктов Selectel.
В материале не просто даются названия книг и курсов, которые полезно было бы прочитать, но и дается понятие о том, почему это важно знать конкретно эту информацию и чем она поможет в будущем.
#ml #bigdata
❤7🥰2👍1🍌1
Forwarded from Нейроканал
Все перечисленные библиотеки имеют открытый исходный код и предназначены в основном для питонистов.
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
Анализ, очистка и подготовка данных:
Pandas — быстрая и гибкая очистка и подготовка данных.
Numpy — предварительная обработка данных, применяется для математических вычислений.
Statsmodels — статистический анализ временных рядов, выживаемости и многого другого.
YData Profiling — упрощает этап EDA, тщательно анализируя ваши данные в одной строке кода.
Машинное и глубокое обучение:
Scikit-learn — ключевая библиотека машинного обучения, содержит реализацию популярных алгоритмов (регрессия, кластеризация).
Keras — создание, настройка моделей, работает поверх таких фреймворков, как TensorFlow.
TensorFlow — создание, моделирование и тренировка нейросетей.
XGBoost — предоставляет эффективные алгоритмы для задач регрессии, классификации и ранжирования.
CatBoost — градиентный бустинг.
#библиотеки #ml #deeplearning #python
👍7❤2🔥2🍌2
Что почитать: «Как учится машина. Революция в области нейронных сетей и глубокого обучения» Яна Лекуна
Знаменитый учёный в области нейросетей — Ян Лекун стоит у истоков современной технической революции.
В своей книге он, не прибегая к метафорам, делится своим научным подходом на стыке компьютерных наук и нейробиологии, проливая свет на будущее искусственного интеллекта, связанные с ним проблемы и перспективы.
Эта понятная и доступная книга перенесет вас в самое сердце машины, открывая новый увлекательный мир, который уже является нашей реальностью.
#книги #ml #bigdata
Знаменитый учёный в области нейросетей — Ян Лекун стоит у истоков современной технической революции.
В своей книге он, не прибегая к метафорам, делится своим научным подходом на стыке компьютерных наук и нейробиологии, проливая свет на будущее искусственного интеллекта, связанные с ним проблемы и перспективы.
Эта понятная и доступная книга перенесет вас в самое сердце машины, открывая новый увлекательный мир, который уже является нашей реальностью.
#книги #ml #bigdata
👍6🔥2🆒2🍌1
Как работает обучение без учителя
В обучении с учителем для каждой обучающей ситуации, алгоритму дается понимание, какой ответ с нашей точки зрения тут правильный.
В обучении без учителя для каждой конкретной ситуации такого ответа алгоритму не дается. Алгоритм сам должен научиться решать, как ему поступать в каждом конкретном случае, исходя из конечной оценки совокупности всех его действий.
В этом материале на примерах вы сможете разобраться, какие задачи можно решить с помощью этих методов, какими алгоритмами и есть ли у них недостатки.
#bigdata #ml #datascience
В обучении с учителем для каждой обучающей ситуации, алгоритму дается понимание, какой ответ с нашей точки зрения тут правильный.
В обучении без учителя для каждой конкретной ситуации такого ответа алгоритму не дается. Алгоритм сам должен научиться решать, как ему поступать в каждом конкретном случае, исходя из конечной оценки совокупности всех его действий.
В этом материале на примерах вы сможете разобраться, какие задачи можно решить с помощью этих методов, какими алгоритмами и есть ли у них недостатки.
#bigdata #ml #datascience
👍3❤1🍌1
Что лучше использовать: PyTorch или TensorFlow?
Хотите разобраться в инструментах машинного обучения? Давайте разберём в сравнении PyTorch и TensorFlow:
PyTorch — это простой инструмент, который хорошо дружит с Python и создан на базе библиотеки Torch.
TensorFlow — это большая система от Google Brain, поддерживающая различные платформы и языки программирования. Есть множество предварительно обученных моделей.
У первого из преимуществ простота, гибкость, удобство с Python. Но есть ограничения с визуализацией и сервированием моделей. А TensorFlow хорошо может в производительность и масштабируемость, но иногда подводит с обратной совместимостью и скоростью.
Эта статья поможет определиться с выбором из двух инструментов для конкретной задачи.
#pytorch #tensorflow #ml
Хотите разобраться в инструментах машинного обучения? Давайте разберём в сравнении PyTorch и TensorFlow:
PyTorch — это простой инструмент, который хорошо дружит с Python и создан на базе библиотеки Torch.
TensorFlow — это большая система от Google Brain, поддерживающая различные платформы и языки программирования. Есть множество предварительно обученных моделей.
У первого из преимуществ простота, гибкость, удобство с Python. Но есть ограничения с визуализацией и сервированием моделей. А TensorFlow хорошо может в производительность и масштабируемость, но иногда подводит с обратной совместимостью и скоростью.
Эта статья поможет определиться с выбором из двух инструментов для конкретной задачи.
#pytorch #tensorflow #ml
🍌3❤1
Знакомимся с Data Science и машинным обучением
Делать мы это будем с помощью бесплатного курса, который включает 30 уроков, 54 теста и 21 задачу. В рамках курса вы изучите основные теоретические понятия, а также познакомитесь с библиотеками Pandas и Scikit-learn — наиболее популярными инструменатами для анализа данных и машинного обучения, используя язык программирования Python.
Этих знаний более чем достаточно для старта в этой области. А начать можно уже сейчас по ссылке.
#курс #datascience #ml
Делать мы это будем с помощью бесплатного курса, который включает 30 уроков, 54 теста и 21 задачу. В рамках курса вы изучите основные теоретические понятия, а также познакомитесь с библиотеками Pandas и Scikit-learn — наиболее популярными инструменатами для анализа данных и машинного обучения, используя язык программирования Python.
Этих знаний более чем достаточно для старта в этой области. А начать можно уже сейчас по ссылке.
#курс #datascience #ml
😁6👍3
Forwarded from Метод утёнка
Начните новую неделю с инструментом, который упростит вам жизнь
napkin — это бесплатная нейронка, которая поможет вам создавать красивые графики и таблицы из любого текста. При этом она предложит вам сразу несколько вариантов, которые можно сохранить в формате PDF, PNG или SVG.
Попробовать можно по ссылке.
#инструменты #ml
napkin — это бесплатная нейронка, которая поможет вам создавать красивые графики и таблицы из любого текста. При этом она предложит вам сразу несколько вариантов, которые можно сохранить в формате PDF, PNG или SVG.
Попробовать можно по ссылке.
#инструменты #ml
🔥3👍2
Компьютерное зрение на С++
У нас тут периодически бывают статьи про машинное обучение и компьютерное зрение. Но, как правило, все они касаются Python. Сейчас же предлагаю посмотреть на реализацию на C++.
Здесь вы узнаете, как реализовать обнаружение объектов в реальном времени с помощью камеры на мобильной платформе Android с использованием библиотек PyTorch и NCNN и моделей компьютерного зрения YOLOv5 и YOLOv4.
Часть 1
Часть 2
#cpp #cv #ml
У нас тут периодически бывают статьи про машинное обучение и компьютерное зрение. Но, как правило, все они касаются Python. Сейчас же предлагаю посмотреть на реализацию на C++.
Здесь вы узнаете, как реализовать обнаружение объектов в реальном времени с помощью камеры на мобильной платформе Android с использованием библиотек PyTorch и NCNN и моделей компьютерного зрения YOLOv5 и YOLOv4.
Часть 1
Часть 2
#cpp #cv #ml
👍1
Студент взломал топовую нейронку
Всё началось с того, что ему нужно было написать научную статью по теме ИБ. И в ходе работы над ней так увлёкся, что взломал известную Claude 3.5 Sonnet.
К его сожалению и нашему счастью весь материал в научную статью поместить не удалось. Поэтому он написал отдельную статью, где поделился всеми подробностями. А мы её принесли вам, так что скорее читайте — там много интересного.
#иб #ml
Всё началось с того, что ему нужно было написать научную статью по теме ИБ. И в ходе работы над ней так увлёкся, что взломал известную Claude 3.5 Sonnet.
К его сожалению и нашему счастью весь материал в научную статью поместить не удалось. Поэтому он написал отдельную статью, где поделился всеми подробностями. А мы её принесли вам, так что скорее читайте — там много интересного.
#иб #ml
🫡5❤1
Как построить карьеру в области искусственного интеллекта. Советы от Эндрю Ына
Эндрю Ын — известный учёный в области информатики, доцент Стэнфордского университета, исследователь робототехники, машинного обучения и искусственного интеллекта. На протяжении многих лет он смог наблюдать, как тысячи его студентов начинают свою карьеру в этой области.
На основе своих наблюдений он предложил практическую схему, по которой можно проложить собственный карьерный трек. Подробнее о схеме и каждом её пункте можно прочитать в этой статье.
#ml #советы #карьера
Эндрю Ын — известный учёный в области информатики, доцент Стэнфордского университета, исследователь робототехники, машинного обучения и искусственного интеллекта. На протяжении многих лет он смог наблюдать, как тысячи его студентов начинают свою карьеру в этой области.
На основе своих наблюдений он предложил практическую схему, по которой можно проложить собственный карьерный трек. Подробнее о схеме и каждом её пункте можно прочитать в этой статье.
#ml #советы #карьера
👍1
Пишем свой PyTorch на NumPy
PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Часто для его использования достаточно поверхностно понимать работу алгоритмов машинного обучения. Однако, если вы хотите прокачать понимание МО или улучшить интуицию для дальнейшего применения и улучшения методов, базовых знаний недостаточно.
Чтобы это исправить, предлагаю вам статью, в которой показано, как реализованы некоторые методы PyTorch внутри.
#ml #pytorch #numpy #python
PyTorch — это мощный и гибкий фреймворк для машинного обучения, широко используемый для создания нейронных сетей. Часто для его использования достаточно поверхностно понимать работу алгоритмов машинного обучения. Однако, если вы хотите прокачать понимание МО или улучшить интуицию для дальнейшего применения и улучшения методов, базовых знаний недостаточно.
Чтобы это исправить, предлагаю вам статью, в которой показано, как реализованы некоторые методы PyTorch внутри.
#ml #pytorch #numpy #python
👍5
This media is not supported in your browser
VIEW IN TELEGRAM
Ловите крутой ресурс для изучения устройства нейронных сетей
Здесь вы найдёте простое и понятное объяснение работы современных нейронок, их ключевых компонентов и механизмов обучения. А также мельком познакомитесь с различными видами по типу RNN, CNN, GAN и не только.
На сайте есть и другие разборы, которые также сопровождаются приятной анимацией. Так что не стесняемся, переходим и обучаемся!
#ml
Здесь вы найдёте простое и понятное объяснение работы современных нейронок, их ключевых компонентов и механизмов обучения. А также мельком познакомитесь с различными видами по типу RNN, CNN, GAN и не только.
На сайте есть и другие разборы, которые также сопровождаются приятной анимацией. Так что не стесняемся, переходим и обучаемся!
#ml
👍5❤1
Делаем полностью автоматизированное онлайн радио с AI-ведущими и музыкой
Такой проект уже реализовал автор этой статьи. Теперь он делится им с нами. Кажется, это отличная возможность сделать что-то классное, избежав кучи ошибок и обойдя подводные камни. Детальной инструкции тут нет, но зато можно понять какие технологии использовать и где взять полезную информацию по ним.
Читаем и повторяем: https://habr.com/ru/articles/884902/
#ml #петпроекты
Такой проект уже реализовал автор этой статьи. Теперь он делится им с нами. Кажется, это отличная возможность сделать что-то классное, избежав кучи ошибок и обойдя подводные камни. Детальной инструкции тут нет, но зато можно понять какие технологии использовать и где взять полезную информацию по ним.
Читаем и повторяем: https://habr.com/ru/articles/884902/
#ml #петпроекты
👍3🤔1
Deep Learning в иллюстрациях: Рекуррентные нейронные сети
Рекуррентные нейронные сети (Recurrent Neural Networks, RNN) — это уникальные модели, специально разработанные для решения задач обработки серии событий во времени или последовательных пространственных цепочек, где следующая позиция зависит от предыдущего состояния. Например, они помогают определить тональность текста, спрогнозировать погоду, распознать речь и многое другое.
В этой статье вы на примерах и иллюстрациях сможете подробно изучить, как они работают.
#ml
Рекуррентные нейронные сети (Recurrent Neural Networks, RNN) — это уникальные модели, специально разработанные для решения задач обработки серии событий во времени или последовательных пространственных цепочек, где следующая позиция зависит от предыдущего состояния. Например, они помогают определить тональность текста, спрогнозировать погоду, распознать речь и многое другое.
В этой статье вы на примерах и иллюстрациях сможете подробно изучить, как они работают.
#ml
❤2👍1
Краткое введение в машинное обучение
Здесь без сложной математики разъясняется, что такое машинное обучение, какие задачи оно решает, и как вообще выглядит процесс обучения модели на примере прогноза цены недвижимости.
https://habr.com/ru/articles/548010/
#ml@prog_point
Здесь без сложной математики разъясняется, что такое машинное обучение, какие задачи оно решает, и как вообще выглядит процесс обучения модели на примере прогноза цены недвижимости.
https://habr.com/ru/articles/548010/
#ml@prog_point
ML пет-проекты, которые захочется показать в резюме
Уже разбираетесь в основах машинного обучения и готовы попробовать свои силы в реальном проекте? Самое время подумать, чем впечатлить будущего работодателя и заодно прокачать собственные навыки. Вот 6 идей для ML пет-проектов, которые помогут сделать ваше портфолио заметным:
— Where is Дед Мороз - поиск Деда Мороза на картинке.
— Оценка объема коробки с подарком по фотографии.
— Генерация необычных снежинок / генерация резов снежинок.
— LLM / RAG по одной конкретной книге.
— Голосовой дневник с транскрибацией, кластеризацией, суммаризацией.
— Тематические эмбеддинги «из коробки».
Любой из этих проектов поможет закрепить теорию, набить руку и, что особенно приятно, украсить ваше резюме.
#ml@prog_point #петпроекты@prog_point
Уже разбираетесь в основах машинного обучения и готовы попробовать свои силы в реальном проекте? Самое время подумать, чем впечатлить будущего работодателя и заодно прокачать собственные навыки. Вот 6 идей для ML пет-проектов, которые помогут сделать ваше портфолио заметным:
— Where is Дед Мороз - поиск Деда Мороза на картинке.
— Оценка объема коробки с подарком по фотографии.
— Генерация необычных снежинок / генерация резов снежинок.
— LLM / RAG по одной конкретной книге.
— Голосовой дневник с транскрибацией, кластеризацией, суммаризацией.
— Тематические эмбеддинги «из коробки».
Любой из этих проектов поможет закрепить теорию, набить руку и, что особенно приятно, украсить ваше резюме.
#ml@prog_point #петпроекты@prog_point
4❤2👍2
Точка входа в программирование
Делаем полностью автоматизированное онлайн радио с AI-ведущими и музыкой Такой проект уже реализовал автор этой статьи. Теперь он делится им с нами. Кажется, это отличная возможность сделать что-то классное, избежав кучи ошибок и обойдя подводные камни. Детальной…
От идеи до платформы: полгода разработки собственного AI радио
В одном из прошлых постов мы рассказывали о проекте AI-радио с нейросетевым диджеем, музыкой и автоматизацией всего на свете. Так вот, у этой истории появилось продолжение — и оно куда масштабнее.
Автор прошёл путь от любительского AI-радио до полноценной медиа-платформы, которая генерирует, собирает и транслирует контент почти без участия человека. Всё работает на микросервисах, Docker, Kubernetes, нейросетях и здоровой одержимости. В статье — честный разбор, как за 6 месяцев вырастить пет-проект до настоящей системы.
#ии #петпроекты
В одном из прошлых постов мы рассказывали о проекте AI-радио с нейросетевым диджеем, музыкой и автоматизацией всего на свете. Так вот, у этой истории появилось продолжение — и оно куда масштабнее.
Автор прошёл путь от любительского AI-радио до полноценной медиа-платформы, которая генерирует, собирает и транслирует контент почти без участия человека. Всё работает на микросервисах, Docker, Kubernetes, нейросетях и здоровой одержимости. В статье — честный разбор, как за 6 месяцев вырастить пет-проект до настоящей системы.
#ии #петпроекты
Telegram
Точка входа в программирование
Делаем полностью автоматизированное онлайн радио с AI-ведущими и музыкой
Такой проект уже реализовал автор этой статьи. Теперь он делится им с нами. Кажется, это отличная возможность сделать что-то классное, избежав кучи ошибок и обойдя подводные камни.…
Такой проект уже реализовал автор этой статьи. Теперь он делится им с нами. Кажется, это отличная возможность сделать что-то классное, избежав кучи ошибок и обойдя подводные камни.…
«С чего бы я начал, если бы сегодня снова выбрал Data Science»
Когда входишь в ML, легко запутаться. Как выстроить обучение, чтобы оно было последовательным и не отбивало мотивацию?
Автор этой статьи — уже опытный специалист, но в этом тексте он смотрит назад и честно отвечает на вопрос: *что бы он сделал иначе, если бы учился заново?*
— с чего стартовать, если вы пока только слышали про Python и Pandas;
— почему не стоит сразу лезть в LeetCode;
— как не сгореть по пути и не превратить обучение в бесконечную теоретическую гонку;
— что читать, где пробовать себя, и как искать первые задачи на практике.
Никаких обещаний «через 2 месяца вы в Data Science». Зато — полезный ориентир для тех, кто выбирает направление и хочет пройти путь без лишнего шума.
#ml #datascience
Когда входишь в ML, легко запутаться. Как выстроить обучение, чтобы оно было последовательным и не отбивало мотивацию?
Автор этой статьи — уже опытный специалист, но в этом тексте он смотрит назад и честно отвечает на вопрос: *что бы он сделал иначе, если бы учился заново?*
— с чего стартовать, если вы пока только слышали про Python и Pandas;
— почему не стоит сразу лезть в LeetCode;
— как не сгореть по пути и не превратить обучение в бесконечную теоретическую гонку;
— что читать, где пробовать себя, и как искать первые задачи на практике.
Никаких обещаний «через 2 месяца вы в Data Science». Зато — полезный ориентир для тех, кто выбирает направление и хочет пройти путь без лишнего шума.
#ml #datascience
Точка входа в программирование
Что такое MCP и зачем он нужен? MCP (Model Context Protocol) — это способ передать языковой модели информацию о вас и вашей задаче: кто вы, чем занимаетесь, какой у вас уровень и как вы предпочитаете получать ответы. MCP позволяет: — не повторять одно и…
Бесплатный курс от Microsoft: учимся Model-Context Protocol с практикой на Python, C# и Java
Про Model-Context Protocol (MCP) мы недавно рассказали. Теперь предлагаем вам научиться самостоятельно научить этому протоколу для ваших проектов.
В курсе вы разберётесь:
— что такое MCP и как разделять данные, контекст и логику;
— зачем это нужно для читаемости и тестируемости кода;
— как применять его на практике сразу на трёх языках: Python, C# и Java.
Формат максимально прикладной: минимум теории, много кода и реальных задач.
Подробнее рассказали в статье.
#microsoft #курс #ml
Про Model-Context Protocol (MCP) мы недавно рассказали. Теперь предлагаем вам научиться самостоятельно научить этому протоколу для ваших проектов.
В курсе вы разберётесь:
— что такое MCP и как разделять данные, контекст и логику;
— зачем это нужно для читаемости и тестируемости кода;
— как применять его на практике сразу на трёх языках: Python, C# и Java.
Формат максимально прикладной: минимум теории, много кода и реальных задач.
Подробнее рассказали в статье.
#microsoft #курс #ml
ML Visualized — машинное обучение на пальцах, в интерактиве
Если вам всегда казалось, что машинное обучение — это сплошная математика и загадочные формулы, этот учебник‑тренажёр докажет обратное. ML Visualized объясняет ключевые концепции ML так, что их можно буквально «пощупать» и сразу увидеть результат.
На экране — интерактивные визуализации: вы меняете параметры, подбираете веса, двигаете точки — и смотрите, как меняется модель. Всё это помогает понять, что именно происходит «под капотом» у линейной регрессии, деревьев решений, градиентного бустинга и других алгоритмов.
Отличный инструмент как для новичков, которые хотят разобраться без зубрёжки, так и для тех, кто уже знаком с ML.
#ml #обучение
Если вам всегда казалось, что машинное обучение — это сплошная математика и загадочные формулы, этот учебник‑тренажёр докажет обратное. ML Visualized объясняет ключевые концепции ML так, что их можно буквально «пощупать» и сразу увидеть результат.
На экране — интерактивные визуализации: вы меняете параметры, подбираете веса, двигаете точки — и смотрите, как меняется модель. Всё это помогает понять, что именно происходит «под капотом» у линейной регрессии, деревьев решений, градиентного бустинга и других алгоритмов.
Отличный инструмент как для новичков, которые хотят разобраться без зубрёжки, так и для тех, кто уже знаком с ML.
#ml #обучение