Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.8K subscribers
2.24K photos
111 videos
64 files
4.65K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Media is too big
VIEW IN TELEGRAM
🫧🤖 Линус Торвальдс о будущем ИИ: хайп или революция?

Легенда мира open source делится мыслями о роли искусственного интеллекта в будущем программирования, предупреждая о опасностях чрезмерного ажиотажа.

👀 Мы написали пересказ на русском, а ещё сделали подборку ваших комментариев с мнениями по поводу будущего разработки в мире с AI.

👉 Прочесть всё можно по этой ссылке
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5
🤗 На Hugging Face запустили новый лидерборд для оценки возможностей LLM в финансовых задачах

Open FinLLM Leaderboard предоставляет специализированную систему оценки, адаптированную конкретно для финансового сектора.

Особенности:
🔘Рейтинг использует методику zero-shot оценки, тестируя модели на неизвестных финансовых задачах без предварительной настройки;
🔘Охватывает задачи по семи категориям: извлечение информации (IE), текстовый анализ (TA), вопросы-ответы (QA), генерация текста (TG), управление рисками (RM), прогнозирование (FO) и принятие решений (DM).
🔘Модели оцениваются с использованием различных метрик, таких как точность (Accuracy), F1, ROUGE и коэффициент корреляции Мэттьюса (MCC).
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
👨‍💼 Профессия системного аналитика в 2024 году: что нужно знать и где учиться

Освоить эту профессию непросто. Порог входа довольно высок, да и изучить придется немало. Однако, если разработчик не хочет идти в тимлиды или становиться менеджером, системная аналитика — перспективный вариант дальнейшей карьеры.

Рассматриваешь вариант стать системным аналитиком, тогда забирай курс:
🔵 Математика для Data Science

🔗 Статья
Please open Telegram to view this post
VIEW IN TELEGRAM
🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
👍1
🥇 Нобелевскую премию по физике получили «отцы ML»

Её вручили Джону Хопфилду (John Hopfield) и Джеффри Хинтону (Geoffrey Hinton) «за фундаментальные открытия и изобретения, которые сделали возможным машинное обучение с искусственными нейронными сетями».

Джон Хопфилд известен как изобретатель ассоциативной нейронной сети (сети Хопфилда).

Джеффри Хинтон — соавтор статьи про метод обратного распространения ошибки для обучения многослойной нейронной сети. Кроме того, он был одним из изобретателей машины Больцмана.
👍10🔥4🤔3
✍️ Что такое MoE?

Вы наверняка видели эту аббревиатуру во многих статьях про LLM (большие языковые модели). Но что она обозначает?

🟣 Расшифровывается MoE как Mixture of Experts. Это метод улучшения качества LLM, который использует множество разных субмоделей (так называемых экспертов).

🟣 MoE определяется двумя основными компонентами:

▪️Вышеупомянутые эксперты. То есть каждый слой обычной feed-forward нейросети теперь имеет набор экспертов, из которых можно выбрать подмножество. Эти эксперты, как правило, сами представляют собой нейросети.
▪️Маршрутизатор или сеть гейтов. Они определяют, какие токены отправляются к каким экспертам.

Иными словами, специализация каждого эксперта заключается в обработке определённых токенов в определённых контекстах. А маршрутизатор (сеть гейтов) выбирает эксперта(ов), которые лучше всего подходят для данного входного сигнала.

👉 Более подробно и с хорошими иллюстрациями про MoE можно почитать по этой ссылке 👈
2
Что такое Бустинг в машинном обучении

Бустинг — это один из мощных методов повышения качества моделей машинного обучения. Его цель — объединение нескольких слабых моделей (обычно простых алгоритмов) для создания одной сильной модели, которая улучшает точность предсказаний.

🌻 Как это работает?

▪️ Итеративное обучение: Модели обучаются поочередно. Каждая следующая модель стремится исправить ошибки предыдущей
▪️ Вес ошибок: Большое внимание уделяется тем данным, на которых предыдущие модели ошибались. Это позволяет концентрироваться на сложных для предсказания примерах
▪️ Комбинирование результатов: Финальный результат формируется путем взвешенного объединения предсказаний всех моделей

🌻 Когда использовать?

Бустинг особенно полезен, когда базовые алгоритмы не дают нужной точности. Например, он широко применяется в задачах классификации и регрессии, а также на соревнованиях по анализу данных, таких как Kaggle

В нашем курсе узнаете подробнее о машинном обучении, в частности, о бустинге:
🔵 Базовые модели ML и приложения

#машинное_обучение
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉53👍2
🧑‍💻 SQL для дата-сайентиста за 6 недель

Дата-сайентист с 7-летним опытом работы создал дорожную карту по изучению SQL. Она представлена в виде репозитория на GitHub. Каждый шаг сопровождают ссылки на материалы.

Вот 6-недельный план обучения:
▪️Основы SQL, узнаём, как получать информацию из БД.
▪️GROUP BY.
▪️Виды JOIN.
▪️Оконные функции.
▪️CTE и подзапросы.
▪️Делаем собственный проект.

🔗 Ссылка на дорожную карту
🤩7😁5
👾 Тут всем интернетом шутят про то, что нобелевские премии по физике и химии взяли ML-специалисты.

Про нобелевскую премию по физике мы писали здесь. А вот по химии премию присудили создателям AlphaFold2.

👀 Похоже, machine learning is the new black. Давайте порадуемся под этим постом и поставим 🎉 в честь этого.
🎉31🥰3😁3👍2😢1
This media is not supported in your browser
VIEW IN TELEGRAM
🐍🍽️ Питон съел GIL на завтрак: что нового в версии 3.13

Ты сидишь? Лучше сядь. Они реально сделали это — JIT-компилятор, улучшенная типизация, и, ты не поверишь, GIL наконец-то отправляется на пенсию!

В статье рассказываем обо всех фишках недавно релизнутой версии Python 3.13.

👉 Читать по этой ссылке

Прикреплённый к посту ролик досматриваем до конца👆
🥰5
Пятничный #дайджест для ML-специалистов

🔹Краткий гайд по квантованию нейросетей
Статья рассказывает о методах уменьшения битности данных, что позволяет сократить вычислительные ресурсы и уменьшить объём памяти, необходимой для хранения моделей.

🔹Differential Transformer
Статья от Microsoft, рассказывающая о борьбе с нерелевантным контекстом в LLM.

🔹Как научить LLM понимать видео? Обзор подходов
Сбер сделал обзор походов к анализу и пониманию видео.

🔹The LLM Evaluation guidebook
Это репозиторий с гайдом от Hugging Face по методам оценки больших языковых моделей.
👍31
Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования

🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion

#️⃣C#

Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel

☁️DevOps

Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования

🐘PHP

Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

Java

Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие каналы

Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *

* Организация Meta запрещена на территории РФ
👍42
🔀 Чем отличаются системный и бизнес-аналитик? Разбираемся на практике

Дискуссии о том, как разделить определения системного и бизнес-аналитика ведутся в сфере непрерывно. Одни уверены, что это профессия «два в одном», другие — не понимают, какой именно аналитик нужен проекту, и главное — зачем. Раскладываем по полочкам в нашей статье.

👉 Ссылка на статью
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
👆Хороший иллюстрированный гайд, объясняющий, как работает AlphaFold2 — система для предсказания пространственной структуры и взаимодействия белков👆
👍51
🧩 Реализация паттерна «Одиночка» на Python

Мечтаешь о коде, который работает как швейцарские часы? Паттерн «Одиночка» может стать тем самым механизмом, который заставит все шестерёнки крутиться идеально.

👉 Читать в статье
👍4😁2
🤔 Основы математики в Machine Learning / Deep Learning

🗓 16 октября мы разберем ряд Тейлора, собственные векторы и другие ключевые понятия в ML – https://proglib.io/w/48c1efeb

Спикер: Иван Потапов – Staff Machine Learning Engineer at ShareChat. Руководит командой, отвечающей за качество рекомендаций, и имеет 8-летний опыт в сфере машинного обучения.

😮 Что будем обсуждать:

– Теорию вероятностей: случайные величины, математическое ожидание и дисперсию.

Линейную алгебру: векторы, матрицы, собственные векторы и собственные значения.

Математический анализ: производные и разложение функций в ряд Тейлора.

👨‍💻 А еще после каждого блока вас ждет практика в применении полученных знаний.

🎯 Почему это важно?
Понимание математических основ помогает глубже разобраться в работающих под капотом алгоритмах ML/DL и эффективно применять их на практике.

Присоединяйтесь к нам и совершенствуйте свои навыки в машинном обучении!

📌 Регистрация по ссылке: https://proglib.io/w/48c1efeb
Please open Telegram to view this post
VIEW IN TELEGRAM
👍2
✍️ Учимся понимать нормальное распределение

Когда мы хотим описать основные свойства распределения значений переменной, мы можем использовать среднее и стандартное отклонение:

▪️среднее показывает, где находится центр всех значений, то есть какое значение в среднем встречается чаще всего.
▪️стандартное отклонение показывает, насколько широко разбросаны значения вокруг этого среднего, то есть, насколько сильно значения отличаются друг от друга.

На этом сайте есть интерактивный график, который поможет лучше понять, как меняется распределение в зависимости от среднего и стандартного отклонения.
👍7