Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.67K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
🦾 Карта навыков ML-разработчиков

В январе Яндекс создал карту технических навыков, которые ML-разработчики регулярно используют в своей работе. Компания использовала для этого данные поиска и сайта Stack Overflow.

▶️ Размер навыка на карте соответствует числу посвящённых ему поисковых запросов. Чем ближе два навыка друг к другу, тем чаще они соседствуют с одними и теми же тегами в вопросах на Stack Overflow, то есть ближе контекст, в котором они применяются. Для оценки близости контекста рассчитали векторы совстречаемости каждого навыка со всеми остальными, затем нормализовали метрикой TF-IDF.

👉 Интерактивная карта находится по этой ссылке
🔥11👍5👾51
Что там с Google Gemini?

На днях Google переименовала свой чат-бот из Bard в Gemini. Базовая версия работает на модели Pro 1.0. Также есть платный тариф на базе Ultra 1.0.

Какова производительность чат-бота?

Если коротко: понравилась не всем. Например, модели Google были заявлены как мультимодальные. Поэтому люди решили попробовать это. Ответы модели Advanced на просьбу описать картинку оказались неудовлетворительными. Как заявил позже инженер DeepMind, на данном этапе мультимодальные запросы и вовсе не проходят через Pro / Ultra. Это станет доступно в будущем (скоро, но когда, неясно).

Так или иначе, Google предлагает опробовать Gemini Advanced бесплатно в течение двух месяцев. Доступно это для пользователей более чем 230 стран (но не России).

🔗 Ссылка на чат-бота
6👏41
🧑🏻‍🏫 Менторство в IT: как стать айтишником, найти работу мечты и облегчить себе жизнь

Как вкатиться в IT и найти работу с помощью ментора? Чем могут помочь наставники и с какими запросами к ним приходят? А главное — где найти хорошего специалиста?

👉 Рассказываем обо всём в новой статье 👈
🔗 Зеркало
3
Что произойдёт, если использовать LabelEncoder с линейным алгоритмом?

▶️ Начнём с того, что такое LabelEncoder.
Это один из самых простых способов закодировать категории. Допустим, у вас есть три категории: «Лондон», «Париж» и «Москва». Тогда вы просто заменяете эти строковые значения на 0, 1 и 2.

В документации scikit-learn написано, что LabelEncoder кодирует целевые метки значениями из диапазона от 0 до n_classes-1 (где n_classes — количество классов). То есть алгоритм предлагается использовать в основном для кодирования целевых меток. Технически его, конечно, можно применять для кодирования нецелевых признаков. Но тут могут возникнуть проблемы.

✍️ Сама суть LabelEncoder способствует созданию избыточных зависимостей в данных. Например, после преобразования получилось, что по некоторому признаку значение объекта Volvo равно 6, а BMW — 1. Можно интерпретировать это как то, что Volvo в 6 раз в чём-то превосходит BMW. Однако в исходных данных таких зависимостей не было.

При работе с категориальными переменными для линейных моделей можно, например, использовать One-Hot Encoding.

#машинное_обучение
8👏6👍31🤔1🥱1
Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы

#️⃣C#

Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel

☁️DevOps

Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования

🐘PHP

Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

Java

Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие профильные каналы

Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика

💼Каналы с вакансиями

Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

🤖Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *

* Организация Meta запрещена на территории РФ
3
⛁ Большая шпаргалка SQL (SQLite) с готовыми запросами

Все примеры изначально писались для СУБД SQLite, но почти всё из этого применимо и к другим СУБД. Шпаргалка охватывает следующие темы:
▪️условия фильтрации;
▪️некоторые математические действия;
▪️агрегирование;
▪️группировка;
▪️объединение при помощи разных JOIN;
▪️генерация последовательности значений;
▪️рекурсивный запрос;
▪️SQL в Jupyter Notebooks.

🔗 Шпаргалка на русском языке
🔗 Шпаргалка в оригинале
👍83🔥3
🎓 «Закройте вкладки с „Выучи что-то за 10 минут“»

Это напутствие Андрея Карпаты, одного из ведущих специалистов OpenAI. В соцсети X он написал обширный пост на тему современного обучения (обучения людей, а не моделей).

Андрей отметил, что в YouTube и TikTok публикуется множество видеороликов, которые претендуют на то, чтобы быть образовательными, но на самом деле просто развлекают вас.

Обучение не должно быть весёлым. Оно также не обязано быть не весёлым, но основным чувством должно быть усилие.


Карпаты считает, что процесс обучения должен быть скорее похож на полноценную тренировку в зале, чем на зарядку в течение 10 минут.

Выделите четырёхчасовое окно. Не просто читайте, а делайте заметки, перечитывайте, перефразируйте, обрабатывайте, работайте с этим, учите.


💬 А вы согласны с Андреем? Как вы привыкли обучаться?
👍47🔥42
🔥 Практические упражнения по машинному обучению

Автор YouTube-канала NeetCode сделал отличный ресурс для практики. Интерфейс похож на LeetCode, принцип решения задач тот же. Задачи разделены по уровням сложности. Вот несколько примеров:
🔸 Минимизируйте функцию с помощью градиентного спуска.
🔸 Напишите нейросеть, которая будет распознавать чёрно-белые изображения рукописных цифр.
🔸 Напишите линейную регрессию, а также алгоритм её обучения.
🔸 Напишите механизм self-attention.

Мы уже сохранили себе ссылку, а вы?
🔥13😁1
😺🐙💡 Как сделать креативный профиль на GitHub

Расскажем, как представить свои навыки, опыт и пет-проекты так, чтобы на профиль обращали внимание потенциальные работодатели и единомышленники.

👉 Читать статью
👉 Зеркало
😁12🔥2
💬 Как нестандартно войти в АйТи

Многие IT-специалисты приходят в эту сферу нестандартным путём — кто-то начинал как самоучка, а кто-то стал программистом случайно. У вас тоже был необычный старт карьеры в IT?

👉 Расскажите нам свою историю! Ваш опыт может вдохновить тех, кто мечтает о переменах, но пока не решается начать.
😁4👍2
🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
🩷 Сделали для вас валентинки 🩷

Сегодня День святого Валентина, и это отличный повод признаться или напомнить кому-то о своих чувствах!
23😁7🔥4😢1
💸 Рост или падение? Изменение зарплат в IT за 2023 год

Чтобы разобраться в этом вопросе, «Библиотека программиста» решила провести опрос среди читателей издания. Мы хотим понять, выросли ли ваши зарплаты в 2023 году и если да, то на сколько процентов. Или может быть наоборот — ваши доходы снизились на фоне кризисных явлений в экономике?

Примите участие в нашем коротком опросе и поделитесь своим мнением! Вместе мы проанализируем текущую ситуацию на рынке труда в IT-сфере и поймем, что ждёт эту отрасль дальше. Ждём ваших ответов!

Опрос займёт у вас примерно 4 минуты.

👉 Ссылка на опрос
🔥2😁2