Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.8K subscribers
2.25K photos
112 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Запустится ли этот код на Python 3? Если да, то что он выведет?

sys.allow_boolean_assignment разрешает создавать переменные с именами, зарезервированными под идентификаторы типа bool. Поэтому этот код запустится и выведет «True is False».

Эта настройка введена в известном первоапрельском коммите, который до сих пор остался в коде интерпретатора. Если кандидат об этом знает, можно с уверенностью сказать, что он общается в должных профессиональных кругах и любят углубляться в детали.
#вопросы_с_собеседований
🔥9
Как прочитать данные в DataFrame из файла CSV?

Мы можем создать фрейм данных из файла CSV — «Comma Separated Values (значения, разделенные запятыми)». Это можно сделать с помощью метода read_csv(), который принимает файл csv в качестве параметра:
pandas.read_csv(file_name)

Другой способ сделать это — использовать метод read_table(), который принимает CSV-файл и значение разделителя в качестве параметра:
pandas.read_table(file_name, delimiter)
#вопросы_с_собеседований
🥱10🌚3
👾 «Как я спас робота от жены»

Программисты — интересные люди. Они могут потратить часы своего времени чтобы реализовать сложную, но интересную вещь.

В этом видео автор использовал компьютерное зрение, нейросети и смекалку программиста, чтобы спасти робота-пылесоса от ужасной участи оказаться на свалке.

Смотреть видео
😁5
LightGBM

LightGBM — библиотека, созданная сотрудниками Microsoft для работы в сфере машинного обучения. Ее ключевая особенность — быстрая реализация градиентного бустинга. Это такой принцип машинного обучения, который помогает разработчикам создавать новые алгоритмы, используя многоуровневые решения.

Выполнение этого кода позволит обучить модель LightGBM на выборки данных из файла 'data.csv', разделить выборку на обучающую и тестовую, определить параметры модели и обучить ее. В конце модель используется для прогнозирования значений на тестовом наборе данных, и вычисляется точность модели.

Результат работы показывает Accuracy (точность) модели, которая здесь равна 0.8761.
👍8🔥3🥱31
Приходилось ли вам приукрашивать опыт работы на собеседовании? Ловили ли вас на слове?
#интерактив
Метод index()

Метод index — это встроенный метод списка, который позволяет узнать индекс или позицию элемента в последовательности.

Этот метод ищет элемент в списке и возвращает индекс, соответствующий его значению, в противном случае возникает ошибка ValueError.
Пошаговое распространение: элементарное руководство

Авторы представляют доступный первый курс по диффузионным моделям и сопоставлению потоков для машинного обучения, предназначенный для технической аудитории без опыта. Они постарались максимально упростить математические детали (иногда эвристически), сохраняя при этом достаточную точность для вывода правильных алгоритмов.

Читать руководство
👏3😁2
Итак, вы хотите написать потоковый процессор? Остерегайтесь синдрома утки.

Слышали ли вы о «утином синдроме»? Эта концепция описывает утку, которая, кажется, легко скользит по течению, но яростно гребет под поверхностью воды, и обычно используется для описания человека, который выглядит расслабленным, но неустанно работает, чтобы сохранить этот внешний вид.

Читать статью
🔥4
🧠 Как нейросети генерируют изображения

У нейросетей очень много направлений, но генерация изображений — это, пожалуй, самое востребованное и перспективное направление среди всех остальных.

Из этого видео вы во всех подробностях узнаете, какие есть архитектуры построения модели для создания изображений, чем они отличаются друг от друга и увидите всё на понятных практиктических примерах.

Смотреть видео
🔥7
Что такое дескрипторы?

Дескрипторы — это механизм в Python, который позволяет настраивать доступ к атрибутам объектов. Они используются для определения поведения при доступе, изменении или удалении атрибута объекта.

Дескрипторы реализуются через три метода:

— __get__(self, instance, owner) вызывается при доступе к атрибуту
— __set__(self, instance, value) вызывается при изменении атрибута
— __delete__(self, instance) вызывается при удалении атрибута

Дескрипторы могут быть определены как отдельный класс или внутри другого класса. Они могут быть использованы для создания свойств, которые имеют специальное поведение при доступе, изменении или удалении.
#вопросы_с_собеседований
👍11😁32
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈
👍1
🔥 8 вопросов к Data Scientists

Team lead по безопасности личных данных рассказывает новичкам про жизнь в Data Science и отвечает на вопросы, которые волнуют начинающих.

Здесь вы услышите, где лучше учиться на специалиста по данным, что должен уметь Data Scientists, сколько получает разработчик и нужно ли ехать за границу.

Смотреть видео
😁1
🐋🆚🦭 Docker или Podman: что лучше подойдет для вашего проекта

Контейнеризация приложений — одна из самых важных технологий в современной разработке. За последние 10 лет стандартом и синонимом контейнеризации стал Docker. Однако недавно у Docker появился мощный опенсорсный соперник — Podman, который во многом его превосходит.

Читать статью
👍7
Сколько раз в неделю вы ездите в офис? Вы бы хотели перейти на удалёнку?
#интерактив
This media is not supported in your browser
VIEW IN TELEGRAM
👾 Transformer своими руками

Профессор Том Йет сделал Google Sheets, в котором предлагает вам вычислить архитектуру Transformer самостоятельно. Вам даются все матрицы, являющиеся компонентами системы, и вам нужно попробовать рассчитать результирующие матрицы. Ответы, которые указаны прописным шрифтом, вы можете скрыть (а затем проверить себя).

Помимо этого, автор даёт ссылки на полезные материалы, объясняющие архитектуру Transformer.
👍93
⚕️ Какие специалисты по Data Science требуются в медицинских проектах и что им нужно знать?

Что может быть прибыльнее, чем вести войну, торговать оружием и промышлять в даркнете? Правильно — лечить людей и продавать лекарства. Рассказываем, что нужно знать и уметь, чтобы влиться в выгодную и легальную индустрию здравоохранения.

🔗 Читать статью
🔗 Зеркало
👍6😢4
✍️ Исследователи предложили новую архитектуру — Test-Time Training RNN. Что она из себя представляет

Авторы статьи указали на то, что механизм self-attention хорошо работает в длинном контексте, но имеет квадратичную сложность. А существующие RNN-слои имеют линейную сложность, но при этом их производительность с длинным контекстом ограничена. Поэтому исследователи предложили новую архитектуру для моделирования последовательностей с линейной сложностью и скрытым состоянием, способным сохранять контекст.

В предложенной архитектуре скрытое состояние представлено как модель машинного обучения, которая сжимает контекст с помощью градиентного спуска по входным токенам. То есть процесс обновления скрытого состояния на тестовой последовательности эквивалентен обучению модели. Можно сказать, что конечная архитектура учится находить лучший способ сжатия контекста, чтобы добиться высшего качества в предсказании следующего токена.

🔗 Ссылка на исследовательскую статью
🔗 Реализация на PyTorch
🔥73
🏝️ Решаем очень сложную SQL-задачу об островах и проливах

Задача об островах и проливах — это классическая задача в SQL, часто используемая для оценки навыков программиста в работе с базами данных. Суть задачи заключается в том, чтобы в таблице, содержащей данные о событиях и их временных интервалах, объединить отдельные записи в непрерывные интервалы, представляющие собой «острова» (периоды, когда происходили события) и «проливы» (промежутки между ними).

👉В новой статье разбираем решение задачи👈
👍10
Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы
Азбука айтишника — здесь мы познаем азы из мира программирования

🤖Про нейросети
Библиотека робототехники и беспилотников | Роботы, ИИ, интернет вещей
Библиотека нейрозвука | Транскрибация, синтез речи, ИИ-музыка
Библиотека нейротекста | ChatGPT, Gemini, Bing
Библиотека нейровидео | Sora AI, Runway ML, дипфейки
Библиотека нейрокартинок | Midjourney, DALL-E, Stable Diffusion

#️⃣C#

Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel

☁️DevOps

Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования

🐘PHP

Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

Java

Книги для джавистов | Java
Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие каналы

Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика
Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности
Библиотека разработчика игр | Gamedev, Unity, Unreal Engine

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *

* Организация Meta запрещена на территории РФ