Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.8K subscribers
2.24K photos
111 videos
64 files
4.65K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
💬 Как вы считаете: нужно ли уметь писать алгоритмы машинного обучения с нуля, чтобы считаться хорошим дата-сайентистом?

👾 — да
❤️ — необязательно

#интерактив
61👾53👏3🥰2
🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи

Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом.

Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций.

Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах.

👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.
🖥 Итоги недели в мире Python и обзоры новых инструментов

У нас есть еженедельная рассылка о последних открытиях и тенденциях в мире Python. Мы опубликовали новый выпуск на 📰.

Ниже — небольшая часть выпуска, а целиком читайте здесь 👈

🏛Паттерн проектирования Unit of Work

Новый видеоролик рассказывает о паттерне Unit of Work, который используется для обеспечения согласованности данных при выполнении операций с базами данных.

🎸Как использовать PostgreSQL для управления очередями задач в Django

В этом видео подробно показан процесс настройки Django, создания класса Task и написания воркера.

📨Как отправлять зашифрованные имейлы с помощью собственного SMTP-сервера

Для отправки писем из Python-приложений можно использовать сторонние API или напрямую подключаться к SMTP-серверу. Второй метод пошагово разобран в этой статье.

Вы можете подписаться на email-рассылку здесь
Please open Telegram to view this post
VIEW IN TELEGRAM
3👍1
💻🚀🏰 Как мы создали ИИ-стартап на хакатоне выходного дня в Германии

Инженер ПО рассказал нам о своих выходных на хакатоне в Кельне, где с командой пытался создать AI-стартап всего за два дня. Участники прошли путь от подачи идей в пятницу вечером до демонстрации работающего приложения к воскресенью.

В качестве бонуса автор привёл список основных пунктов, которые необходимо выполнить для создания стартапа.

🔗 Читать статью
🔗 Зеркало
👍21
🖥️🔤 Транскрибация видео и создание субтитров с помощью Whisper, FFmpeg и Python

Следуя нашему пошаговому руководству, вы сможете автоматически транскрибировать аудио и добавлять субтитры к своим видео всего за несколько минут.

🔗 Читать руководство
🔗 Зеркало
👍6👏4🔥3
🧡💛 Туториал по продвинутому использованию Google Colab

Автор туториала — один из инженеров машинного обучения Google. Он расскажет, как использовать:
▪️секреты;
▪️кастомные сниппеты;
▪️Colab AI;
▪️кастомные VM;
▪️kitty mode.

🔗 Ссылка на туториал
👍4🔥3
📊 SQL в Jupyter-ноутбуках

Инструмент JupySQL предлагает расширения к магической команде %%sql. Он позволяет:

▫️выполнять SQL-запросы непосредственно в Jupyter-ноутбуке;
▫️легко конвертировать результаты в датафреймы Pandas;
▫️удобно организовать большие SQL-запросы, разбивая их на управляемые части;
▫️строить графики из больших наборов данных с эффективным управлением памятью.

🔗 Ссылка на GitHub-репозиторий JupySQL
🔗 Ссылка на документацию
👍171👾1
📈 Стать аналитиком Big Data: пошаговое руководство 2024

Big Data — это наборы данных очень больших размеров, которые также характеризуются многообразием и высокой скоростью обновления. Аналитики больших данных находят и исследуют в них закономерности с помощью специальных программных средств.

В нашей обновлённой статье рассказываем, какие знания, онлайн-курсы, подкасты и книги помогут начать карьеру в сфере Big Data без специального образования🧑‍🎓

🔗 Читать статью
🔗 Зеркало
4
🎯 Как изменились бенчмарки в 2024 году

Автор Telegram-канала Kali Novskaya поделилась своими мыслями по поводу того, как изменилась процедура оценки языковых моделей. Она считает, что 5 привычных заповедей бенчмарков больше не соблюдаются. Это:

▫️Датасеты и бенчмарки всегда живут дольше, чем модели.
Теперь бенчмарки устаревают за месяц, нередко тесты оказываются в обучающей выборке.

▫️Тестовые сеты можно спокойно выкладывать в открытый доступ.
На самом деле, любые датасеты легко попадают в обучающую выборку, в том числе из-за массового сбора данных по сети.

▫️Новый датасет даёт более надёжный результат.
Это правило теперь работает не всегда — только в тех случаях, когда новый датасет составляется людьми с нуля.

▫️Разработчики моделей сами прогоняют свою модель и подбирают лучшие параметры.
Теперь разработчики, скорее, отдают контейнер организаторам лидерборда, чтобы те его его запустили и сравнили с другими. Поэтому перебор гиперпараметров сделать нельзя.

▫️Однократной оценки достаточно.
Современные модели стоит проверять чаще, так как они постоянно обновляются, а некоторые и вовсе используют информацию из сторонних источников.
👍2😢1
💻🚀💊 «Доктор Хаус»: ИИ-диагност в вашем телефоне. Передаём стартап в хорошие руки

В предыдущей части статьи инженер ПО рассказывал о том, как поучаствовал в хакатоне по созданию ИИ-стартапа. В новой части автор уделяет больше внимания итоговому продукту, а не процессу соревнования.

Продукт — это мобильное приложение Dr. House, ИИ-диагност, который может поставить предварительный диагноз. Внутри статьи также есть полная информация о проекте и ссылка на его исходный код.

🔗 Читать статью
🔗 Зеркало
😁4🔥3👍2👏1
🚀 Скоро выйдет NumPy 2.0

Это будет первое крупное обновление с 2006 года. Вот основные изменения:

▪️новый тип данных строк переменной длины — StringDType;
▪️поддержка float32 и longdouble во всех функциях numpy.fft;
▪️ускорение функций сортировки (sort, argsort, partition, argpartition);
▪️улучшение Python API;
▪️максимальное количество измерений массива изменено с 32 до 64;
▪️тип данных по умолчанию для целых чисел в Windows теперь int64, как и на других платформах.

🔗 Ссылка на сайт NumPy со всеми подробностями
🔥12
👨‍🎓️ 33 лучших вуза России для будущих программистов 2024-2025

Составили список из 33-х вузов, где вы научитесь думать как программист и получите фундаментальные знания в области математики, информатики, компьютерных наук и так далее. Для удобства вузы отсортированы по среднему проходному баллу ЕГЭ: от наибольшего к наименьшему.

🔗 Читать статью
🔗 Зеркало
😢5🤔21🥰1😁1
🤖 Напоминаем, что у нас есть еженедельная email-рассылка, посвященная последним новостям и тенденциям в мире искусственного интеллекта.

В ней:
● Новости о прорывных исследованиях в области машинного обучения и нейросетей
● Материалы о применении ИИ в разных сферах
● Статьи об этических аспектах развития технологий
● Подборки лучших онлайн-курсов и лекций по машинному обучению
● Обзоры инструментов и библиотек для разработки нейронных сетей
● Ссылки на репозитории с открытым исходным кодом ИИ-проектов
● Фильмы, сериалы и книги

👉Подписаться👈