Библиотека дата-сайентиста | Data Science, Machine learning, анализ данных, машинное обучение
18.7K subscribers
2.25K photos
113 videos
64 files
4.66K links
Все самое полезное для дата сайентиста в одном канале.

По рекламе: @proglib_adv

Курс по ML: https://clc.to/4hNluQ

Для обратной связи: @proglibrary_feeedback_bot

РКН: https://gosuslugi.ru/snet/67a5b03124c8ba6dcaa121c9
Download Telegram
Хардкорный курс по математике для тех, кто правда любит математику!

Начать с вводных занятий можно здесь, ответив всего на 4 вопроса – https://proglib.io/w/584771bd

Что вас ждет:

– Вводный урок от CPO курса;

– Лекции с преподавателями ВМК МГУ по темам: теория множеств, непрерывность функции, основные формулы комбинаторики, матрицы и операции над ними, градиентный спуск;

– Практические задания для закрепления материала и ссылки на дополнительные материалы.

⚡️ Переходите и начинайте учиться уже сегодня – https://proglib.io/w/584771bd
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉1
This media is not supported in your browser
VIEW IN TELEGRAM
🧡💛 Теперь создавать и редактировать Google Sheets можно прямо из Colab-ноутбука

Новая функция InteractiveSheet предоставляет графический интерфейс (GUI) для данных. Вы можете анализировать их и трансформировать так, как делали бы это в Google Sheets. Нужно лишь ввести строчку:

👉 sh = sheets.InteractiveSheet(df=df, title='your_title')
🔥9👍42🥰1😁1
15 Pictures with Deep Meaning:

1. 👆

Итак, коллеги, делимся любимыми картинками про DS и ML, чтобы собрать пак из минимум 15 мемов 👇
😁9👍2
🐍🛠️ 5 Python-инструментов, которые изменят ваш подход к разработке

Эффективность разработки на Python во многом зависит от используемых инструментов. В этой статье мы рассмотрим пять мощных решений, способных существенно повысить продуктивность вашей работы.

👉 Читать статью
🥰3
This media is not supported in your browser
VIEW IN TELEGRAM
✍️ Многослойный перцептрон в PyTorch

Автор блога AI by Hand предложил следующее упражнение: 

Вам дан шаблон кода слева и схематичное изображение многослойного перцептрона справа (см. видео, прикреплённое к посту). Нужно заполнить пробелы.

Вот шаги для заполнения👇

▪️Первый линейный слой:
Размер входных признаков — 3. Размер выходных признаков — 4. Мы видим, что размер матрицы весов составляет 4 на 3. Также есть дополнительный столбец для смещений (bias = T).

▪️Функция активации — ReLU. Мы видим эффект ReLU на первом признаке (-1 -> 0).

▪️Второй линейный слой:
Размер входных признаков — 4, что совпадает с размером выходных признаков предыдущего слоя. Размер выходных признаков — 2. Мы видим, что размер матрицы весов составляет 2 на 4. Но нет дополнительного столбца для смещений (bias = F).

▪️Функция активации — ReLU.

▪️Финальный линейный слой:
Размер входных признаков — 2, что совпадает с размером выходных признаков предыдущего слоя. Размер выходных признаков — 5. Мы видим, что размер матрицы весов составляет 5 на 2. Также есть дополнительный столбец для смещений (bias = T).

▪️Функция активации — Sigmoid. Мы видим эффект Sigmoid, который представляет собой нелинейное отображение «сырых» значений (3, 0, -2, 5, -5) к вероятностным значениям (между 0 и 1).
🥰6👍3
✍️ Слияние словарей в PyTorch: зачем нужно и подводные камни

Обучение большой сети на одной видеокарте может стать проблемной задачей. Одним из способов решить её является разбивка датасета на части и обучение одной и той же нейросети параллельно на разных устройствах. Однако затем нужно каким-то образом слить обученные нейросети в одну.

👉 О том, как это делать, можно подробнее почитать в новой статье на «Хабре»
🔥2🥰2
🪐 Satyrn — удобная альтернатива JupyterLab для macOS

▪️Инструмент бесплатный. Нужно просто скачать подходящий клиент с сайта.
▪️Запускается в отдельном окне без каких-либо дополнительных окон терминала.
▪️К работе с Jupyter Notebooks можно приступить сразу.
▪️Можно установить любое ядро, с которым вы привыкли работать.

🔗 Ссылка на сайт Satyrn
👍6
Внимание, задание:

С помощью эмодзи расскажите, чем вы занимаетесь на работе 👀

Вот пример: 🧑‍💻😭🧑‍💻

👇Ждём в комментариях👇
🔥6
📊 Kaggle за 30 минут: практическое руководство для начинающих

Начинающему дата-сайентисту необходима практика, а Kaggle решает эту проблему. Из статьи вы узнаете, как лучше всего начать работу с популярным сервисом.

🔗 Статья
👍7
💵⚡️ДАРИМ 40 000₽ ЗА ВИДЕО

Конкурс года в «Библиотеке программиста»: смонтируйте короткий вертикальный ролик формата Shorts/Reels* на тему программирования и разработки — лучший автор получит 40 тысяч рублей 🤑

Подробные условия:
➡️смонтируйте короткий смешной вертикальный ролик (можно и нужно использовать мемы)
➡️отправьте нам в бота @ProglibContest_bot
➡️лучшие ролики (по мнению редакции) мы будем выкладывать в канал и в наш инстаграм*
➡️тот, чей ролик соберет больше всего просмотров в инстаграм*, получит приз — 40 тысяч рублей

Какие ролики мы не принимаем:
😟не вашего авторства (проверим!)
😟длинные, невертикальные, несмешные

Таймлайн:
2 августа — заканчиваем принимать видео
⬇️
3 августа — начинаем загружать лучшие видео в инстаграм
⬇️
9 августа — подводим итоги

*Организация Meta признана экстремистской в РФ
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥2🤔1
☄️ Подборка последних исследований из области искусственного интеллекта

Google научила ИИ решать математические задачи на уровне олимпиадника-медалиста
Компания представила две модели — AlphaProof и AlphaGeometry 2. Вместе они впервые смогли решить четыре из шести задач International Mathematical Olympiad (IMO). Это уровень участника, взявшего серебряную медаль.

📈 Вышел отчёт «Индекс зрелости корпоративного искусственного интеллекта 2024»
Как выяснилось, для многих организаций использование ИИ всё ещё находится на экспериментальной стадии. Лишь 18% опрошенных используют возможности искусственного интеллекта.

Сравнение RAG и LLM с большим контекстным окном
Хотя RAG — это довольно мощный инструмент, последние модели, такие как Gemini-1.5 и GPT-4, демонстрируют хорошие способности к пониманию длинных контекстов напрямую. В рамках исследования проводится всестороннее сравнение RAG и подобных моделей, чтобы выявить сильные стороны обоих подходов.

🦄 Исследователи из IBM предложили новый метод уменьшения галлюцинаций LLM
Авторы демонстрируют, что путём простого масштабирования вектора, который ограничивает генерацию в декодере LLM с расширенной памятью, можно добиться уменьшения галлюцинаций без необходимости обучения.
Please open Telegram to view this post
VIEW IN TELEGRAM
👏52
❤️ Как начать относиться к LLM с бОльшим пониманием?

Андрей Карпаты советует сравнить токены с эмодзи. Он считает, что это довольно близко к истине — каждый токен по сути является маленьким иероглифом, и языковая модель должна с нуля учить, что всё это значит, основываясь на статистике данных.

Так что проявите немного сочувствия в следующий раз, когда спросите у LLM, сколько букв ‘r’ в слове ‘strawberry’, потому что ваш вопрос выглядит вот так: 👩🏿‍❤️‍💋‍👨🏻🧔🏼🤾🏻‍♀️🙍‍♀️🧑‍🦼🧑🏾‍🦼🤙🏻✌🏿🈴🧙🏽‍♀️📏🙍‍♀️🧑‍🦽🧎‍♀️🍏💂


Также Карпаты поделился колаб-ноутбуком, в котором можно поиграться с этим 👈
13👍1
✍️ «Библиотека программиста» находится в поиске автора на написание книжных рецензий

Кто нужен?
● Энтузиасты (джуны и выше), которые которые разбираются в IT
● Любители книг, которые хотели бы получать деньги за чтение и написание рецензий
● Работаем с самозанятыми (компенсируем налог), ИП

Мы предлагаем частичную занятость и полностью удаленный формат работы — можно совмещать с основной и находиться в любом месте🌴

✉️ Станьте частью нашей команды — присылайте резюме и примеры работ [email protected]
👍3😁2
🤖 Может ли ИИ обрести сознание и как мы об этом узнаем?

Развитие ИИ идет невероятными темпами: то, что еще несколько месяцев назад было под силу только человеку, теперь с успехом могут делать чат-боты. Если искусственный сверхинтеллект (AGI) действительно появится в ближайшие годы, границы между способностями людей и AI и вовсе могут исчезнуть. Может ли ИИ обрести настоящее сознание, подобное человеческому? Теперь это вопрос волнует не только футурологов и писателей-фантастов, но и ведущих ученых по всему миру.

📖 Читать статью
Please open Telegram to view this post
VIEW IN TELEGRAM
🎉52