Какие есть методы оптимизации в машинном обучении?

Оптимизация — это, в сущности, процесс настройки алгоритма таким образом, чтобы минимизировать или максимизировать определённую функцию потерь.

🔸 Градиентный спуск. Самый простой и известный метод. Параметры модели обновляются с помощью градиента, чтобы прийти к точке минимума. Градиент — это вектор, направление которого совпадает с направлением наискорейшего локального возрастания функции. Соответственно, нас интересует антиградиент, то есть направление наискорейшего локального убывания.

🔸 Стохастический градиентный спуск. Вариация метода выше. В этом случае мы подменяем вычисление градиента по всей выборке вычислением по случайной подвыборке. Это ускоряет процесс обучения.

🔸 Градиентный спуск с моментом. Ещё одна вариация. С математической точки зрения, мы добавляем к градиентному шагу ещё одно слагаемое, которое содержит информацию о предыдущих шагах.

🔸 Adagrad. Адаптация стохастического градиентного спуска. Алгоритм адаптирует размер шага для каждого параметра индивидуально, что позволяет более эффективно находить оптимум.

🔸 RMSprop. Метод, разработанный для решения проблемы быстрого уменьшения скорости обучения в Adagrad.

🔸 Adam (ADAptive Momentum). Объединяет в себе идеи градиентного спуска с моментом и RMSprop.

Очередной #дайджест:

🟣 Практический пример использования модели детекции изображений
Автор подробно рассказывает об учебном проекте, в рамках которого прикрутил модель детекции изображений к умной кормушке.
🟣 Исследование: ChatGPT работает лучше на Julia, чем на Python и R
Перевод статьи исследователя из Массачусетского технологического института. Он, к своему удивлению, выяснил, что ChatGPT лучше справляется с задачами генерации кода на менее распространённом языке Julia.
🟣 Файн-тюнинг языковых моделей для уменьшения фактических ошибок
Авторы статьи представили метод, позволяющий увеличить процент сгенерированных правильных утверждений. Они увидели снижение количества фактических ошибок при генерации на 58% по сравнению с Llama 2 7B Chat.
🟣 Эмбеддинги и векторное хранилище с ChromaDB
Подробная статья о том, что такое векторное представление данных, как работать с эмбеддингами и использовать ChromaDB. Всё с большим количеством примеров кода.

Небольшая шпаргалка по pandas, библиотеке на языке Python для обработки и анализа данных

🤖📜 Искусственный интеллект: краткая история

Впервые люди задумались о мыслящих машинах ещё в античности — у древних греков, например, был миф о гигантском бронзовом автоматоне Талосе. Позднее философы и вовсе решили, что мышление — это механический процесс, а значит его можно имитировать.

Подробнее о том, как мы докатились до создания искусственного интеллекта, читайте в статье 👀

🧑‍💻🪜 6 карьерных советов программисту

Советы, которые подойдут джуниорам, мидлам и сеньорам.

#туториал

Читать статью

⚡ Интервью с выпускником курса «Алгоритмы и структуры данных»

Мы пообщались с ребятами, которые у нас учились, чтобы они поделились впечетлениями. Поэтому ниже часть диалога из нашего интервью с Владиславом, который работает в сфере GameDev.

Почему вы решили пойти учиться?
– Основная цель – это успешно пройти собеседование в европейскую компанию. В FinTech всегда, в 100% случаев спрашивают на знание алгоритмов.

Помог ли вам наш курс в достижении этих целей?
– Да, получилось устроиться в классную компанию, но не в Microsoft пока, так что есть куда стремиться

Что вам больше всего понравилось на курсе?
– В базовом курсе мне понравилось наполнение, у Степана большой опыт в разработке, поэтому рассказывал все с рабочими примерами, узнал для себя много нового . Было полезно, расширяет кругозор. Ну и программа в целом, хорошее наполнение, считаю, что еще больше за такой срок в программу нельзя было уместить.

Как вы оценивали свой уровень знаний до начала обучения и как оцениваете сейчас от 1 до 10?
– До начала обучения по теории – 5, после обучения – 8. Начинал не с нуля, так как уже 6 лет работал разработчиком.

Дайте общую оценку нашему курсу: с какой вероятностью вы бы его порекомендовали друзьям? (от 1 до 10)
– Порекомендовал бы 10 из 10, уже рекомендовал знакомым, потому что без алгоритмов сейчас никуда.

Как планируете использовать полученные знания после курса?
– На собеседованиях в основном, так как это обязательная часть. На работе не так часто требуется, скорее для развития мозга полезно.

Напоминаем, что до конца месяца курс «Алгоритмы и структуры данных» можно получить со скидкой со скидкой 50% – https://proglib.io/w/8c8d18c4

В чем разница между «обучением с учителем» (supervised) и «обучением без учителя» (unsupervised).

Supervised подразумевает обучение модели на данных, для которых известны ответы, то есть каждый пример в обучающем наборе имеет соответствующую метку или целевую переменную. Одной из задач обучения с учителем является классификация, где модель учится различать объекты разных классов. Это может пригодиться, например, при определении спама в электронной почте.

Unsupervised используется, когда у нас нет меток и мы хотим обнаружить скрытые закономерности в данных. Пример задачи обучения без учителя — кластеризация, где модель группирует данные на основе сходства. Это может пригодиться, например, при сегментации аудитории для маркетинговых целей.

Выбор между supervised и unsupervised зависит от конкретной задачи и наличия/отсутствия размеченных данных.

📌 Шпаргалка по NumPy

🌟 Приоритизация задач по методу MoSCoW: как за 5 минут научиться грамотно расставлять приоритеты

Читать статью

⚡ Интервью со студентом курса «Алгоритмы и структуры данных»

Илья Ярлычев – Regular Java developer.

Почему ты решил пойти учиться?
– Мое образование хоть и связано с вычислительной техникой, но больше хотелось академического курса для программистов. Моей цели курс полностью соответствовал.

Что тебе больше всего понравилось на курсе?
– В целом все понравилось. Все основные темы были затронуты, которые мне были нужны.

Как ты оцениваешь свой уровень знаний до начала обучения? Может ты уже знал какие-то темы или начинал все с нуля?
– До обучения уровень знаний – 5, после обучения 7, но я еще прошел не весь курс.

Дай общую оценку от 1 до 10 нашему курсу: с какой вероятностью ты бы порекомендовал его друзьям?
– Порекомендовал бы на 10 из 10. Мне все понравилось. Считаю, что это лучший курс по алгоритмам на русском языке, который мне встречался.

Помог ли тебе наш курс в достижении этих целей?
– Да. Я успел прособеседоваться на несколько крупных проектов. Теперь техничение собеседования – это моя сильная сторона, hr подмечали это.

Если вы также хотите преуспеть на техническом собеседовании, то переходите на сайт и оставляйте заявку на курс «Алгоритмы и структуры данных» со скидкой 50% и получите курс по ML в подарок – https://proglib.io/w/d4544dc5

🏆 Самые популярные языки программирования 2023

Популярность ЯП зависит от нескольких факторов. Мы разобрались с ними, составили сводный рейтинг и обсудили особенности, преимущества, недостатки и причины популярности каждого языка. Заходите и читайте👇

🔗 Читать статью
🔗 Зеркало

Подборка лучших статей «Библиотеки программиста» за ноябрь: сохраняй в заметки, чтобы не пропустить #самыйсок

🗺️ Дорожная карта Go-разработчика в 2023 году
🧑‍💻 6 карьерных советов программисту
⚖️ 25 курсов, книг и подкастов для развития критического мышления
🐍🎨 Генерация красивых QR-кодов с помощью Python
🔈16+ лучших нейронок для синтеза речи
⭐ FAQ по трудоустройству: разбираем самые популярные вопросы
👨‍💻 7 типов «сложных» разработчиков
∞ Дорожная карта DevOps-инженера в 2023 году
❤️🙏 Путь к мечте: как инвалидность не помешала стать разработчиком и продолжить борьбу за здоровье
👀 6 способов привлечь внимание работодателя
🤖📜 Искусственный интеллект: краткая история
🔤 Азбука SQL в примерах (часть 1 + часть 2)
🔢 Как научиться решать сложные задачи
🏆 Самые популярные языки программирования 2023
📰❌ 10 признаков фейковой вакансии
🏃 Самоучитель по Go для начинающих (часть 1 + часть 2)
⚛️ 45 вопросов для подготовки к собеседованию по React
🐍 5 задач для подготовки к собеседованию по Python
🐍🤖✍️ Документирование кода и проектов на Python с помощью ChatGPT

🧑‍💻Графовые нейросети: что это и где используются

Граф позволяет описывать сущности с учётом связей и взаимодействий между ними. У такой структуры данных есть вершины, содержащие сами сущности, и рёбра, содержащие связи между вершинами.

🟡Один из наиболее очевидных примеров графа — социальная сеть. Вершины — пользователи, а рёбра определяют связи между ними.

На графовых данных решается множество задач: от кластеризации до генерации графов с нужными свойствами. Один из подходов к решению задач — использование графовых нейронных сетей (GNN). Вот пример архитектуры:
🟡На вход подаётся граф. У GNN есть слои, которые собирают информацию с соседей и обновляют информацию в вершине. Это похоже на принцип работы свёрточной нейросети, поэтому такие слои называются графовыми свёртками. Они получают на вход граф со скрытыми состояниями у вершин и ребёр и выдают тот же граф с обновлёнными скрытыми состояниями.

GNN можно использовать, например, для создания персонализированных рекомендаций.

Что такое PyCaret?

PyCaret — это библиотека машинного обучения с открытым исходным кодом и низким уровнем кода для Python, которая автоматизирует рабочие процессы машинного обучения. Она является инструментом для машинного обучения и управления моделями от начала до конца, который ускоряет цикл экспериментов в экспоненциальной степени.

В этом примере мы загружаем набор данных juice и используем его для решения задачи классификации. Мы инициализируем настройки с помощью функции setup, затем сравниваем различные модели с помощью функции compare_models и выбираем наилучшую.

Далее мы создаем модель решающего дерева с помощью функции create_model и настраиваем ее с помощью функции tune_model. Мы также можем оценить модель с помощью функции evaluate_model и использовать ее для прогнозирования на новых данных с помощью функции predict_model.

👀 Внимание всем отважным героям и искателям приключений!

«Библиотеки Программиста» с гордостью представляет новую захватывающую игру — «Битва с Драконом».

Выберите своих персонажей и сразитесь с древним Крылатым Ужасом Бурлопиворогом в эпическом поединке!

Мы предлагаем вам взять под свой контроль хитроумного изобретателя или ловкого вора.

🏆 Победителей ждет почет, уважение и награда!

🤞Итак, кто осмелится бросить вызов Бурлопиворогу? Начните свою «Битву с Драконом» — https://t.iss.one/proglib_game_bot