#вопросы_с_собеседований
Что такое проблемы взрывающегося и затухающего градиента?
Градиент — это вектор частных производных функции потерь по весам нейросети. Он показывает вектор наибольшего роста функции для всех весов.
В процессе обучения при обратном распространении ошибки при прохождении через слои нейронной сети в элементах градиента могут накапливаться большие значения, что будет приводить к сильным изменениям весов. Это дестабилизирует алгоритм нейросети. Эта проблема называется взрывающимся градиентом.
Аналогичная обратная проблема, в которой при прохождении ошибки через слои градиент становится меньше, называется затухающим градиентом.
Чем больше количество слоев нейросети, тем выше риски данных ошибок. Для решения сложных задач с помощью нейронных сетей необходимо уметь определять и устранять её.
Что такое проблемы взрывающегося и затухающего градиента?
Градиент — это вектор частных производных функции потерь по весам нейросети. Он показывает вектор наибольшего роста функции для всех весов.
В процессе обучения при обратном распространении ошибки при прохождении через слои нейронной сети в элементах градиента могут накапливаться большие значения, что будет приводить к сильным изменениям весов. Это дестабилизирует алгоритм нейросети. Эта проблема называется взрывающимся градиентом.
Аналогичная обратная проблема, в которой при прохождении ошибки через слои градиент становится меньше, называется затухающим градиентом.
Чем больше количество слоев нейросети, тем выше риски данных ошибок. Для решения сложных задач с помощью нейронных сетей необходимо уметь определять и устранять её.
👍20🤔3
Фондовый рынок - самая загадочная система, которую может предсказать ИИ.
https://proglib.io/w/27a8a43a
https://proglib.io/w/27a8a43a
Medium
Stock Market is the Most Enigmatic System to be Predicted by AI
And why it’s nearly impossible to do so
👍9👎4🤔1
#вопросы_с_собеседований
Как работает ROC-кривая?
ROC-кривая — это графическое изображение контраста между показателями истинно положительных и ложноположительных результатов при различных пороговых значениях.
Если считать TPR и FPR для фиксированного порога μ є [0,1], то их можно представить в виде функций от аргумента μ:
TPR = TPR(μ), FPR = FPR(μ). При этом обе функции монотонно возрастают от 0 до 1, а значит, определена функция:
ROC(x) = TPR(FPR-1(x)), x є [0,1]
ROC-кривая — это график функции. Как правило, у хорошего классификатора кривая лежит по большей части либо целиком выше прямой y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.
Как работает ROC-кривая?
ROC-кривая — это графическое изображение контраста между показателями истинно положительных и ложноположительных результатов при различных пороговых значениях.
Если считать TPR и FPR для фиксированного порога μ є [0,1], то их можно представить в виде функций от аргумента μ:
TPR = TPR(μ), FPR = FPR(μ). При этом обе функции монотонно возрастают от 0 до 1, а значит, определена функция:
ROC(x) = TPR(FPR-1(x)), x є [0,1]
ROC-кривая — это график функции. Как правило, у хорошего классификатора кривая лежит по большей части либо целиком выше прямой y=x. Это связано с тем что при хорошей классификации надо получать максимальный TPR при минимальном FPR.
👍19
❗ Для всех, кто интересуется Data Science — приглашаем на курс Математики для Data Science!
Курс вам подойдет, если вы:
• Начинающий Data Scientist;
• Вы прошли общие курсы по DS и вам не хватает математики;
• Вы занимаетесь DS, но хотите углубленное понимание математики для работы;
• Вы хотите поступить в Школу Анализа Данных Яндекса (курса будет достаточно для успешного поступления);
• Вы просто хотите подтянуть знания вышмата и использовать их в IT.
⚡ Программа разработана совместно с преподавателями ВМК МГУ — одного из лучших математических факультетов страны!
Курс включает 47 лекций и 150 практических заданий с проверкой.
❗ Помимо математических заданий, в конце будет модуль машинного обучения, где на Python показаны примеры использования математики в задачах машинного обучения.
👉 Посмотреть программу и получить пробные занятия можно тут: https://proglib.io/w/4742484f
На курс действует гарантия!
Курс вам подойдет, если вы:
• Начинающий Data Scientist;
• Вы прошли общие курсы по DS и вам не хватает математики;
• Вы занимаетесь DS, но хотите углубленное понимание математики для работы;
• Вы хотите поступить в Школу Анализа Данных Яндекса (курса будет достаточно для успешного поступления);
• Вы просто хотите подтянуть знания вышмата и использовать их в IT.
⚡ Программа разработана совместно с преподавателями ВМК МГУ — одного из лучших математических факультетов страны!
Курс включает 47 лекций и 150 практических заданий с проверкой.
❗ Помимо математических заданий, в конце будет модуль машинного обучения, где на Python показаны примеры использования математики в задачах машинного обучения.
👉 Посмотреть программу и получить пробные занятия можно тут: https://proglib.io/w/4742484f
На курс действует гарантия!
🔥2
#вопросы_с_собеседований
Что такое закон больших чисел?
Это принцип теории вероятностей, который описывает результат выполнения одного и того же эксперимента множество раз.
При достаточно длительной серии экспериментов закон больших чисел гарантирует устойчивость средних значений от случайных событий. И среднее значение конечной выборки фиксированного распределения будет очень близко к математическому ожиданию выборки.
К примеру, при бросках шестигранного кубика. Чем больше бросков, тем больше среднее значение близится к математическому ожиданию 3,5.
Что такое закон больших чисел?
Это принцип теории вероятностей, который описывает результат выполнения одного и того же эксперимента множество раз.
При достаточно длительной серии экспериментов закон больших чисел гарантирует устойчивость средних значений от случайных событий. И среднее значение конечной выборки фиксированного распределения будет очень близко к математическому ожиданию выборки.
К примеру, при бросках шестигранного кубика. Чем больше бросков, тем больше среднее значение близится к математическому ожиданию 3,5.
👍32👎3
#вопросы_с_собеседований
Что такое ансамбль методов?
Ансамбль методов — это использование нескольких алгоритмов с целью получения более высокой эффективности прогнозирования, чем можно было бы получить, используя эти алгоритмы отдельно.
Что такое ансамбль методов?
Ансамбль методов — это использование нескольких алгоритмов с целью получения более высокой эффективности прогнозирования, чем можно было бы получить, используя эти алгоритмы отдельно.
👎7❤3👍2🤔1
#вопросы_с_собеседований
Перечислите этапы построения дерева решений
Взять весь набор входных данных.
Вычислить энтропию целевой переменной, а также прогнозные атрибуты.
Рассчитать прирост информации по всем атрибутам (информацию о том, как отсортировать разные объекты друг от друга).
Выбрать атрибут с наибольшим объёмом информации в качестве корневого узла.
Повторить ту же процедуру для каждой ветви, пока узел решения каждой ветви не будет завершён.
Перечислите этапы построения дерева решений
Взять весь набор входных данных.
Вычислить энтропию целевой переменной, а также прогнозные атрибуты.
Рассчитать прирост информации по всем атрибутам (информацию о том, как отсортировать разные объекты друг от друга).
Выбрать атрибут с наибольшим объёмом информации в качестве корневого узла.
Повторить ту же процедуру для каждой ветви, пока узел решения каждой ветви не будет завершён.
👍21👎5
YOLOv5 — Детектор лиц
Недавно у меня возникла необходимость сделать детектор лиц в реальном времени для дальнейшей сегментации и распознавания. В качестве детектора я использовал очень популярную сеть YOLOv5.
https://habr.com/ru/post/675590/
Недавно у меня возникла необходимость сделать детектор лиц в реальном времени для дальнейшей сегментации и распознавания. В качестве детектора я использовал очень популярную сеть YOLOv5.
https://habr.com/ru/post/675590/
👍6👎1
#вопросы_с_собеседований
Что такое Random Forest?
Random Forest, или случайный лес, — это один из немногих универсальных алгоритмов обучения, который способен выполнять задачи классификации, регрессии и кластеризации.
Случайный лес состоит из большого количества отдельных деревьев решений, которые по сути являются ансамблем методов. Каждое дерево в случайном лесу возвращает прогноз класса, и класс с наибольшим количеством голосов становится прогнозом леса.
Что такое Random Forest?
Random Forest, или случайный лес, — это один из немногих универсальных алгоритмов обучения, который способен выполнять задачи классификации, регрессии и кластеризации.
Случайный лес состоит из большого количества отдельных деревьев решений, которые по сути являются ансамблем методов. Каждое дерево в случайном лесу возвращает прогноз класса, и класс с наибольшим количеством голосов становится прогнозом леса.
👍10👎8
#вопросы_с_собеседований
Что такое рекуррентные нейронные сети (RNN)?
Рекуррентные нейронные сети — это вид нейросетей, в которых связи между элементами образуют направленную последовательность. Это позволяет обрабатывать серии событий во времени или последовательные пространственные цепочки.
Они используются преимущественно для задач, где нечто цельное состоит из ряда объектов, например при распознавании рукописного текста или речи.
Что такое рекуррентные нейронные сети (RNN)?
Рекуррентные нейронные сети — это вид нейросетей, в которых связи между элементами образуют направленную последовательность. Это позволяет обрабатывать серии событий во времени или последовательные пространственные цепочки.
Они используются преимущественно для задач, где нечто цельное состоит из ряда объектов, например при распознавании рукописного текста или речи.
👍20👎6
Глубокое обучение и нейронные сети с Python и Pytorch, введение. Часть I
https://pythonist.ru/glubokoe-obuchenie-i-nejronnye-seti-s-python-i-pytorch-vvedenie-chast-i/
https://pythonist.ru/glubokoe-obuchenie-i-nejronnye-seti-s-python-i-pytorch-vvedenie-chast-i/
Pythonist
Глубокое обучение и нейронные сети с Python и Pytorch, введение. Часть I
Введение в нейронные сети глубокого обучения на базе фреймворка Pytorch. Раскрываем принципы работы нейронных сетей и основы библиотеки Pytorch.
👍8
О принципах экономии и самосогласованности для возникновения интеллекта.
https://arxiv.org/abs/2207.04630
https://arxiv.org/abs/2207.04630
arXiv.org
On the Principles of Parsimony and Self-Consistency for the...
Ten years into the revival of deep networks and artificial intelligence, we propose a theoretical framework that sheds light on understanding deep networks within a bigger picture of Intelligence...
👍3
Применение научного подхода при решении задач в Data Science.
https://habr.com/ru/company/pgk/blog/676706/
https://habr.com/ru/company/pgk/blog/676706/
Хабр
Применение научного подхода при решении задач в Data Science
Привет! Меня зовут Евгений Мокшин, я занимаюсь аналитикой и машинным обучением в ПГК. Хочу рассказать, как можно применять научный подход при решении рабочих DS-задач. В большинстве статей,...
🔥5👍3
Как Spotify использует семантический поиск для подкастов.
https://www.pinecone.io/learn/spotify-podcast-search/
https://www.pinecone.io/learn/spotify-podcast-search/
www.pinecone.io
How Spotify Uses Semantic Search for Podcasts
Want to add audio search to your applications just like Spotify? You’ll need a vector database like Pinecone. Try it now for free.
🥰2
⚠️ 10 самых распространенных ошибок, ежедневно допускаемых каждым программистом
Ошибаться свойственно человеку. Вместе разберемся с самыми распространёнными ошибками разработчиков и способами их решения.
https://proglib.io/sh/w5AN2X71H9
Ошибаться свойственно человеку. Вместе разберемся с самыми распространёнными ошибками разработчиков и способами их решения.
https://proglib.io/sh/w5AN2X71H9
👍2