Привіт! Я знаходжу цікаві матеріали на тему ML/DS та поширюю їх серед своїх друзів та колег. Тому вирішив створити цей канал для більшого кола людей та всіх бажаючих.
Тут публікуються дописи про цікаві актуальні дослідження, поради для початківців у машинному навчанні та останні новини зі світу AI.
Цей канал буде цікавим:
🔥 ML-дослідникам, які не хочуть пропустити останніх новин, пов'язаних з їх роботою;
🔥 Студентам з технічним бекграундом;
🔥 Люди, які працюють у сфері IT, але не в машинному навчанні і водночас цікавляться світом штучного інтелекту і майбутнього скайнету.
Чат каналу: @eiaioi_chat
З приводу питань та пропозицій, пишіть, будь ласка, у бот зворотнього зв'язку: @eiaioi_bot
Тут публікуються дописи про цікаві актуальні дослідження, поради для початківців у машинному навчанні та останні новини зі світу AI.
Цей канал буде цікавим:
🔥 ML-дослідникам, які не хочуть пропустити останніх новин, пов'язаних з їх роботою;
🔥 Студентам з технічним бекграундом;
🔥 Люди, які працюють у сфері IT, але не в машинному навчанні і водночас цікавляться світом штучного інтелекту і майбутнього скайнету.
Чат каналу: @eiaioi_chat
З приводу питань та пропозицій, пишіть, будь ласка, у бот зворотнього зв'язку: @eiaioi_bot
📃 The Modern Mathematics of Deep Learning aka mathematical analysis of deep learning
Мне всегда не хватало какой-то стандартизации понятий в современном мире ML. Наверное самый формальный язык, который можно растолковать всегда однозначно — это математика.
В данной статье ребята классно рассказали на языке математики про такие базовые понятия как: activation functions, batch normalization, U-Net, ResNet, RNN, optimizators, etc..
Pic. 1: Definition 1.1 (Learning — informal)
Pic. 2: Definition 1.4 (FC neural network)
Pic. 3: List of commonly used activation functions.
#explained
Мне всегда не хватало какой-то стандартизации понятий в современном мире ML. Наверное самый формальный язык, который можно растолковать всегда однозначно — это математика.
В данной статье ребята классно рассказали на языке математики про такие базовые понятия как: activation functions, batch normalization, U-Net, ResNet, RNN, optimizators, etc..
Pic. 1: Definition 1.1 (Learning — informal)
Pic. 2: Definition 1.4 (FC neural network)
Pic. 3: List of commonly used activation functions.
#explained
DeepMind выложили в открытый доступ код AlphaFold v2.0: https://github.com/deepmind/alphafold
Ранее они уже выкладывали код для пресс-релиза в своем github-репозитории экспериментов DeepMind.
Какая проблема решалась?
Проблема предсказания структуры белков: понять, как последовательность превращается в структуру.
#research
Ранее они уже выкладывали код для пресс-релиза в своем github-репозитории экспериментов DeepMind.
Какая проблема решалась?
Проблема предсказания структуры белков: понять, как последовательность превращается в структуру.
#research
Making Convolutional Networks Shift-Invariant Again.
We show that classic antialiasing applied to modern deep networks can stabilize outputs and improve accuracy.
Если вам необходимо сделать свою сетку более консистентной (shift invariance), можете попробовать использовать данный захак.
Известный трюк из signal processing — пропустить сигнал через фильтр низких частот для отсечения высокочастотных шумов и увеличения внимания на нужном диапазоне сигнала. Нестрого говоря: необходимо замылить фичи на выходе pooling слоя, а также после активаций.
В данной статье рассказывают о том, как небольшими изменениями в коде можно достичь большей точности на несколько процентов и сильно улучшить консистентность модели.
#research
We show that classic antialiasing applied to modern deep networks can stabilize outputs and improve accuracy.
Если вам необходимо сделать свою сетку более консистентной (shift invariance), можете попробовать использовать данный захак.
Известный трюк из signal processing — пропустить сигнал через фильтр низких частот для отсечения высокочастотных шумов и увеличения внимания на нужном диапазоне сигнала. Нестрого говоря: необходимо замылить фичи на выходе pooling слоя, а также после активаций.
В данной статье рассказывают о том, как небольшими изменениями в коде можно достичь большей точности на несколько процентов и сильно улучшить консистентность модели.
#research
The Mayflower Autonomous Ship's journey to transform ocean research using AI and Automation
FSD для автомобилей? Уже не так интересно.
FSD для судоходного транспорта, вот что круто!
Инженеры из IBM совместно с разработчиками из MarineAI разработали автономный корабль Mayflower. На борту — последние разработки AI/ML, которые могут работать без выхода в интернет. Судно позволит исследовать моря и океаны без рисков для жизни людей в суровых погодных условиях.
«Он (корабль) будет полностью нести ответственность за свои собственные навигационные решения по мере продвижения, потому что у него есть очень сложное программное обеспечение — ИИ, которые мы используем для распознавания различных препятствий и объектов в воде, будь то другие корабли, лодки, обломки, наземные препятствия и т. д. или даже морской жизни», — недавно сказал Robert High, VP и CTO в Edge Computing, IBM.
#news
FSD для автомобилей? Уже не так интересно.
FSD для судоходного транспорта, вот что круто!
Инженеры из IBM совместно с разработчиками из MarineAI разработали автономный корабль Mayflower. На борту — последние разработки AI/ML, которые могут работать без выхода в интернет. Судно позволит исследовать моря и океаны без рисков для жизни людей в суровых погодных условиях.
«Он (корабль) будет полностью нести ответственность за свои собственные навигационные решения по мере продвижения, потому что у него есть очень сложное программное обеспечение — ИИ, которые мы используем для распознавания различных препятствий и объектов в воде, будь то другие корабли, лодки, обломки, наземные препятствия и т. д. или даже морской жизни», — недавно сказал Robert High, VP и CTO в Edge Computing, IBM.
#news
YouTube
The Mayflower Autonomous Ship's journey to transform ocean research using AI and Automation
Register now at https://ibm.biz/BdfyZr for Episode 5 of The Uncharted docuseries. In this episode, the Mayflower Autonomous Ship team is feeling the pressure before the ship’s journey across the Atlantic. Watch the team prep for the Mayflower’s big mission…
Few-shot Neural Architecture Search
paper, facebook tech blog, code.
Facebook опубликовал исследование, которое позволяет ускорить поиск архитектуры нейросетей (Neural Architecture Search) с минимальными потерями в точности. Идея заключается в рекурсивном делении основной архитектуры (supernet) на подсети. Ключевой момент в transfer learning от родителя к предку, а потом перебор и поиск оптимальной операции между вершинами графа.
По сути, они предлагают сбалансированное решение между One-shot NAS (тренируется только supernet) и Vanilla NAS (перетренировка с нуля каждой подсети) — Few-shot NAS (transfer learning подсетей).
#research
paper, facebook tech blog, code.
Facebook опубликовал исследование, которое позволяет ускорить поиск архитектуры нейросетей (Neural Architecture Search) с минимальными потерями в точности. Идея заключается в рекурсивном делении основной архитектуры (supernet) на подсети. Ключевой момент в transfer learning от родителя к предку, а потом перебор и поиск оптимальной операции между вершинами графа.
По сути, они предлагают сбалансированное решение между One-shot NAS (тренируется только supernet) и Vanilla NAS (перетренировка с нуля каждой подсети) — Few-shot NAS (transfer learning подсетей).
#research
Backpropagation In Convolutional Neural Networks
Отличная статья от Jefkine Kafunah на тему обратного распространения ошибки в сверточных нейронных сетях. Интересно почитать и новичкам в МЛ, и тем, кто давно работает в МЛ, особенно Computer Vision, но autograd постоянно делает за них всю работу ;)
Кстати на этом же сайте есть ещё интересные статьи про Vanishing And Exploding Gradient Problems, Factorization Machines, Formulating The ReLu, Initialization Of Deep Feedfoward Networks и другие. Советую почитать.
#explained
Отличная статья от Jefkine Kafunah на тему обратного распространения ошибки в сверточных нейронных сетях. Интересно почитать и новичкам в МЛ, и тем, кто давно работает в МЛ, особенно Computer Vision, но autograd постоянно делает за них всю работу ;)
Кстати на этом же сайте есть ещё интересные статьи про Vanishing And Exploding Gradient Problems, Factorization Machines, Formulating The ReLu, Initialization Of Deep Feedfoward Networks и другие. Советую почитать.
#explained