#статьи
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
В этом году вышла куча т.н. "эффективных трансформеров", которые пригодны для обработки длинных последовательностей. У стандартного механизма self-attention сложность O(N^2), поэтому её пытаются уменьшить разными приёмами, начиная от ограничения внимания (смотреть не на все токены), заканчивая классическими приёмами (LSH, kernel tricks и т.п.) Если Вы запутались в новинках, смотрите статью с их сравнением:
https://arxiv.org/pdf/2011.04006.pdf
#статьи
Меня сегодня несколько человек спросили про обзоры на разные темы. Я нашёл выход, вот универсальный обзор обзоров в DL, там можно найти интересующий Вас обзор;)
Deep Learning – A first Meta-Survey of selected Reviews across Scientific Disciplines and their Research Impact
https://arxiv.org/ftp/arxiv/papers/2011/2011.08184.pdf
Меня сегодня несколько человек спросили про обзоры на разные темы. Я нашёл выход, вот универсальный обзор обзоров в DL, там можно найти интересующий Вас обзор;)
Deep Learning – A first Meta-Survey of selected Reviews across Scientific Disciplines and their Research Impact
https://arxiv.org/ftp/arxiv/papers/2011/2011.08184.pdf
#статьи
Простой обзор функций активаций, правда очень неполный (например, нет GELU):
https://arxiv.org/pdf/2101.09957v1.pdf
Простой обзор функций активаций, правда очень неполный (например, нет GELU):
https://arxiv.org/pdf/2101.09957v1.pdf
#статьи
Одна из последних статей про функции ошибки:
Nontawat Charoenphakdee "A Symmetric Loss Perspective of Reliable Machine Learning" // https://arxiv.org/pdf/2101.01366v1.pdf
Одна из последних статей про функции ошибки:
Nontawat Charoenphakdee "A Symmetric Loss Perspective of Reliable Machine Learning" // https://arxiv.org/pdf/2101.01366v1.pdf
Data_science_applications_to_string_theory_2020_Physics_Reports.pdf
7.6 MB
#статьи
В работе "Data science applications to string theory" прошлого года фактически содержится краткий обзор многих тем ML.
В работе "Data science applications to string theory" прошлого года фактически содержится краткий обзор многих тем ML.
#статьи
Чтение на выходные... какие интересные статьи вышли за неделю;)
Primer: Searching for Efficient Transformers for Language Modeling
David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
https://arxiv.org/abs/2109.08668v1
Новая трансформерная модель Primer, которую легче обучать (меняется активация и механизм внимания). 35 страниц со всеми приложениями. Это самая обсуждаемая статья недели.
Relation-Guided Pre-Training for Open-Domain Question Answering
Ziniu Hu, Yizhou Sun, Kai-Wei Chang
https://arxiv.org/abs/2109.10346v1
Создаётся искусственный реляционный датасет, на котором производят предобучение моделей. Это делает модели более качественными.
Recursively Summarizing Books with Human Feedback
Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano
https://arxiv.org/pdf/2109.10862v1.pdf
Ребята из OpenAI приспособили GPT-3 для саммаризации (или "реферирования", если по русски). Потребовалась иерархическая процедура. Примеры краткого изложения книг впечатляют.
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
Ivan Vulić, Pei-Hao Su, Sam Coope, Daniela Gerz, Paweł Budzianowski, Iñigo Casanueva, Nikola Mrkšić, Tsung-Hsien Wen
https://arxiv.org/abs/2109.10126v1
Предлагается процедура превращения предобученной языковой модели в специальные кодировщики (универсальные или узкоспециализированные). Выглядит интересно для многих приложений.
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, Zhengyu Niu
https://arxiv.org/abs/2109.09519v1
Двуязычная диалоговая модель с 11 млрд параметрами от ребят из Байду.
Machine-learning hidden symmetries
Ziming Liu, Max Tegmark
https://arxiv.org/abs/2109.09721v1
Маленькая статья с математикой через которую лично мне сложно продираться - поиск паттернов, которые являются симметриями в неизвестной системе координат.
SCSS-Net: Solar Corona Structures Segmentation by Deep Learning
Šimon Mackovjak, Martin Harman, Viera Maslej-Krešňáková, Peter Butka
https://arxiv.org/abs/2109.10834v1
Какого-то крутого результата нет, просто решена частная задача сегментации - на снимках солнца. Интересна как пример приложения сегментации.
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
Jongseok Lee, Jianxiang Feng, Matthias Humt, Marcus G. Müller, Rudolph Triebel
https://arxiv.org/abs/2109.09690v2
Нейросети представляются как разреженные гауссовские процессы.
ElasticFace: Elastic Margin Loss for Deep Face Recognition
Fadi Boutros, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
https://arxiv.org/abs/2109.09416v2
Новинка в распознавании лиц - предложена новая Loss-функция.
Grouping Search Results with Product Graphs in E-commerce Platforms
Suhas Ranganath, Shibsankar Das, Sanjay Thilaivasan, Shipra Agarwal, Varun Shrivastava
https://arxiv.org/abs/2109.09349v1
От ребят из Волмарта про организацию правильного поиска товаров.
Intra-Inter Subject Self-supervised Learning for Multivariate Cardiac Signals
Xiang Lan, Dianwen Ng, Shenda Hong, Mengling Feng
https://arxiv.org/abs/2109.08908v1
Самообучение в анализе кардиосигналов.
Pix2seq: A Language Modeling Framework for Object Detection
Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton
От команды Хинтона: языковые модели теперь детектируют объекты.
Deviation-Based Learning
Junpei Komiyama, Shunya Noda
https://arxiv.org/pdf/2109.09816v1.pdf
Новая техника в рекомендательных системах.
Audiomer: A Convolutional Transformer for Keyword Spotting
Surya Kant Sahu, Sai Mitheran, Juhi Kamdar, Meet Gandhi
https://arxiv.org/abs/2109.10252
Здесь приспособили трансформер для конкретной задачи со звуком. Ничего особо прорывного, но есть вещи, которые можно взять на вооружение.
Чтение на выходные... какие интересные статьи вышли за неделю;)
Primer: Searching for Efficient Transformers for Language Modeling
David R. So, Wojciech Mańke, Hanxiao Liu, Zihang Dai, Noam Shazeer, Quoc V. Le
https://arxiv.org/abs/2109.08668v1
Новая трансформерная модель Primer, которую легче обучать (меняется активация и механизм внимания). 35 страниц со всеми приложениями. Это самая обсуждаемая статья недели.
Relation-Guided Pre-Training for Open-Domain Question Answering
Ziniu Hu, Yizhou Sun, Kai-Wei Chang
https://arxiv.org/abs/2109.10346v1
Создаётся искусственный реляционный датасет, на котором производят предобучение моделей. Это делает модели более качественными.
Recursively Summarizing Books with Human Feedback
Jeff Wu, Long Ouyang, Daniel M. Ziegler, Nissan Stiennon, Ryan Lowe, Jan Leike, Paul Christiano
https://arxiv.org/pdf/2109.10862v1.pdf
Ребята из OpenAI приспособили GPT-3 для саммаризации (или "реферирования", если по русски). Потребовалась иерархическая процедура. Примеры краткого изложения книг впечатляют.
ConvFiT: Conversational Fine-Tuning of Pretrained Language Models
Ivan Vulić, Pei-Hao Su, Sam Coope, Daniela Gerz, Paweł Budzianowski, Iñigo Casanueva, Nikola Mrkšić, Tsung-Hsien Wen
https://arxiv.org/abs/2109.10126v1
Предлагается процедура превращения предобученной языковой модели в специальные кодировщики (универсальные или узкоспециализированные). Выглядит интересно для многих приложений.
PLATO-XL: Exploring the Large-scale Pre-training of Dialogue Generation
Siqi Bao, Huang He, Fan Wang, Hua Wu, Haifeng Wang, Wenquan Wu, Zhihua Wu, Zhen Guo, Hua Lu, Xinxian Huang, Xin Tian, Xinchao Xu, Yingzhan Lin, Zhengyu Niu
https://arxiv.org/abs/2109.09519v1
Двуязычная диалоговая модель с 11 млрд параметрами от ребят из Байду.
Machine-learning hidden symmetries
Ziming Liu, Max Tegmark
https://arxiv.org/abs/2109.09721v1
Маленькая статья с математикой через которую лично мне сложно продираться - поиск паттернов, которые являются симметриями в неизвестной системе координат.
SCSS-Net: Solar Corona Structures Segmentation by Deep Learning
Šimon Mackovjak, Martin Harman, Viera Maslej-Krešňáková, Peter Butka
https://arxiv.org/abs/2109.10834v1
Какого-то крутого результата нет, просто решена частная задача сегментации - на снимках солнца. Интересна как пример приложения сегментации.
Trust Your Robots! Predictive Uncertainty Estimation of Neural Networks with Sparse Gaussian Processes
Jongseok Lee, Jianxiang Feng, Matthias Humt, Marcus G. Müller, Rudolph Triebel
https://arxiv.org/abs/2109.09690v2
Нейросети представляются как разреженные гауссовские процессы.
ElasticFace: Elastic Margin Loss for Deep Face Recognition
Fadi Boutros, Naser Damer, Florian Kirchbuchner, Arjan Kuijper
https://arxiv.org/abs/2109.09416v2
Новинка в распознавании лиц - предложена новая Loss-функция.
Grouping Search Results with Product Graphs in E-commerce Platforms
Suhas Ranganath, Shibsankar Das, Sanjay Thilaivasan, Shipra Agarwal, Varun Shrivastava
https://arxiv.org/abs/2109.09349v1
От ребят из Волмарта про организацию правильного поиска товаров.
Intra-Inter Subject Self-supervised Learning for Multivariate Cardiac Signals
Xiang Lan, Dianwen Ng, Shenda Hong, Mengling Feng
https://arxiv.org/abs/2109.08908v1
Самообучение в анализе кардиосигналов.
Pix2seq: A Language Modeling Framework for Object Detection
Ting Chen, Saurabh Saxena, Lala Li, David J. Fleet, Geoffrey Hinton
От команды Хинтона: языковые модели теперь детектируют объекты.
Deviation-Based Learning
Junpei Komiyama, Shunya Noda
https://arxiv.org/pdf/2109.09816v1.pdf
Новая техника в рекомендательных системах.
Audiomer: A Convolutional Transformer for Keyword Spotting
Surya Kant Sahu, Sai Mitheran, Juhi Kamdar, Meet Gandhi
https://arxiv.org/abs/2109.10252
Здесь приспособили трансформер для конкретной задачи со звуком. Ничего особо прорывного, но есть вещи, которые можно взять на вооружение.
#статьи
Продолжение и картинка для привлечения внимания из одной статьи...
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
https://arxiv.org/abs/2109.10060v1
Попытка сделать крутую динамическую сеть. Как я понимаю, при честном сравнении таки сети пока хуже SoTA в смысле качества, но могут выигрывать по другим показателям.
Towards Zero-Label Language Learning
Zirui Wang, Adams Wei Yu, Orhan Firat, Yuan Cao
https://arxiv.org/abs/2109.09193v1
Работа от гугла - попытка обойтись без размеченных данных, в том числе, для задач синтеза.
И ещё вышла библиотека:
Merlion
https://github.com/salesforce/Merlion
Новая библиотека для временных рядов.
Продолжение и картинка для привлечения внимания из одной статьи...
DS-Net++: Dynamic Weight Slicing for Efficient Inference in CNNs and Transformers
Changlin Li, Guangrun Wang, Bing Wang, Xiaodan Liang, Zhihui Li, Xiaojun Chang
https://arxiv.org/abs/2109.10060v1
Попытка сделать крутую динамическую сеть. Как я понимаю, при честном сравнении таки сети пока хуже SoTA в смысле качества, но могут выигрывать по другим показателям.
Towards Zero-Label Language Learning
Zirui Wang, Adams Wei Yu, Orhan Firat, Yuan Cao
https://arxiv.org/abs/2109.09193v1
Работа от гугла - попытка обойтись без размеченных данных, в том числе, для задач синтеза.
И ещё вышла библиотека:
Merlion
https://github.com/salesforce/Merlion
Новая библиотека для временных рядов.
#статьи
Что было за неделю... но тут только половина самого интересного и популярного
Unsolved Problems in ML Safety
Dan Hendrycks, Nicholas Carlini, John Schulman, Jacob Steinhardt
https://arxiv.org/abs/2109.13916v1
Просто небольшой обзорчик направлений по безопасности в машинном обучении (со ссылками).
Localizing Objects with Self-Supervised Transformers and no Labels
Oriane Siméoni, Gilles Puy, Huy V. Vo, Simon Roburin, Spyros Gidaris, Andrei Bursuc, Patrick Pérez, Renaud Marlet, Jean Ponce
https://arxiv.org/abs/2109.14279v1
Модное в последнее время самообучение в этой работе позволяет локализовывать объекты не используя размеченные данные (есть код).
Reconstruction for Powerful Graph Representations
Leonardo Cotta, Christopher Morris, Bruno Ribeiro
https://arxiv.org/abs/2110.00577v1
Попытка построить хорошее представление графа, для этого используется реконструкция (сеть должна получать представление всего графа по его частям). Довольно интересно!
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Xiao Wang, Hongrui Liu, Chuan Shi, Cheng Yang
https://arxiv.org/abs/2109.14285v1
Про калибровку графовых сетей, интересно, что они, как правило, "недоуверенны" (т.е. выдаваемая вероятность ниже, чем доля объектов с такой вероятностью).
Stochastic Contrastive Learning
Jason Ramapuram, Dan BusBridge, Xavier Suau, Russ Webb
https://arxiv.org/abs/2110.00552v1
В Contrastive Learning вносят латентные переменные.
ResNet strikes back: An improved training procedure in timm
Ross Wightman, Hugo Touvron, Hervé Jégou
https://arxiv.org/abs/2110.00476v1
Взяли ванильный резнет и попробавали натренировать со всеми хаками последних лет. Довольно полезная статья!
A Survey of Knowledge Enhanced Pre-trained Models
Jian Yang, Gang Xiao, Yulong Shen, Wei Jiang, Xinyu Hu, Ying Zhang, Jinghui Peng
https://arxiv.org/abs/2110.00269v1
Статья про KEPTM - это предтренированные модели в которые внесены ещё и некоторые дополнительные знания (что такое "знание" в работе специально поясняется). Приводится обзор подобных решений.
DualNet: Continual Learning, Fast and Slow
Quang Pham, Chenghao Liu, Steven Hoi
https://arxiv.org/abs/2110.00175v1
Ещё одна попытка сделать непрерывное обучение "как у человека" (взяли идею быстрого и медленного обучения).
Multilingual AMR Parsing with Noisy Knowledge Distillation
Deng Cai, Xin Li, Jackie Chun-Sing Ho, Lidong Bing, Wai Lam
https://arxiv.org/abs/2109.15196v1
Предложен мультиязычный AMR-парсер (по тексту получается дерево).
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Matthew Johnson, Virginia Estellers, Thomas J. Cashman, Jamie Shotton
https://arxiv.org/abs/2109.15102v1
Две задачи CV решаются при помощи синтетических данных.
Fine-tuning wav2vec2 for speaker recognition
Nik Vaessen, David A. van Leeuwen
https://arxiv.org/abs/2109.15053v1
Вроде сейчас это модно: на основе wav2vec2 пытаются делать стандартные задачи со звуком и речью.
Что было за неделю... но тут только половина самого интересного и популярного
Unsolved Problems in ML Safety
Dan Hendrycks, Nicholas Carlini, John Schulman, Jacob Steinhardt
https://arxiv.org/abs/2109.13916v1
Просто небольшой обзорчик направлений по безопасности в машинном обучении (со ссылками).
Localizing Objects with Self-Supervised Transformers and no Labels
Oriane Siméoni, Gilles Puy, Huy V. Vo, Simon Roburin, Spyros Gidaris, Andrei Bursuc, Patrick Pérez, Renaud Marlet, Jean Ponce
https://arxiv.org/abs/2109.14279v1
Модное в последнее время самообучение в этой работе позволяет локализовывать объекты не используя размеченные данные (есть код).
Reconstruction for Powerful Graph Representations
Leonardo Cotta, Christopher Morris, Bruno Ribeiro
https://arxiv.org/abs/2110.00577v1
Попытка построить хорошее представление графа, для этого используется реконструкция (сеть должна получать представление всего графа по его частям). Довольно интересно!
Be Confident! Towards Trustworthy Graph Neural Networks via Confidence Calibration
Xiao Wang, Hongrui Liu, Chuan Shi, Cheng Yang
https://arxiv.org/abs/2109.14285v1
Про калибровку графовых сетей, интересно, что они, как правило, "недоуверенны" (т.е. выдаваемая вероятность ниже, чем доля объектов с такой вероятностью).
Stochastic Contrastive Learning
Jason Ramapuram, Dan BusBridge, Xavier Suau, Russ Webb
https://arxiv.org/abs/2110.00552v1
В Contrastive Learning вносят латентные переменные.
ResNet strikes back: An improved training procedure in timm
Ross Wightman, Hugo Touvron, Hervé Jégou
https://arxiv.org/abs/2110.00476v1
Взяли ванильный резнет и попробавали натренировать со всеми хаками последних лет. Довольно полезная статья!
A Survey of Knowledge Enhanced Pre-trained Models
Jian Yang, Gang Xiao, Yulong Shen, Wei Jiang, Xinyu Hu, Ying Zhang, Jinghui Peng
https://arxiv.org/abs/2110.00269v1
Статья про KEPTM - это предтренированные модели в которые внесены ещё и некоторые дополнительные знания (что такое "знание" в работе специально поясняется). Приводится обзор подобных решений.
DualNet: Continual Learning, Fast and Slow
Quang Pham, Chenghao Liu, Steven Hoi
https://arxiv.org/abs/2110.00175v1
Ещё одна попытка сделать непрерывное обучение "как у человека" (взяли идею быстрого и медленного обучения).
Multilingual AMR Parsing with Noisy Knowledge Distillation
Deng Cai, Xin Li, Jackie Chun-Sing Ho, Lidong Bing, Wai Lam
https://arxiv.org/abs/2109.15196v1
Предложен мультиязычный AMR-парсер (по тексту получается дерево).
Fake It Till You Make It: Face analysis in the wild using synthetic data alone
Erroll Wood, Tadas Baltrušaitis, Charlie Hewitt, Sebastian Dziadzio, Matthew Johnson, Virginia Estellers, Thomas J. Cashman, Jamie Shotton
https://arxiv.org/abs/2109.15102v1
Две задачи CV решаются при помощи синтетических данных.
Fine-tuning wav2vec2 for speaker recognition
Nik Vaessen, David A. van Leeuwen
https://arxiv.org/abs/2109.15053v1
Вроде сейчас это модно: на основе wav2vec2 пытаются делать стандартные задачи со звуком и речью.
#статьи
Вроде бы это последний (и очень неплохой) обзор по детектированию объектов:
« A Survey of Modern Deep Learning based Object Detection Models» https://arxiv.org/pdf/2104.11892v2.pdf
Вроде бы это последний (и очень неплохой) обзор по детектированию объектов:
« A Survey of Modern Deep Learning based Object Detection Models» https://arxiv.org/pdf/2104.11892v2.pdf
#статьи
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:
Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf
Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!
Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1
Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.
Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1
Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.
Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2
Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.
Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1
Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.
Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2
Про использование GANов для детектирования аномалий (довольно любопытное направление).
Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5
Довольно интересный по задумке обзор: трюки, используемые в GANах.
Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1
Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.
Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1
Беглый обзор, мало подробностей и сводных таблиц.
Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1
Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.
Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2
Добавил до кучи - этот уже устаревший.
Я честно это всё изучил - теперь вы помучайтесь;) Обзоры последних лет про GAN-ы:
Weihao Xia, Yulun Zhang, Yujiu Yang, Jing-Hao Xue, Bolei Zhou, Ming-Hsuan Yang
GAN Inversion: A Survey
https://arxiv.org/pdf/2101.05278v4.pdf
Обзор посвящён важной задаче: определению латентного кода по сгенерированному GANом изображению. Очень неплохой!
Yang Wang
A Mathematical Introduction to Generative Adversarial Nets (GAN)
https://arxiv.org/abs/2009.00169v1
Формально тут есть необходимая математика для понимания ГАНов, но суховато написано, иллюстраций крайне мало.
Dina Tantawy, Mohamed Zahran, Amr Wassal
A Survey on GAN Acceleration Using Memory Compression Technique
https://arxiv.org/abs/2108.06626v1
Обзор с уклоном в технику "уменьшения моделей" (в меньшей степени про специфику ГАНов). Обзор вполне симпатичный.
Sakib Shahriar
GAN Computers Generate Arts? A Survey on Visual Arts, Music, and Literary Text Generation using Generative Adversarial Network
https://arxiv.org/abs/2108.03857v2
Про создание "шедевров" с уклоном в ГАНы. Этот обзор я пока не прочитал, с виду довольно поверхностный.
Benyamin Ghojogh, Ali Ghodsi, Fakhri Karray, Mark Crowley
Generative Adversarial Networks and Adversarial Autoencoders: Tutorial and Survey
https://arxiv.org/abs/2111.13282v1
Это глава будущей книги. Довольно много теории и мало картинок - больше об устройстве GANов с точки зрения решения конкретных проблем, например, Mode Collapse.
Federico Di Mattia, Paolo Galeone, Michele De Simoni, Emanuele Ghelfi
A Survey on GANs for Anomaly Detection
https://arxiv.org/abs/1906.11632v2
Про использование GANов для детектирования аномалий (довольно любопытное направление).
Ziqiang Li, Xintian Wu, Muhammad Usman, Rentuo Tao, Pengfei Xia, Huanhuan Chen, Bin Li
A Systematic Survey of Regularization and Normalization in GANs
https://arxiv.org/abs/2008.08930v5
Довольно интересный по задумке обзор: трюки, используемые в GANах.
Zhipeng Cai, Zuobin Xiong, Honghui Xu, Peng Wang, Wei Li, Yi Pan
Generative Adversarial Networks: A Survey Towards Private and Secure Applications
https://arxiv.org/abs/2106.03785v1
Немного суховатый про безопасность. Больше интересен тем, кто занимается приватностью и безопасностью.
Pourya Shamsolmoali, Masoumeh Zareapoor, Eric Granger, Huiyu Zhou, Ruili Wang, M. Emre Celebi, Jie Yang
Image Synthesis with Adversarial Networks: a Comprehensive Survey and Case Studies
https://arxiv.org/abs/2012.13736v1
Беглый обзор, мало подробностей и сводных таблиц.
Abdul Jabbar, Xi Li, Bourahla Omar
A Survey on Generative Adversarial Networks: Variants, Applications, and Training
https://arxiv.org/abs/2006.05132v1
Довольно полный обзор, но немного старых техник - больше по решению классических проблем в GANах.
Maciej Wiatrak, Stefano V. Albrecht, Andrew Nystrom
Stabilizing Generative Adversarial Networks: A Survey
https://arxiv.org/abs/1910.00927v2
Добавил до кучи - этот уже устаревший.
#статьи
Подборка самых популярных статей по банковской тематике за последние 7 лет (указано число ссылок в гугл-академии).
545 ссылок, 2021 год
Dwivedi Y. K. et al. Artificial Intelligence (AI): Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy //International Journal of Information Management. – 2021. – Т. 57. – С. 101994.
434 ссылки, 2017 год
Xia Y. et al. A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring //Expert Systems with Applications. – 2017. – Т. 78. – С. 225-241.
235 ссылок, 2018 год
Alessi L., Detken C. Identifying excessive credit growth and leverage // Journal of Financial Stability. – 2018. – Т. 35. – С. 215-225.
206 ссылок, 2015 год
Iturriaga F. J. L., Sanz I. P. Bankruptcy visualization and prediction using neural networks: A study of US commercial banks // Expert Systems with applications. – 2015. – Т. 42. – №. 6. – С. 2857-2869.
183 ссылки, 2017 год
Abellán J., Castellano J. G. A comparative study on base classifiers in ensemble methods for credit scoring // Expert systems with applications. – 2017. – Т. 73. – С. 1-10.
153 ссылки, 2019 год
Kou G. et al. Machine learning methods for systemic risk analysis in financial sectors // Technological and Economic Development of Economy. – 2019. – Т. 25. – №. 5. – С. 716-742.
136 ссылок, 2017
Chakraborty C., Joseph A. Machine learning at central banks. – 2017.
Подборка самых популярных статей по банковской тематике за последние 7 лет (указано число ссылок в гугл-академии).
545 ссылок, 2021 год
Dwivedi Y. K. et al. Artificial Intelligence (AI): Multidisciplinary perspectives on emerging challenges, opportunities, and agenda for research, practice and policy //International Journal of Information Management. – 2021. – Т. 57. – С. 101994.
434 ссылки, 2017 год
Xia Y. et al. A boosted decision tree approach using Bayesian hyper-parameter optimization for credit scoring //Expert Systems with Applications. – 2017. – Т. 78. – С. 225-241.
235 ссылок, 2018 год
Alessi L., Detken C. Identifying excessive credit growth and leverage // Journal of Financial Stability. – 2018. – Т. 35. – С. 215-225.
206 ссылок, 2015 год
Iturriaga F. J. L., Sanz I. P. Bankruptcy visualization and prediction using neural networks: A study of US commercial banks // Expert Systems with applications. – 2015. – Т. 42. – №. 6. – С. 2857-2869.
183 ссылки, 2017 год
Abellán J., Castellano J. G. A comparative study on base classifiers in ensemble methods for credit scoring // Expert systems with applications. – 2017. – Т. 73. – С. 1-10.
153 ссылки, 2019 год
Kou G. et al. Machine learning methods for systemic risk analysis in financial sectors // Technological and Economic Development of Economy. – 2019. – Т. 25. – №. 5. – С. 716-742.
136 ссылок, 2017
Chakraborty C., Joseph A. Machine learning at central banks. – 2017.
#статьи
Карта центральных работ в области ИИ (какого-то ценного функционала нет, но просто познавательно и забавно):
https://60years.vizhub.ai
Карта центральных работ в области ИИ (какого-то ценного функционала нет, но просто познавательно и забавно):
https://60years.vizhub.ai
#статьи
Сегодня я пытался разобраться, есть ли что-то интересное в российских научных журналах про машинное обучение. Выводы я пока писать не буду, но вот результат одного эксперимента: какая самая цитируемая статья в российском журнале, написанная в последние 3 года и выложенная в открытый доступ, в которой используется бустинг? Оказалось, что «Использование алгоритмов искусственного интеллекта в криминалистическом изучении преступной деятельности (на примере серийных преступлений)» https://www.elibrary.ru/download/elibrary_45719543_43573892.pdf
Сегодня я пытался разобраться, есть ли что-то интересное в российских научных журналах про машинное обучение. Выводы я пока писать не буду, но вот результат одного эксперимента: какая самая цитируемая статья в российском журнале, написанная в последние 3 года и выложенная в открытый доступ, в которой используется бустинг? Оказалось, что «Использование алгоритмов искусственного интеллекта в криминалистическом изучении преступной деятельности (на примере серийных преступлений)» https://www.elibrary.ru/download/elibrary_45719543_43573892.pdf
#статьи
А по нейронкам вроде бы самая цитируемая свежая статья в открытом доступе в российском журнале эта - Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга (но тут сложно перебрать все ключевые слова, которые могут быть связаны с глубоким обучением)
https://www.elibrary.ru/download/elibrary_42845903_18431680.pdf
А по нейронкам вроде бы самая цитируемая свежая статья в открытом доступе в российском журнале эта - Эффективность алгоритмов машинного обучения и свёрточной нейронной сети для обнаружения патологических изменений на магнитно-резонансных томограммах головного мозга (но тут сложно перебрать все ключевые слова, которые могут быть связаны с глубоким обучением)
https://www.elibrary.ru/download/elibrary_42845903_18431680.pdf
#статьи
Подборка статей по рекомендательным системам 2021-22 годов (в основном, обзорные, по новым трендам и гибридным подходам).
TTRS: Tinkoff Transactions Recommender System Benchmark
Начнём с рекламы отечественного: статья от ребят из Тинькова. Представлен новый датасет - доступен по запросу.
Revisiting Popularity and Demographic Biases in Recommender Evaluation and Effectiveness
Как эффективность рекомендаций зависит от таких факторов как пол, возраст.
New Hybrid Techniques for Business Recommender Systems
Применение рекомендательных систем в бизнес-консалтинге.
Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems
Проблема популярных товаров: оказывается, что для обучения более ценны пользователи, которые не интересуются популярными товарами и они же стандартными методами получают худшие рекомендации. Эксперименты с Last.fm, MovieLens, BookCrossing, MyAnimeList.
Recency Dropout for Recurrent Recommender Systems
Предлагают технику аугментации, которая позволяет более эффективно использовать RNN в рекомендациях.
Explainability in Music Recommender Systems
Как следует из заголовка - про объяснение музыкальных рекомендаций, но статья больше про проблематику.
Learning Robust Recommender from Noisy Implicit Feedback
Предложена новая техника обучения - получается более робастное решение. Эксперименты на Adressa, Amazon-book, Yelp. Довольно любопытная работа!
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
Обзор по обучению с подкреплением в рекомендациях.
Blockchain-based Recommender Systems: Applications, Challenges and Future Opportunities
Вместе сошлись рекомендации и блокчейн;) Но я в этом ничего не понимаю:(
A Comprehensive Overview of Recommender System and Sentiment Analysis
Можно почитать как не очень детальный обзор методов, обозначенных в заголовке. В целом, не очень интересно.
Advances and Challenges in Conversational Recommender Systems: A Survey
Большой обзор по новому тренду - разговорные (диалоговые) рекомендательные системы. Довольно неплохой!
Graph Neural Networks in Recommender Systems: A Survey
Обзор по ещё одному новому тренду - графовые сети в рекомендациях.
Automated Machine Learning for Deep Recommender Systems: A Survey
Небольшой озор по AutoML в рекомендациях, не очень ясный и подробный.
Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation
Небольшой, но довольно "прозрачный" обзор по объяснениям в рекомендациях.
Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Из названия можно подумать, что статья про методы соседства в рекомендациях, но в ней довольно неплохой обзор и по смежным методам (например, по случайным блужданиям).
A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation
Довольно хороший обзор методов рекомендации, почему-то авторы решили выделить методы, которые позволяют получить неплохую точность.
Efficient Mixed Dimension Embeddings for Matrix Factorization
И закончим статьёй, про которую рассказывали на последнем Дзен-митапе - пока проходит проверку на arxive. Как только пройдёт - дам ссылку.
Подборка статей по рекомендательным системам 2021-22 годов (в основном, обзорные, по новым трендам и гибридным подходам).
TTRS: Tinkoff Transactions Recommender System Benchmark
Начнём с рекламы отечественного: статья от ребят из Тинькова. Представлен новый датасет - доступен по запросу.
Revisiting Popularity and Demographic Biases in Recommender Evaluation and Effectiveness
Как эффективность рекомендаций зависит от таких факторов как пол, возраст.
New Hybrid Techniques for Business Recommender Systems
Применение рекомендательных систем в бизнес-консалтинге.
Popularity Bias in Collaborative Filtering-Based Multimedia Recommender Systems
Проблема популярных товаров: оказывается, что для обучения более ценны пользователи, которые не интересуются популярными товарами и они же стандартными методами получают худшие рекомендации. Эксперименты с Last.fm, MovieLens, BookCrossing, MyAnimeList.
Recency Dropout for Recurrent Recommender Systems
Предлагают технику аугментации, которая позволяет более эффективно использовать RNN в рекомендациях.
Explainability in Music Recommender Systems
Как следует из заголовка - про объяснение музыкальных рекомендаций, но статья больше про проблематику.
Learning Robust Recommender from Noisy Implicit Feedback
Предложена новая техника обучения - получается более робастное решение. Эксперименты на Adressa, Amazon-book, Yelp. Довольно любопытная работа!
A Survey of Deep Reinforcement Learning in Recommender Systems: A Systematic Review and Future Directions
Обзор по обучению с подкреплением в рекомендациях.
Blockchain-based Recommender Systems: Applications, Challenges and Future Opportunities
Вместе сошлись рекомендации и блокчейн;) Но я в этом ничего не понимаю:(
A Comprehensive Overview of Recommender System and Sentiment Analysis
Можно почитать как не очень детальный обзор методов, обозначенных в заголовке. В целом, не очень интересно.
Advances and Challenges in Conversational Recommender Systems: A Survey
Большой обзор по новому тренду - разговорные (диалоговые) рекомендательные системы. Довольно неплохой!
Graph Neural Networks in Recommender Systems: A Survey
Обзор по ещё одному новому тренду - графовые сети в рекомендациях.
Automated Machine Learning for Deep Recommender Systems: A Survey
Небольшой озор по AutoML в рекомендациях, не очень ясный и подробный.
Measuring "Why" in Recommender Systems: a Comprehensive Survey on the Evaluation of Explainable Recommendation
Небольшой, но довольно "прозрачный" обзор по объяснениям в рекомендациях.
Trust your neighbors: A comprehensive survey of neighborhood-based methods for recommender systems
Из названия можно подумать, что статья про методы соседства в рекомендациях, но в ней довольно неплохой обзор и по смежным методам (например, по случайным блужданиям).
A Survey on Accuracy-oriented Neural Recommendation: From Collaborative Filtering to Information-rich Recommendation
Довольно хороший обзор методов рекомендации, почему-то авторы решили выделить методы, которые позволяют получить неплохую точность.
Efficient Mixed Dimension Embeddings for Matrix Factorization
И закончим статьёй, про которую рассказывали на последнем Дзен-митапе - пока проходит проверку на arxive. Как только пройдёт - дам ссылку.
#статьи
Небольшое, но довольно чёткое онлайн-руководство по наукометрии от ВШЭ (какие показатели используются, как выбирать журнал для публикации, что такое ORCID и т.п.)
https://sciguide.hse.ru
Небольшое, но довольно чёткое онлайн-руководство по наукометрии от ВШЭ (какие показатели используются, как выбирать журнал для публикации, что такое ORCID и т.п.)
https://sciguide.hse.ru
#статьи
Лучшие российские журналы, в которых есть DS-тематика.
Как был сформирован список:
- издаётся в России, подходит по тематике (есть какие-то статьи по прикладным задачам, ML, моделированию и т.п.)
- входит в список ВАК, РИНЦ, Scopus, WoS (ну, до санкций входил)
- статьи лежат в открытом доступе (и можно почитать!)
1. Компьютерная оптика
(много статей по компьютерному зрению)
2. Вестник Самарского государственного технического университета. Серия «Физико-математические науки»
(статей по DL вроде совсем нет, в основном, матмоделирование)
3. Известия Саратовского университета. Новая серия. Серия: Математика. Механика. Информатика
(в разделе "Информатика" есть USL, CV и т.п.)
4. Прикладная дискретная математика
(криптография, безопасность, есть анализ текстов )
5. Вестник Томского государственного университета. Управление, вычислительная техника и информатика
(есть релевантный раздел "Информатика и программирование")
Интересно, что тут два Томских, два Самарских и один Саратовский журнал - Московских нет! В журналах "второй категории" (не выполняется какой-то пункт) довольно много Питерских.
Лучшие российские журналы, в которых есть DS-тематика.
Как был сформирован список:
- издаётся в России, подходит по тематике (есть какие-то статьи по прикладным задачам, ML, моделированию и т.п.)
- входит в список ВАК, РИНЦ, Scopus, WoS (ну, до санкций входил)
- статьи лежат в открытом доступе (и можно почитать!)
1. Компьютерная оптика
(много статей по компьютерному зрению)
2. Вестник Самарского государственного технического университета. Серия «Физико-математические науки»
(статей по DL вроде совсем нет, в основном, матмоделирование)
3. Известия Саратовского университета. Новая серия. Серия: Математика. Механика. Информатика
(в разделе "Информатика" есть USL, CV и т.п.)
4. Прикладная дискретная математика
(криптография, безопасность, есть анализ текстов )
5. Вестник Томского государственного университета. Управление, вычислительная техника и информатика
(есть релевантный раздел "Информатика и программирование")
Интересно, что тут два Томских, два Самарских и один Саратовский журнал - Московских нет! В журналах "второй категории" (не выполняется какой-то пункт) довольно много Питерских.
#статьи
Есть такая замечательная коллекция лучших статей на разных DS-конференциях с 1996 года! К сожалению, с прошлого года не обновляется. Но всё рано, очень хорошая подборка.
https://jeffhuang.com/best_paper_awards/
Есть люди, которые целенаправленно читают всех нобелевских лауреатов по литературе или смотрят все фильмы из топа Кинопоиска / IMDb. Можно по аналогии читать по подобным спискам;)
Есть такая замечательная коллекция лучших статей на разных DS-конференциях с 1996 года! К сожалению, с прошлого года не обновляется. Но всё рано, очень хорошая подборка.
https://jeffhuang.com/best_paper_awards/
Есть люди, которые целенаправленно читают всех нобелевских лауреатов по литературе или смотрят все фильмы из топа Кинопоиска / IMDb. Можно по аналогии читать по подобным спискам;)