360K subscribers
4.33K photos
814 videos
17 files
4.81K links
Погружаемся в машинное обучение и Data Science

Показываем как запускать любые LLm на пальцах.

По всем вопросам - @haarrp

@itchannels_telegram -🔥best channels

Реестр РКН: clck.ru/3Fmqri
Download Telegram
The Illustrated GPT-2 (Visualizing Transformer Language Models)

Visual explaining the inner-workings of transformers, and how they’ve evolved since the original paper

https://jalammar.github.io/illustrated-gpt2/

Habr ru: https://habr.com/ru/post/490842/

OpenAI Implementation: https://github.com/openai/gpt-2
Training with quantization noise for extreme model compression

Quant-Noise is a new technique to enable extreme compression of models that still deliver high performance when deployed in practical applications.

https://ai.facebook.com/blog/training-with-quantization-noise-for-extreme-model-compression/

Paper: https://arxiv.org/abs/2004.07320

GitHub: https://github.com/pytorch/fairseq/tree/master/examples/quant_noise
Making Monolingual Sentence Embeddings Multilingual using Knowledge Distillation

Easy and efficient method to extend existing sentence embedding models to new languages. This allows to create multilingual versions from previously monolingual models.

Code: https://github.com/UKPLab/sentence-transformers

Paper: https://arxiv.org/abs/2004.09813v1
This media is not supported in your browser
VIEW IN TELEGRAM
🦑 Нейроэволюция киберкальмаров

Для создания нейронных сетей, обеспечивающих поведение без обучения, можно использовать нейроэволюцию. Эволюционные алгоритмы (например, такой, который я использовал для выполнения эволюции растений) подвергают генетический код эволюции в течение долгого периода времени. Генетический код (модель для ДНК) и представляемый им организм изначально очень просты, но в течение многих поколений небольшие мутации увеличивают благоприятную сложность и добавляют функции, стимулирующие дальнейшее распространение этих свойств.

Цифровые кальмары

Чтобы продемонстрировать действие нейроэволюции, я хочу подвергнуть эволюции цифровых кальмаров. Кальмары обладают следующими свойствами:

➡️ Читать дальше :
🔩 Код из статьи

@ai_machinelearning_big_data
Please open Telegram to view this post
VIEW IN TELEGRAM
Measuring Information Propagation in Literary Social Network

Annotated dataset of 100 works of fiction to support tasks in natural language processing and the computational humanities.

Code: https://github.com/dbamman/litbank

Paper: https://arxiv.org/pdf/2004.13980v1.pdf
This media is not supported in your browser
VIEW IN TELEGRAM
NUBIA (NeUral Based Interchangeability Assessor) is a new SoTA evaluation metric for text generation

Methodology to build automatic evaluation metrics for text generation using only machine learning models as core components

https://wl-research.github.io/blog/

Github: https://github.com/wl-research/nubia

Paper: https://arxiv.org/abs/2004.14667v1

Colab: https://colab.research.google.com/drive/1_K8pOB8fRRnkBPwlcmvUNHgCr4ur8rFg
This media is not supported in your browser
VIEW IN TELEGRAM
An Implementation of ERNIE For Language Understanding (including Pre-training models and Fine-tuning tools)

ERNIE 2.0 is a continual pre-training framework for language understanding in which pre-training tasks can be incrementally built and learned through multi-task learning.

ERNIE 2.0 from Baidu: https://github.com/PaddlePaddle/ERNIE

Dataset: https://gluebenchmark.com/tasks

Understanding Language using XLNet with autoregressive pre-training

https://medium.com/@zxiao2015/understanding-language-using-xlnet-with-autoregressive-pre-training-9c86e5bea443
📝 How to Generate Images of Handwritten Digits using DCGAN

https://morioh.com/p/28fd0b611e09