🧬 AlphaFold 3 predicts the structure and interactions of all of life’s molecules

Google DeepMind представили Alpha Fold3, новую модель искусственного интеллекта, которая предсказывает структуру и взаимодействия молекул.

Благодаря точному прогнозированию структуры белков, ДНК, РНК и многого другого, а также того, как они взаимодействуют, наше понимание биологического мира может выйти на новый уровень, а в практическом применение поможет разработке новых лекарств.

Эта революционная модель, может предсказывать структуру и взаимодействия всех молекул жизни с беспрецедентной точностью.

На основе входного списка молекул Alpha Fold3 генерирует их общую трехмерную структуру, показывая, как они сочетаются друг с другом. Программа моделирует крупные биомолекулы, такие как белки, ДНК и РНК, а также небольшие молекулы, также известные как лиганды.

Кроме того, Alpha Fold3 может моделировать химические модификации этих молекул, которые контролируют здоровое функционирование клеток, нарушение которых может привести к различным заболеваниям.

Теперь для учёные со всего мира могут работать с AlphaFold 3 совершенно бесплатно.

▪Blog: https://blog.google/technology/ai/google-deepmind-isomorphic-alphafold-3-ai-model/
▪Nature: https://www.nature.com/articles/s41586-024-07487-w
▪Two Minute Papers: https://www.youtube.com/watch?v=Mz7Qp73lj9o

@ai_machinelearning_big_data

Images that Sound: Composing Images and Sounds on a Single Canvas

abs: https://arxiv.org/abs/2405.12221
project page: https://ificl.github.io/images-that-sound/
code: https://github.com/IFICL/images-that-sound

This paper introduces an inference-time procedure that generates images that are also spectrograms corresponding to the prompt. It uses a latent image and audio diffusion model with same latent space (Stable Diffusion v1.5 and Auffusion) and denoise the same latent with both.

@opendatascience

🚀🎉Another exciting day for Multimodal AI! The MiniCPM-V repository by is trending on GitHub.

🤯 Impressive Results:
👉MiniCPM-Llama3-V 2.5 (8B) surpasses GPT-4V, Gemini Pro, & Claude 3
👉MiniCPM-V 2.0 (2B) surpasses Yi-VL 34B, CogVLM-Chat 17B, & Qwen-VL-Chat 10B

MiniCPM-V is efficiently deployable on end-side devices🤖📱 Read more: https://github.com/OpenBMB/MiniCPM-V

🚀MiniCPM-V is building with Gradio to showcase framework's flexibility for creating powerful AI Vision apps. Local Gradio demo: https://github.com/OpenBMB/MiniCPM-V?tab=readme-ov-file#webui-demo

@opendatascience

🎨 pypalettes: A large (+2500) collection of color maps for matplotlib/seaborn.

Поиск идеальных цветов для вашей диаграммы на Python может оказаться непростой задачей. Выбор цветов вручную часто приводит к перебору множества неподходящих вариантов.

Pypalette - новый пакет предоставляет коллекцию цветов из более чем 2500 палитр, тщательно отобранных сотнями экспертов.

Это приложение позволяет вам без особых усилий изучать различные палитры и выбирать лучшие ваорианты.

Импортируется всего в две строки кода, работает с диаграммами Matplotlib.

Найдите для себя подходящую цветовую палитру, которая выделит вашу диаграмму на общем фоне! 😍

pip install git+https://github.com/JosephBARBIERDARNAL/pypalettes.git

▪Github
▪Проект

@data_analysis_ml

🔥 Interview questions on DS, AI, ML, DL, NLP, Python,computer vision.

Большая подборка вопросов для собеседования по DS, AI, ML, DL, NLP, компьютерному зрению.

Подборка вопросов для собеседования поможет вам на собеседовании в области науки о данных, искусственного интеллекта, машинного обучения, глубинного обучения, обработки естественного языка, компьютерного зрения.

▪100 вопросов с собеседований Data Science 

▪100 вопросов для собеседования по машинному обучению в 2024 году

▪Более 100 вопросов с собеседования Python. Разбор реальных вопросов.

▪50 вопросов для собеседования по компьютерному зрению в 2024 году

▪50 вопросов для интервью по глубинному обучению в 2024 году

▪50 вопросов для интервью по НЛП (обработке естественного языка) в 2024 году

▪Топ-60 вопросов с собеседований R

@machinelearning_interview

Yandex introduces YaFSDP, a method for faster and more efficient LLM training

This enhanced version of FSDP significantly improves LLM training efficiency by optimizing memory management, reducing unnecessary computations, and streamlining communication and synchronization. Here’s an overview of YaFSDP based on this Medium article.

How it works:

- Layer sharding: YaFSDP shards entire layers for efficient communication and reduced redundancy, minimizing memory usage across GPUs.
- Buffer pre-allocation: YaFSDP pre-allocates buffers for all necessary data, eliminating inefficiencies. This method uses two buffers for intermediate weights and gradients, alternating between odd and even layers.

Using CUDA streams, YaFSDP effectively manages concurrent computations and communications. Furthermore, the method ensures that data transfers occur only when necessary and minimizes redundant operations. To optimize memory consumption, YaFSDP employs sharding and efficient buffer use while reducing the number of stored activations.

Comparatively, YaFSDP has demonstrated a speedup of up to 26% over the standard FSDP method and can facilitate up to 20% savings in GPU resources. In a pre-training scenario involving a model with 70 billion parameters, using YaFSDP can save the resources of approximately 150 GPUs monthly.

For those interested in implementing this method, Yandex has made it open-source and available on GitHub:
https://github.com/yandex/YaFSDP

More reviews of NLP-articles in Russian in TG channel - @StuffyNLP

⚡️ BERGEN: A Benchmarking Library for Retrieval-Augmented Generation

Naver introduces a Python library for standardizing RAG experiments and reveals key insights through extensive benchmarking.

📝https://arxiv.org/abs/2407.01102
👨🏽‍💻https://github.com/naver/bergen

@opendatascience

Smol Model 🚨: Danube 3 0.5B & 4B LLMs by H2o! 🔥

> Beats Qwen 2 0.5B and competitive with Phi3 4B
> Apache 2.0 licensed checkpoints ⚡
> Uses Llama architecture w/ Mistral tokenizer (32K vocabulary)
> 8192 context length along with Grouped Query Attention
> 4B trained on 6T tokens and 0.5B on 4T tokens with multiple stages

https://huggingface.co/collections/h2oai/h2o-danube3-6687a993641452457854c609

@opendatascience