🔥 Нейронка, которая превращает обычные фотографии в 3D-сцену за считанные секунды

VGGT (Visual Geometry Grounded Transformer) — open-source модель, способная восстановить геометрию реального пространства по одной, нескольким или даже сотням фотографий.

Загружаем снимки объекта, комнаты, здания или локации — VGGT может определить:

🔣 положение и параметры камер;
🔣 карты глубины — Depth Maps;
🔣 3D Point Maps;
🔣 соответствующие 3D-точки между разными кадрами.

Есть готовая визуализация через Gradio и Viser, а результат можно экспортировать в COLMAP и дальше использовать, например, в пайплайнах NeRF / Gaussian Splatting.

⚙️Установка:

git clone [email protected]:facebookresearch/vggt.git
cd vggt
pip install -r requirements.txt

▶️ Пример запуска:

import torch

from vggt.models.vggt import VGGT
from vggt.utils.load_fn import load_and_preprocess_images

device = "cuda" if torch.cuda.is_available() else "cpu"

# bfloat16 поддерживается на Ampere GPU
# с Compute Capability 8.0+
dtype = (
    torch.bfloat16
    if torch.cuda.get_device_capability()[0] >= 8
    else torch.float16
)

# Загружаем модель.
# При первом запуске веса автоматически
# скачаются с Hugging Face.
model = VGGT.from_pretrained(
    "facebook/VGGT-1B"
).to(device)

# Указываем собственные фотографии
image_names = [
    "path/to/imageA.png",
    "path/to/imageB.png",
    "path/to/imageC.png",
]

images = load_and_preprocess_images(
    image_names
).to(device)

with torch.no_grad():
    with torch.cuda.amp.autocast(dtype=dtype):

        # Получаем камеры, depth maps,
        # point maps и другие предсказания
        predictions = model(images)

👨‍💻 Хотим не возиться с кодом?

Ставим зависимости для готового интерфейса:

pip install -r requirements_demo.txt

И запускаем Gradio:

python demo_gradio.py

Открывается веб-интерфейс, куда можно загружать изображения или видео, запускать реконструкцию и интерактивно рассматривать полученную 3D-сцену прямо в браузере.

Есть и отдельный 3D-viewer:

python demo_viser.py \
  --image_folder path/to/your/images/folder

А если нужен результат для дальнейшей работы в 3D, VGGT умеет экспортировать реконструкцию непосредственно в COLMAP:

python demo_colmap.py \
  --scene_dir=/YOUR/SCENE_DIR/

После обработки получаем параметры камер и 3D-точки в каталоге sparse, которые можно использовать дальше в соответствующих 3D-пайплайнах.

Очень мощная штука для Computer Vision, 3D, робототехники, AR/VR и Gaussian Splatting.

♎️ Пробуем

#python #soft #github

😨 Нейросеть научилась читать по губам — теперь можно диктовать текст, вообще не произнося ни звука!

Lipflow — open-source инструмент, который превращает движения губ в текст. Никакого микрофона, голоса и звуков — достаточно обычной веб-камеры.

Работает почти как голосовой ввод, только без голоса: зажимаете горячую клавишу, беззвучно произносите нужную фразу, отпускаете — и нейросеть вставляет распознанный текст прямо в активное приложение.

🔥 Что интересного:

🖍 Читает по губам с помощью модели компьютерного зрения Auto-AVSR.
🖍 Работает локально — видео с камеры и распознавание обрабатываются на вашем компьютере.
🖍 Поддерживает Windows, macOS и Linux — без обязательной облачной обработки.
🖍 Подключает ИИ для исправления ошибок — Claude, ChatGPT через Codex CLI, Ollama или локальную Qwen.
🖍 Подстраивается под пользователя — можно потренировать модель на собственном лице и привычных фразах.
🖍 Умеет распознавать речь из видеофайлов, а не только с веб-камеры.

Есть даже гибридный режим: нейросеть одновременно анализирует движения губ и тихий шёпот, повышая точность распознавания.

Установка и запуск

macOS (Apple Silicon):

git clone https://github.com/amywork777/lipflow.git
cd lipflow
./setup.sh
open /Applications/Lipflow.app

Windows (PowerShell):

git clone https://github.com/amywork777/lipflow.git
cd lipflow
powershell -ExecutionPolicy Bypass -File setup.ps1

После установки запускаем Lipflow через меню «Пуск».

Linux:

git clone https://github.com/amywork777/lipflow.git
cd lipflow
curl -LsSf https://astral.sh/uv/install.sh | sh
uv sync
./scripts/download-models.sh
uv run lipflow

🚀 Как пользоваться:
1. При первом запуске разрешаем доступ к камере и проходим настройку с тренировочными фразами.
2. Открываем любой текстовый редактор или мессенджер.
3. Зажимаем Right Option на macOS или Right Ctrl на Windows/Linux.
4. Беззвучно произносим фразу одними губами и отпускаем клавишу.
5. Нейросеть распознаёт движения губ и вставляет текст в активное поле.

💡 Бонус: двойное нажатие горячей клавиши включает режим без удержания кнопки. А для повышения точности можно подключить Claude, Codex CLI или Ollama.

❗️ Важно: при установке скачиваются модели объёмом около 1,2 ГБ. Для базового распознавания интернет после настройки не нужен.

⚡️ Особенно интересно для работы в тишине, экспериментов с компьютерным зрением и альтернативного управления компьютером.

Важный нюанс: технология пока не идеальна. Похожие движения губ могут соответствовать разным словам, поэтому ошибки возможны, особенно при полностью беззвучной речи. Именно для этого предусмотрена дополнительная AI-коррекция.

💬 По сути, это диктовка нового поколения: вы молча шевелите губами, а компьютер печатает за вас.

⚙️ GitHub/Инструкция

#python #github #soft

⚡️ Обновленный Avito Parser — инструмент с открытым исходным кодом, который автоматически отслеживает объявления на Авито, собирает информацию и отправляет уведомления в Telegram или ВКонтакте.

Особенно полезен тем, кто ищет автомобили, технику, недвижимость или выгодные предложения для перепродажи.

Что умеет:
🔣 Мониторинг объявлений — регулярно проверяет заданные поисковые запросы и находит новые предложения.
🔣 Отслеживание цен — сообщает об изменениях стоимости уже найденных товаров.
🔣 Умные фильтры — поиск по ключевым словам, регионам, продавцам и времени публикации.
🔣 Уведомления — отправляет результаты в Telegram и VK, причём сразу нескольким получателям.
🔣 Экспорт в Excel — сохраняет объявления для анализа цен и предложений.
🔣 Дополнительные данные — собирает просмотры, фотографии, координаты и полные описания при соответствующих настройках.
🔣 Автоматизация — поддерживает прокси, фоновую работу, запуск на сервере и Docker.

💻 Установка и запуск
Windows — самый простой способ:
🟢Скачиваем архив из раздела Releases.
🟢Распаковываем и запускаем AvitoParser.exe.
🟢Добавляем ссылку на поиск Авито, задаём фильтры и уведомления.
🟢Нажимаем «Старт».

😰 Через Python (Windows / Linux / macOS):
Потребуется Python 3.11+.

git clone https://github.com/Duff89/parser_avito.git
cd parser_avito
pip install -r requirements.txt
python AvitoParser.py

Для работы на сервере без графического интерфейса:

python parser_cls.py

⚙️ Как пользоваться
Открываем Авито, настраиваем поиск нужного товара и копируем ссылку с фильтрами в парсер. Затем задаём периодичность проверки, при необходимости подключаем Telegram или VK и запускаем мониторинг.

Теперь программа будет самостоятельно проверять предложения, пропускать уже обработанные объявления и сохранять результаты.

Инструмент можно оставить работать на сервере и получать уведомления, даже когда компьютер выключен.

🔗GitHub/Инструкция

👇 Сохраняем, пригодится! Готовый код парсера в архиве.

#python #soft #code

⚡️ Нейросеть теперь сама рисует обучающие видео, озвучивает их и монтирует — достаточно одной строчки текста!

Вам явно попадались такие рисованные видео с различными тематиками собирающие сотни тысяч просмотров.

Animator — инструмент, который превращает обычный текстовый запрос в полноценный видеоролик с рисованными объяснениями, словно преподаватель рисует схемы маркером на доске.

К примеру пишем: «Почему самолёты летают?» — и получаем готовый MP4 с иллюстрациями, анимацией и закадровым голосом.

Как работает:
🔣 Gemini придумывает сценарий — разбивает тему на сцены и отдельные смысловые блоки.
🔣 Генерирует иллюстрации — схемы, рисунки, подписи и другие элементы на белой доске.
🔣 Создаёт озвучку — текст превращается в речь с помощью Gemini TTS.
🔣 Синхронизирует рисунки с голосом — элементы появляются именно тогда, когда диктор начинает о них рассказывать.
🔣 Собирает готовое видео — локальный движок анимирует рисование и экспортирует результат в MP4.

Ролик из 4–5 сцен генерируется примерно за минуту. Для локальной анимации видеокарта не нужна!

⚙️ Установка
Потребуются Python 3.10+, FFmpeg и API-ключ Gemini.

git clone https://github.com/ashishjamarkattel/Animator.git
cd Animator

python -m venv .venv

Активируем окружение:

Linux / macOS:

source .venv/bin/activate

Windows PowerShell:

.\.venv\Scripts\Activate.ps1

Устанавливаем зависимости:

pip install -r requirements.txt

Создаём файл .env на основе env.example и добавляем туда свой GEMINI_API_KEY.

▶️ Использование
Создаём видео про фотосинтез:

python -m animator --prompt "How photosynthesis works" -o photosynthesis.mp4

Или задаём количество сцен и качество:

python -m animator --prompt "How do planes fly?" --scenes 5 --quality high -o plane.mp4

А ещё можно анимировать собственные картинки — даже без Gemini API!

python -m animator scene.png --duration 8 -o scene.mp4

🔥 Где пригодится: обучающие ролики, объяснение сложных тем, презентации, видеоуроки и контент для социальных сетей.

В репозитории уже есть примеры про фотосинтез, аэродинамику и знаменитую формулу Эйнштейна — по словам автора, без единой ручной правки.

По сути, теперь для создания рисованного образовательного ролика достаточно идеи, Python и Gemini.

♎️ GitHub/Инструкция

Сохраняем! 👍

#python #soft #github