местный датасасер ☮️
1.91K subscribers
1.01K photos
61 videos
7 files
659 links
Пишу всякое о технологиях и моих проектах, @egorvoron
Download Telegram
я справа снизу
Forwarded from FTP
Во Флориде арестовали мамкиного хакера, который ответственнен за взлом Твиттера 15 июля. Им оказался 17-летний подросток из Флориды.

Ну наконец-то без русского следа
📈 За последние несколько дней в @RoundDFBot произошёл резкий скачок активности. Каждый день в него заходили сотни пользователей и создавали тысячи запросов. Наш сервер то работал в полную мощность, то вылетал из-за нехватки памяти, очередь вырастала до необычайных размеров, каких не было даже в первые дни после запуска.

😋 Судя по всему, сейчас начинается второй пик популярности First Order Motion Model. За прошедшую неделю появилось новых несколько проектов, использующих эту нейросеть. Посмотрим, что будет дальше.
Forwarded from Loskir's
😤 Как же бесит, что в питоне название пакета в import может отличаться от названия пакета в pip

Например:
pip install pychalk / import chalk
pip install opencv-python / import opencv
Forwarded from Loskir's
🎉 Наш новый сервер обработал свою первую тысячу видео!
Но очередь тем временем перевалила за 1500...
😎 finally допилил небольшой питоновский package для расчетов минимальных расстояний между различными алгебраически заданными фигурами на плоскости (точками, графиками функций, окружностями, эллипсами) и пре-релизнул на pypi: https://pypi.org/project/fun-dist/.

🧐 Это только начало: дальше добавлю расчеты таких расстояний в пространстве и можно будет юзать в Ray Marching'е (обещаю, там будет все на numpy и поэтому быстро). А пока просто прикольная штука для тех, кто хочет поиграться с математикой.

😜 Можете звездочки поставить кстати
Forwarded from Loskir's
💥 Краткая история бума @RoundDFBot

Если вы ещё не слышали, в последние дни в интернете стал популярным мем "Dame Da Ne", где всевозможные персонажи с помощью DeepFake'ов поют одноименную песню. Из-за этого в бот пришло невероятно много новых пользователей.

Мой домашний компьютер с GTX 1660TI (огромное спасибо за него тем, кто жертвовал нам деньги😇) перестал справляться с нагрузкой, очередь росла даже тогда, когда заявки обрабатывались в полную мощность. Мы в экстренном порядке решили арендовать новый сервер с GPU. Выбрали один из самых бюджетных вариантов — hostkey.ru с GTX 1080TI за 7420 рублей в месяц. Рост производительности был заметный: если раньше сервер мог обрабатывать примерно 20 кадров в секунду, то теперь — около 30. Но даже этого оказалось мало, очередь продолжала расти.

Тогда мне в голову пришла безумная идея: почему бы мне не запустить сразу обе GPU?

Но перед тем, как мы продолжим, хочу рассказать о внутренней структуре.
1️⃣ Сам бот написан на Node.js (Telegraf ❤️). Он принимает заявки от пользователей. Фото и видео он сохраняет в отдельную папку на диске, а имена файлов и ID пользователя записывает в MongoDB.
2️⃣ Обработчик видео написан на Python'е. Он берет из базы данных заявку, читает файлы с диска, творит всякие чудеса с нейросетями, результат кладёт в специальную папку на диске, помечает заявку как сделанную и приступает к следующей.
3️⃣ Третий скрипт, тоже написанный на Node.js, ищет в базе готовые заявки и отправляет видео в телеграм. Все файлы после отправки удаляются.

Чтобы подключить к работе мою видеокарту, достаточно запустить на компьютере второй скрипт. Но для этого нужно с моего компьютера, стоящего у меня дома, получить доступ к серверу в Нидерландах. И если с mongo всё просто (достаточно лишь прокинуть порт через SSH), то с доступом к файлам уже сложнее. Я попытался использовать Syncthing, чтобы синхронизировать папки там и тут, но он оказался слишком медленным. В итоге я остановился на протоколе SCP, использовав для передачи файлов специальную библиотеку для питона.

В итоге всё заработало:
🔹 Для доступа к MongoDB прокинут SSH-туннель.
🔹 Скрипт находит заявку, скачивает нужные файлы через SCP, обрабатывает их, загружает результат обратно так же через SCP.

Производительность выросла в 1.5 раза по сравнению с новым сервером и в 2.5 раза по сравнению со старым. Наконец-то мы смогли побороть рост очереди, сейчас она постепенно уменьшается.

Вот так вот из-за безобидного мема наш бот, которого мы запустили аж в апреле, испытал второй скачок популярности. Спасибо, что читаете!
This media is not supported in your browser
VIEW IN TELEGRAM
Что американцы ищут в Гугле?

Очень классный и наглядный видос, сделанный на основе статистики Google Search и Google Trends за период с 1 января 2018 по 5 июля 2020. Отображает самые популярные поисковые запросы американцев по штатам.
Forwarded from Loskir's
По той же схеме подключили ещё один компьютер, который @kerbal любезно предоставил нам. Теперь над обработкой видео трудятся три видеокарты: gtx1080, gtx1080 и gtx1660ti.

Очередь довольно шустро уменьшается. За сегодня укоротили её с 2300 до ~1000. К слову, в день создаётся больше 7000 заявок 🤯
теория большого взрыва продолжает удивлять.......
(11 сезон 19 серия)
Forwarded from эйай ньюз
Тут вот на продактханте запустили аппку которая превращает айфон в умную вебку для видеосвязи. Из МЛ у них в арсенале gesture detection, image enhancement, и low light mode. Мне кажется, идея очень здравая, особенно учитывая непозволительное качество вебки и микрофона в большинстве современных ноутбуков. Я сам ряд собеседований провел с айфона, просто потому, что там объективно лучше и картинка и звук. А так можно совместить прелести двух платформ.