После поста про трейдинг и скорость света кто-то задавал вопрос: а что это за информация такая инсайдерская, которую может потребоваться передавать на биржу за несколько тысяч километров от источника.

Вот канонический пример (не относящийся к HFT, но всё равно красивый). Есть такое замечательное место: город Кушинг, штат Оклахома. Оно находится в настоящей заднице мира, вот посмотрите сами.

Казалось бы, нормальному человеку там нечего делать, но на самом деле это очень популярное место, поскольку там находится, считай, основное американское нефтераспределительное хранилище. В любой момент времени в баках хаба в Кушинге находится порядка 50 млн. баррелей нефти WTI. Десятки труб соединяют Кушинг с многочисленными поставщиками и потребителями, а самое главное: с 1983 года фьючерсы на нефть WTI включают в себя обязательное условие поставки именно в Кушинг.

То есть любой купленный кем-то баррель WTI рано или поздно окажется в одной из цистерн в маленьком городке в Оклахоме.

Помните, в апреле баррель нефти короткое время имел отрицательную стоимость? Это цистерны в Кушинге переполнились.

Натурально, это не шутка: формально проданную нефть просто невозможно было поставить в срок в соответствии с условиями фьючерса. Чтобы не попасть на его нарушение, трейдерам пришлось фактически доплачивать за хранение нефти где-то ещё, что и выразилось в негативной стоимости барреля.

Так вот, про OSINT.

Есть ряд компаний (самая известная — Genscape), которые размещают в полях рядом с кушингским хранилищем инфракрасные камеры, стоянки дронов и прочая. Цели:

• Измерение уровней нефти в цистернах — поскольку именно эти уровни (точнее, их динамика) в конечном счёте определяют стоимость барреля нефти на бирже;
• Измерение загрузки труб, ведущих к хранилищу и от него;
• Мониторинг состояния цистерн и хода ремонтных работ.

Genscape умеет выдавать официальные данные о состоянии хранилищ на 2 дня раньше, чем даже администрация по энергетическому информированию. Тут очень полезно, конечно, что Кушинг — задница мира и пустынных полей вокруг достаточно.

И да, как вы понимаете, Кушинг — в Оклахоме, биржа NYMEX, где торгуется WTI — на Манхэттене, а сигнал из Оклахомы до Нью-Йорка доходит не мгновенно. Впрочем, конкретно в случае Кушинга вполне хватает (пока?) оптоволоконных линий связи (потому что нефть по трубам движется куда медленнее, чем свет) — но, возможно, это до тех пор, пока в Genscape не придумают какой-нибудь супералгоритм предсказаний.

Кстати, помимо Кушинга, Genscape и товарищи также мониторят, например, загрузку танкеров, покидающих 800 европейских портов, что помогает в том числе предсказывать будущую загрузку хранилищей в Оклахоме и, таким образом, иметь шанс предугадать будущую цену на нефть задолго до начала колебаний на бирже.

На каждого трейдера на NYMEX работают десятки тысяч человек и просто нереальное количество bleeding edge-технологий.

внизу справа отсылка к моему мему???

этому

я справа снизу

абсолютно прекрасно
https://www.youtube.com/watch?v=ICxC5ekWnUc

Во Флориде арестовали мамкиного хакера, который ответственнен за взлом Твиттера 15 июля. Им оказался 17-летний подросток из Флориды.

Ну наконец-то без русского следа

yes

😤 Как же бесит, что в питоне название пакета в import может отличаться от названия пакета в pip

Например:
pip install pychalk / import chalk
pip install opencv-python / import opencv

🎉 Наш новый сервер обработал свою первую тысячу видео!
⏳ Но очередь тем временем перевалила за 1500...

😎 finally допилил небольшой питоновский package для расчетов минимальных расстояний между различными алгебраически заданными фигурами на плоскости (точками, графиками функций, окружностями, эллипсами) и пре-релизнул на pypi: https://pypi.org/project/fun-dist/.

🧐 Это только начало: дальше добавлю расчеты таких расстояний в пространстве и можно будет юзать в Ray Marching'е (обещаю, там будет все на numpy и поэтому быстро). А пока просто прикольная штука для тех, кто хочет поиграться с математикой.

😜 Можете звездочки поставить кстати

💥 Краткая история бума @RoundDFBot

Если вы ещё не слышали, в последние дни в интернете стал популярным мем "Dame Da Ne", где всевозможные персонажи с помощью DeepFake'ов поют одноименную песню. Из-за этого в бот пришло невероятно много новых пользователей.

Мой домашний компьютер с GTX 1660TI (огромное спасибо за него тем, кто жертвовал нам деньги😇) перестал справляться с нагрузкой, очередь росла даже тогда, когда заявки обрабатывались в полную мощность. Мы в экстренном порядке решили арендовать новый сервер с GPU. Выбрали один из самых бюджетных вариантов — hostkey.ru с GTX 1080TI за 7420 рублей в месяц. Рост производительности был заметный: если раньше сервер мог обрабатывать примерно 20 кадров в секунду, то теперь — около 30. Но даже этого оказалось мало, очередь продолжала расти.

Тогда мне в голову пришла безумная идея: почему бы мне не запустить сразу обе GPU?

Но перед тем, как мы продолжим, хочу рассказать о внутренней структуре.
1️⃣ Сам бот написан на Node.js (Telegraf ❤️). Он принимает заявки от пользователей. Фото и видео он сохраняет в отдельную папку на диске, а имена файлов и ID пользователя записывает в MongoDB.
2️⃣ Обработчик видео написан на Python'е. Он берет из базы данных заявку, читает файлы с диска, творит всякие чудеса с нейросетями, результат кладёт в специальную папку на диске, помечает заявку как сделанную и приступает к следующей.
3️⃣ Третий скрипт, тоже написанный на Node.js, ищет в базе готовые заявки и отправляет видео в телеграм. Все файлы после отправки удаляются.

Чтобы подключить к работе мою видеокарту, достаточно запустить на компьютере второй скрипт. Но для этого нужно с моего компьютера, стоящего у меня дома, получить доступ к серверу в Нидерландах. И если с mongo всё просто (достаточно лишь прокинуть порт через SSH), то с доступом к файлам уже сложнее. Я попытался использовать Syncthing, чтобы синхронизировать папки там и тут, но он оказался слишком медленным. В итоге я остановился на протоколе SCP, использовав для передачи файлов специальную библиотеку для питона.

В итоге всё заработало:
🔹 Для доступа к MongoDB прокинут SSH-туннель.
🔹 Скрипт находит заявку, скачивает нужные файлы через SCP, обрабатывает их, загружает результат обратно так же через SCP.

Производительность выросла в 1.5 раза по сравнению с новым сервером и в 2.5 раза по сравнению со старым. Наконец-то мы смогли побороть рост очереди, сейчас она постепенно уменьшается.

Вот так вот из-за безобидного мема наш бот, которого мы запустили аж в апреле, испытал второй скачок популярности. Спасибо, что читаете!

Привет

Что американцы ищут в Гугле?

Очень классный и наглядный видос, сделанный на основе статистики Google Search и Google Trends за период с 1 января 2018 по 5 июля 2020. Отображает самые популярные поисковые запросы американцев по штатам.