Forwarded from gonzo-обзоры ML статей
На Google I/O connect не анонсировали, но сделали это сейчас -- полный релиз Gemma 3n, модель на основе матрёшечного трансформера (MatFormer), которая и так маленькая, но можно ещё и практически произвольные размеры из неё "выжимать" (между 2B и 4B). С крутыми аудио и картиночными энкодерами.
https://goo.gle/45EaFch
Результатами на LMArena нынче никого не удивишь, но блин для такого размера это круто.
https://goo.gle/45EaFch
Результатами на LMArena нынче никого не удивишь, но блин для такого размера это круто.
Googleblog
Google for Developers Blog - News about Web, Mobile, AI and Cloud
Learn how to build with Gemma 3n, a mobile-first architecture, MatFormer technology, Per-Layer Embeddings, and new audio and vision encoders.
Forwarded from Базы данных & SQL
DevOps в локальных облаках: как строить высоконагруженные системы с CI/CD, Kubernetes и Grafana
Читать статью
Читать статью
Хабр
DevOps в локальных облаках: как строить высоконагруженные системы с CI/CD, Kubernetes и Grafana
Введение: DevOps в условиях локальных ограничений Когда мы начали разворачивать высоконагруженную fintech-платформу в локальном облаке, задача казалась выполнимой: привычные инструменты, знакомые...
Forwarded from 5 minutes of data
Lea - это минималистичный SQL оркестратор, аналог dbt и SQLMesh.
На данный момент поддерживает DuckDb и BigQuery, но проект активно развивается и поддерживает добавление новых фичей.
Из интересного:
- Поддерживает разделение на прод и дев, так же как и SQLMesh.
- Поддерживает Write-Audit-Publish паттерн.
- Тестирование моделей во время запуска.
На данный момент поддерживает DuckDb и BigQuery, но проект активно развивается и поддерживает добавление новых фичей.
Из интересного:
- Поддерживает разделение на прод и дев, так же как и SQLMesh.
- Поддерживает Write-Audit-Publish паттерн.
- Тестирование моделей во время запуска.
GitHub
GitHub - carbonfact/lea: 🏃♀️ Minimalist SQL orchestrator
🏃♀️ Minimalist SQL orchestrator. Contribute to carbonfact/lea development by creating an account on GitHub.
Forwarded from Quant Researcher
🎯 Базовые квантовые репозитории, если раньше не сталикивались
Мир кванта — это джунгли. Полуготовые библиотеки, кривые бэктестеры, проблемы с данными. Но есть проверенные инструменты, о которых мы иногда рассказываем. Подборка от блога Algo Insights на Медиуме👇
1. OpenBBTerminal — Если пока не накопили на Bloomberg :)
Интерфейс терминала, написанный на Python. Подтягивает данные из Yahoo Finance, SEC, криптобирж и других источников. Можно анализировать отчеты, котировки, волатильность и др.
✅ Особенности:
• Интерактивные дешборды
• Поддержка скриптов
• Подходит для ресерча и анализа
2. ArcticDB — Работа с финансовыми рядами на стероидах
Хранилище больших объемов временных рядов. Аналог TSDB: просто, быстро, написано с учетом работы в pandas. Если устали от PostgreSQL или пока не успели раскатить «альтернативное» — можно глянуть.
✅ Фишки:
• Без серверов и зависимостей
• Поддерживает огромные датасеты
• Нативно дружит с pandas
3. zipline-reloaded — Классика бэктестинга, оживленная сообществом
Форк старого доброго Zipline от Quantopian. Поддерживает реалистичный учет комиссий, проскальзываний и прочих “болевых точек” настоящего рынка. Работает с акциями, фьючерсами и ETF.
✅ Почему стоит использовать:
• Моделирует реальный рынок
• Сообщество активно поддерживает
• Интеграция с pyfolio
4. VectorBT — Векторный бэктестинг с NumPy
Забудьте про циклы. VectorBT использует векторизацию и позволяет прогнать тысячи идей за секунды. Подходит для частых стратегий.
✅ Почему топ:
• Cкорость работы
• Полный контроль над логикой
• Поддержка кастомных индикаторов
5. quantstats — Красивые отчеты по стратегии за 1 строчку кода
Выдает метрики уровня Bloomberg: Sharpe, drawdown, доходность по годам и т.д. Делает красивые графики и сравнивает с бенчмарками. Особенно хорош при презентациях перед клиентами/бенефициаром.
✅ Что умеет:
• Генерирует PDF-отчеты
• Визуализации “как у настоящего фонда”
• Поддержка pandas DataFrames
6. pyfolio-reloaded — Диагностика стратегии на уровне риска
Позволяет копнуть вглубь: распределение доходностей, волатильность, корреляции, Value at Risk. Идеально в связке с zipline или любым другим бэктестером.
✅ Метрики:
• Drawdown
• Beta, Alpha
• CAGR, Calmar
7. alphalens-reloaded — Проверка силы сигналов (факторный анализ)
Если у вас есть факторы (low P/E, RSI, momentum и т.д.) — с помощью этой библиотеки можно проверить, как хорошо они объясняют доходность. IC-анализ, анализ decile-групп и многое другое.
✅ Что даёт:
• Information Coefficient
• Факторный PnL по квантилям
• Простой API
8. optopsy — (Бонус уровень) Опционы!!!
Нишевая библиотека для опционов: straddle, covered calls и другие стратегии. Простая, быстрая. Документации маловато, но функционал отлично подойдет для погружения и анализа.
✅ Плюсы:
• Заточена под опционы
• Простое API
• Легкая установка и использование
🔚 Вывод
Если собрать все эти инструменты — получится почти полноценный quant-stack:
🔍 OpenBB для данных
🗄 ArcticDB для хранения
⚙️ zipline и VectorBT для симуляций
📊 quantstats и pyfolio для анализа
🧠 alphalens для генерации альф
📉 optopsy для опционов
⚡️ Рынки не прощают неучтенного проскальзывания в бэктестах, но грамотный инструментарий даст преимущество!
Quant Researcher
Мир кванта — это джунгли. Полуготовые библиотеки, кривые бэктестеры, проблемы с данными. Но есть проверенные инструменты, о которых мы иногда рассказываем. Подборка от блога Algo Insights на Медиуме👇
1. OpenBBTerminal — Если пока не накопили на Bloomberg :)
Интерфейс терминала, написанный на Python. Подтягивает данные из Yahoo Finance, SEC, криптобирж и других источников. Можно анализировать отчеты, котировки, волатильность и др.
✅ Особенности:
• Интерактивные дешборды
• Поддержка скриптов
• Подходит для ресерча и анализа
2. ArcticDB — Работа с финансовыми рядами на стероидах
Хранилище больших объемов временных рядов. Аналог TSDB: просто, быстро, написано с учетом работы в pandas. Если устали от PostgreSQL или пока не успели раскатить «альтернативное» — можно глянуть.
✅ Фишки:
• Без серверов и зависимостей
• Поддерживает огромные датасеты
• Нативно дружит с pandas
3. zipline-reloaded — Классика бэктестинга, оживленная сообществом
Форк старого доброго Zipline от Quantopian. Поддерживает реалистичный учет комиссий, проскальзываний и прочих “болевых точек” настоящего рынка. Работает с акциями, фьючерсами и ETF.
✅ Почему стоит использовать:
• Моделирует реальный рынок
• Сообщество активно поддерживает
• Интеграция с pyfolio
4. VectorBT — Векторный бэктестинг с NumPy
Забудьте про циклы. VectorBT использует векторизацию и позволяет прогнать тысячи идей за секунды. Подходит для частых стратегий.
✅ Почему топ:
• Cкорость работы
• Полный контроль над логикой
• Поддержка кастомных индикаторов
5. quantstats — Красивые отчеты по стратегии за 1 строчку кода
Выдает метрики уровня Bloomberg: Sharpe, drawdown, доходность по годам и т.д. Делает красивые графики и сравнивает с бенчмарками. Особенно хорош при презентациях перед клиентами/бенефициаром.
✅ Что умеет:
• Генерирует PDF-отчеты
• Визуализации “как у настоящего фонда”
• Поддержка pandas DataFrames
6. pyfolio-reloaded — Диагностика стратегии на уровне риска
Позволяет копнуть вглубь: распределение доходностей, волатильность, корреляции, Value at Risk. Идеально в связке с zipline или любым другим бэктестером.
✅ Метрики:
• Drawdown
• Beta, Alpha
• CAGR, Calmar
7. alphalens-reloaded — Проверка силы сигналов (факторный анализ)
Если у вас есть факторы (low P/E, RSI, momentum и т.д.) — с помощью этой библиотеки можно проверить, как хорошо они объясняют доходность. IC-анализ, анализ decile-групп и многое другое.
✅ Что даёт:
• Information Coefficient
• Факторный PnL по квантилям
• Простой API
8. optopsy — (Бонус уровень) Опционы!!!
Нишевая библиотека для опционов: straddle, covered calls и другие стратегии. Простая, быстрая. Документации маловато, но функционал отлично подойдет для погружения и анализа.
✅ Плюсы:
• Заточена под опционы
• Простое API
• Легкая установка и использование
🔚 Вывод
Если собрать все эти инструменты — получится почти полноценный quant-stack:
🔍 OpenBB для данных
🗄 ArcticDB для хранения
⚙️ zipline и VectorBT для симуляций
📊 quantstats и pyfolio для анализа
🧠 alphalens для генерации альф
📉 optopsy для опционов
⚡️ Рынки не прощают неучтенного проскальзывания в бэктестах, но грамотный инструментарий даст преимущество!
Quant Researcher
Forwarded from Tensor Banana
Flux Kontext с промптами
1. Колоризация старых фото:
2. Колоризация манги:
3. снять одежду:
4. апскейл фото:
5. объект с разных ракурсов:
6. real2anime:
7. anime2real:
8. замена текста:
9. сменить пол:
10. перенос объектов с разных фото:
11. на обложку журнала:
12. лего:
13. убрать вотермарки:
14. пиксельарт/8bit:
- Разрешение 1024x1024, 1568x672 и разные вариации. Можно больше, но, скорее всего, будет хуже.
- Лоры от Flux dev работают, но хуже.
- Работает на 15-20 шагах, 40-55 секунд на 3090. TeaCache работает, но возможны ухудшения качества. 15 шагов + teacache_0.40 = 20 секунд
официальный гайд по Kontext: https://docs.bfl.ai/guides/prompting_guide_kontext_i2i#basic-object-modifications
воркфлоу: https://comfyanonymous.github.io/ComfyUI_examples/flux/#flux-extras
потестить онлайн: https://huggingface.co/spaces/black-forest-labs/FLUX.1-Kontext-Dev
Если есть еще интересные кейсы - кидайте в комменты.
1. Колоризация старых фото:
colorize this photo2. Колоризация манги:
colorize this manga3. снять одежду:
remove clothes, нужна лора https://huggingface.co/llama-anon/not-flux-kontext-dev-clothes-remover4. апскейл фото:
upscale this image, make it crisp, add details5. объект с разных ракурсов:
Same character but in the 3 positions, front, side and back.6. real2anime:
turn this photo into Ghibli Studio anime7. anime2real:
make it realistic8. замена текста:
Replace text 'BKYCHO - U TO4KA' with text 'BKYC ßAHAHA' Моя русская лора https://civitai.com/models/1056401/russian-text-or-flux , но работает так себе.9. сменить пол:
turn her into a man, but keep facial features the same. big cheekbones10. перенос объектов с разных фото:
add woman from the right image to the left image. so now they are standing together. make them the same height. right woman has bare feet11. на обложку журнала:
Turn this into VOGUE magazine cover. background is now grey. Add some titles on the cover12. лего:
turn them into Lego style13. убрать вотермарки:
remove watermarks14. пиксельарт/8bit:
turn this into 8-bit NES art- Разрешение 1024x1024, 1568x672 и разные вариации. Можно больше, но, скорее всего, будет хуже.
- Лоры от Flux dev работают, но хуже.
- Работает на 15-20 шагах, 40-55 секунд на 3090. TeaCache работает, но возможны ухудшения качества. 15 шагов + teacache_0.40 = 20 секунд
официальный гайд по Kontext: https://docs.bfl.ai/guides/prompting_guide_kontext_i2i#basic-object-modifications
воркфлоу: https://comfyanonymous.github.io/ComfyUI_examples/flux/#flux-extras
потестить онлайн: https://huggingface.co/spaces/black-forest-labs/FLUX.1-Kontext-Dev
Если есть еще интересные кейсы - кидайте в комменты.
Forwarded from 🇻 🇱 🇦 🇩