542 subscribers
347 photos
87 videos
15 files
426 links
Data Engineering Technologies.
SQL, Python, Kafka, Spark, Pandas, Airflow, Clickhouse, Greenplum, Postgres, dbt, LLM agentic systems, AI, robots, drones etc.

Boost channel - https://t.iss.one/boost/data_engi
Download Telegram
Forwarded from Фанклуб свидетелей Егора Коновалова (егористическая регрессия)
Oh, you're using Copilot? Everyone's on Cursor now. Just kidding, we're all on Windsurf. We're using Cline. We're using Aider. We have an in-house MCP server mesh with custom tool schemas but wait, OpenCode just dropped so we're migrating to that instead. Our PM is on Gemini CLI. The team lead was on Codex but now she's back to copy-pasting into ChatGPT. If you're not on Amp, you're ngmi. Our intern is building on Goose for our internal tooling. Our CFO approved Claude Max so now we're porting our workflows to computer use. Our CTO is working on an agent-less RAG pipeline so we won't need vibe coding anymore. Our CEO thinks we're talking about actual vibrations. We're building clankercloud.
😁9
🚀 Apache Gravitino — что это за зверь?

📌 Gravitino — это высокопроизводительный, гео-распределённый и федеративный Metadata Lake. Проще говоря: единая система для управления метаданными данных и AI-активов из разных источников по всему стеку.

🌟 Основная идея:
🔘Gravitino не просто каталог — это унифицированный слой метаданных и управления ими для разных источников: реляционные базы, data lake, файлы, стримы, модели, топики и др.
🔘 Он не копирует метаданные куда-то в центральное хранилище, а работает напрямую с источниками через коннекторы.

🧠 Что умеет Gravitino:
🔘 Единая модель метаданных
Объединяет разные форматы и источники под одним API.
🔘 Гео-распределённость
Несколько инстансов в разных регионах/облаках могут делиться видимыми метаданными.
🔘 Поддержка нескольких движков
Можно использовать Trino, Spark, Flink, Daft для запросов метаданных и данных — без изменения SQL.
🔘 AI Asset Management
Цель — также управлять метаданными моделей, фичей и других AI-объектов.

📌 Что внутри 1.1.0
Версия 1.1.0 усиливает платформу:
🔘 Расширена поддержка каталогов (в т.ч. новый Lance REST сервис для векторного AI-данных).
🔘 Укреплён уровень безопасности и авторизации.
🔘 Поддержка Hive3, мультикластерных файловых наборов и пр.

🤔 Ок, но зачем?
✔️ Если у тебя разрозненные каталоги (Hive, MySQL, Iceberg, Kafka и др.), Gravitino поможет объединить метаданные под одной крышей без миграции.
✔️ Подходит для multi-cloud/мульти-региональных стеков.
✔️ Единое место для доступа, безопасности, аудита и политики — от BI до ML/AI.

📌 В итоге:
Gravitino — это новый взгляд на каталог метаданных, который не заменяет твои источники, а связывает их в единое, управляемое пространство. 🚀

#gravitino #apache #de #architecture
Please open Telegram to view this post
VIEW IN TELEGRAM
8
1😁16
Выращиваем код в огороде

Всех с прошедшими 🎉 Открываю год статьёй от Cursor про построение долго работающих автономных кодинг агентов.

Ребятам удалось создать систему из сотен параллельно работающих агентов, которая может работать недели (!) над одним проектом и не разваливаться.

Одна из задач в статье – построить с нуля браузер. За неделю система собрала кривовато работающий браузер, что невероятный успех. Браузер традиционно считается одной из самых сложных задач в разработке. Как будто ещё годик и можно будет создать браузер в домашних условиях.

Считаю что будущее разработки за такими автономными долго работающими системами. Код будет выращиваться как в огороде. Разработчик будущего – проектировщик огорода и специалист в выборе удобрений, семян и теплиц.

Всем Копатыч 🌟

https://cursor.com/blog/scaling-agents
Please open Telegram to view this post
VIEW IN TELEGRAM
❤‍🔥6👏31
🚀 Ollama + Claude — что произошло и почему это важно

Ollama добавила поддержку Anthropic Messages API. Проще говоря: теперь Claude Code и агентные инструменты Claude можно запускать через Ollama, в том числе с локальными моделями.

🤨 Что это значит:

🔘Claude-style агенты больше не привязаны строго к облаку
🔘можно использовать agent-workflow (кодинг, правки, автоматизация) поверх локальных LLM
🔘Ollama становится слоем-адаптером между closed-source инструментами и open-source моделями

🔮 Перспективы:

Мы движемся к гибридному AI-стеку:
локальные модели 🔜 приватность и контроль, облачные инструменты 🔜 зрелые агенты и UX.

Следующий этап — автономные AI-ассистенты, которые работают локально, но используют лучшие практики топ-провайдеров.
И Ollama явно метит в роль стандарта такого стека.

#ai #agentic #claude #ollama #dev #agents #future
Please open Telegram to view this post
VIEW IN TELEGRAM
5❤‍🔥22
Forwarded from 42 секунды
The Information: TSMC не может производить ИИ-чипы слишком быстро

– Nvidia и Broadcom просят TSMC предоставить доп. мощности
– TSMC не может предоставить им столько, сколько они хотят
– Расширение TSMC внутри Аризоны не сможет быстро помочь
– Новые мощности будут запущены только через несколько лет
– TSMC отвечает за производство 90% самых передовых чипов
– ИИ-бум заметно превысил производственные мощности TSMC
– Спрос на ИИ-чипы увеличился сразу по многим направлениям
– OpenAI нужны миллионы чипов для своих мега-дата-центров
– Google покупает столько чипов Nvidia, сколько может получить
– Broadcom просит TSMC производить больше TPU для Google
– Спрос на передовые чипы втрое больше возможностей TSMC
– Некоторые клиенты TSMC обратились к другим компаниям
– Например, Tesla заключила сделку с Samsung на $16,5 млрд
– При этом TSMC перегружена заказами не только на ИИ-чипы
– Бум дата-центров повысил спрос на все передовые чипы

@ftsec
7
Forwarded from DataEng
fastjsondiff - High-performance JSON comparison with a Zig-powered core

Написал небольшую библиотеку для сравнения двух JSON-текстов/файлов. В Python есть популярная либа jsondiff, но её основная проблема это сильные тормоза, если на вход подать более менее крупный JSON-текст. Давно вынашивал идею реализации чего-то такого, но на Zig/Rust, т.к. чистая реализация на Python будет всё равно медленнее. По итогу получилось реализовать на Zig основную либу и Python-интерфейс к ней.

pip install fastjsondiff-zig


Github: https://github.com/adilkhash/fastjsondiff
PyPI: https://pypi.org/project/fastjsondiff-zig/

Буду признателен за на репе в гитхабе, это поможет её распространить дальше.
6