Data Analysis / Big Data
2.84K subscribers
559 photos
4 videos
2 files
2.64K links
Лучшие посты по анализу данных и работе с Big Data на русском и английском языке

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels
Download Telegram
Куда двигаться после изучения Django: советы для Python-разработчиков

В статье разбираемся, почему Django — далеко не финиш в карьере, и в каких направлениях можно двигаться Python-разработчику.

Читать: «Куда двигаться после изучения Django: советы для Python-разработчиков»

#ru

@big_data_analysis | Другие наши каналы
Hybrid RAG: методы реализации ч.1 — Поиск

С ростом популярности Retrieval-Augmented Generation (RAG), как архитектуры для построения систем генерации контента на основе извлечённых данных, стало очевидно, что односложный подход к выбору источников знаний ограничивает качество результатов. В этой связи особый интерес представляют Hybrid RAG подходы, сочетающие различные методы поиска и представления данных, в целях улучшения полноты, точности и релевантность ответа.

В данной статье я поделюсь своим опытом в реализации Hybrid RAG систем, его архитектуры и практических методов реализации.


Читать: https://habr.com/ru/articles/913418/

#ru

@big_data_analysis | Другие наши каналы
Нагрузочное тестирование GP6 vs GP7 vs Cloudberry

Привет, Хабр! На связи Марк – ведущий архитектор группы компаний "ГлоуБайт". В этой статье я поделюсь результатами нагрузочного тестирования, которое мы с коллегами провели для сравнения Greenplum 6 с Greenplum 7 и Cloudberry.


Читать: https://habr.com/ru/companies/glowbyte/articles/936384/

#ru

@big_data_analysis | Другие наши каналы
This media is not supported in your browser
VIEW IN TELEGRAM
Взгляните на IT-мир по-новому

12 сентября. Топовые IT-компании. Закулисье разработок и доклады экспертов. Ещё не знаете, о чём речь? Сейчас расскажем!

Приглашаем вас на big tech night. Событие придумали в Яндексе и организовали вместе со Сбером, X5, Т-Банком и Lamoda. Впервые компании одновременно откроют двери офисов ночью и покажут IT-специалистам, где рождаются технологии.

▶️ В московских офисах организаторов вы:
• послушаете доклады топовых экспертов,
• обсудите новейшие разработки,
• познакомитесь с крутыми профессионалами,
• и просто повеселитесь.

▶️ Если не сможете прийти офлайн, big tech night организует онлайн-студию. Зрители смогут:
• посмотреть выступления спикеров от каждой компании,
• послушать дебаты о технологиях,
• поучаствовать в интерактивах,
• получить записи докладов после мероприятия.

Регистрируйтесь на сайте и присоединяйтесь к нам 12 сентября с 18:00 до 00:00!

Подписывайтесь:
big tech night

Реклама. Рекламодатель: ООО "Яндекс" ИНН 7736207543

Это #партнёрский пост
Big Data Expert Mode: митап для опытных инженеров

43Tech совместно с Яндекс глубоко погрузятся во все технические аспекты Apache Spark и Apache Iceberg и расскажут подробнее о том, как Spark работает в YTsaurus.

Ведущие дата инженеры представят практические кейсы и экспертные решения по работе с большими данными.

В программе митапа:

• Оптимизация SQL-запросов: как Catalyst использует статистику Iceberg и какие типы оптимизаций существуют.

• Переход с партицированного Parquet: опыт внедрения Iceberg для борьбы с дублированием данных и компакцией, а также инкрементальное чтение данных в Spark Structured Streaming.

• Интеграция Spark в YTsaurus: особенности работы в сравнении с Hadoop и S3

Присоединяйтесь к BigData Meetup 15 августа в Санкт-Петербурге и онлайн.

Участие бесплатное, необходима регистрация.

Это #партнёрский пост