«Традиционно, самым узким местом в архитектуре любой информационной системы является система управления базами данных (СУБД). Можно сколько угодно оптимизировать прикладное программное обеспечение (ПО), но все равно упремся в ограничения в части производительности…

Когда чуть больше года назад я впервые услышал о слабой разметке, то поначалу отнёсся к ней скептически. Суть слабой разметки (weak labelling) заключается в том, что можно заменить аннотированные вручную данные на данные, созданные по эвристическим правилам…

или прививка от искусственного интеллекта Сейчас, когда обучение созданию искусственного интеллекта наряду с ковырянием в носу преподают в продвинутых детских садах и утренний разговор с кофеваркой о перспективах урожая в Эфиопии стали реальностью, количество…

Мы избалованы выбором в работе с данными. Инструмент номер один — Pandas, затем идут Dask, Vaex, Datatable, cuDF и так далее. К этому списку добавим Terality, как будто всего этого недостаточно.  Возникает вопрос: Terality компенсирует скорость Pandas ценой…

Системы машинного обучения рождаются от союза кода и данных. Код сообщает, как машина должна учиться, а данные обучения включают в себя то, чему нужно учиться. Научные круги в основном занимаются способами улучшения алгоритмов обучения. Однако когда дело…

Python это мощный язык программирования, который используется для различного типа задач и имеет большое комьюнити. Многие знают что это гибкий язык, который может справиться с практически любой задачей. Что если у нас есть сложное приложение, которое требует…

Подробнее об инструменте Qlik для онлайн репликации данных и CDC (Change Data Capture) - Qlik Replicate: https://www.qlik.com/us/trial/replicate

Тестовый доступ к Qlik Replicate: https://www.qlik.com/us/trial/replicate

Вебинар-демонстрация возможностей…

Платформа данных как услуга Когда мы проектируем и создаем платформу данных, то работаем над обеспечением возможностей и инструментов, которые необходимы другим командам для развития их проектов.  Введение Прошло несколько месяцев с тех пор, как я задумался…

Когда мир вошел в эпоху больших данных, потребность в их хранении также выросла. Это была основная задача и проблема для предприятий отрасли до 2010 года. Основное внимание было уделено созданию решений для хранения данных. Теперь, когда Hadoop и другие структуры…

Сейчас Data Warehouse в Авито — это инсталляция на 32 серверах. Мы используем девятую версию Vertica и ClickHouse. В команде, которая отвечает за хранилище, работает 21 человек. Поток событий, который мы загружаем, достигает 20 миллионов событий в минуту.…

R имеет интересные возможности для обработки и анализа неструктурированных данных, таких как простой текст. Используя библиотеки RTextTools и topicmodels R, процесс, называемый Latent Dirichlet Allocation (Латентное размещение Дирихле), может быть выполнен…

Привет! Меня зовут Александр, я работаю в команде матчинга Ozon. Ежедневно мы имеем дело с десятками миллионов товаров, и наша задача — поиск и сопоставление одинаковых предложений (нахождение матчей) на нашей площадке, чтобы вы не видели бесконечную ленту…

Привет! В этом посте разберем, как обрабатывать объекты JVM, сгенерированные из схем Avro, в датасетах Spark. Вместе с этим рассмотрим, как организовать код при помощи шаблона функционального программирования "типированный класс" (type class) на языке Scala.…

Знакомо состояние перманентной усталости и низкого удовлетворения собственными результатами и отдачей от работы? У меня такое продолжалось пару лет, и я полностью выгорел и уволился из Яндекса. Как так произошло? Я не супер вджобывал, чрезмерного внешнего…

Привет, Хабр! Меня зовут Азат Якупов, я работаю Data Architect в Quadcode. Сегодня хочу рассказать о Data-специалистах и познакомить вас с нашей командой Data Platform.  Какие Data-специалисты бывают Если сейчас зайти на любой карьерный сайт и поискать вакансии…

Всем привет! На связи Артемий Козырь – Analytics Engineer в Wheely. Продолжаю серию публикаций в формате “вредных советов”, целью которых является попытка обратить внимание на (не)лучшие практики и подходы в построении аналитических сервисов с реальными примерами…

Данные в виде графа. Как их хранить? Как с ними работать? Периодически возникают задачи и проекты, где данные имеют структуру графа. Например, данные о компьютерных сетях, где узлы связаны между собой. А на узлах зарегистрированы пользователи и они связаны…