DATApedia | Data science
3.55K subscribers
158 photos
89 videos
2 files
804 links
Тут вы найдете всё, что связано с Data Science, AI и Machine Learning, как для начинающих, так и для бывалых специалистов. Также, для вас, мы переводим зарубежные статьи.

Сотрудничество: @Seyfme
Download Telegram
Два сапога — пара, а три — уже community: как алгоритмы на графах помогают собирать группы товаров

В этой статье мы обсудим кластеризацию на графах, задачу выделения сообществ, распад карате-клуба, self-supervised и unsupervised задачи — и как всё это связано с матчингом.

Перейти к статье | DATApedia
👍3
​​ЧГК-GPT, или насколько хорош новый ChatGPT o1-preview в спортивном «Что? Где? Когда?»

12 сентября 2024 года OpenAI представила новую модель OpenAI o1-preview - первую модель, которая по утверждению создателей умеет "рассуждать".

Я решил посмотреть, насколько хорошо она умеет отвечать на вопросы из игры "Что? Где? Когда?"

Читать | DATApedia | #DS_AI
👍2😱2
​​Из лингвиста в дата-сайентисты: личный опыт и детальный трек

Освоить новую профессию и начать работать в сфере ИТ сейчас хотят многие. Моя история доказывает, что переквалифицироваться реально, хотя и очень сложно. Расскажу о своем входе в сферу Data Science с несколько нестандартной исходной точки.

Читать | DATApedia
👍1
В OTUS стартует курс «Системный Аналитик. Team Lead», на котором студенты смогут обучиться особенностям и ключевым направлениям развития системного анализа за рубежом и международными сертификациями в этой области. На занятиях студенты изучат современные принципы и практики архитектуры систем, включая методологии построения архитектуры систем, облачные вычисления, монолитные и микросервисные системы, архитектуру данных и безопасность систем.

23 сентября в 20:00 по мск. приглашаем на открытый вебинар курса «Как создать высокопродуктивную команду системных аналитиков для успешных проектов». Вебинар посвящен эффективным методам взаимодействия и управления командой системных аналитиков. Участники узнают о ключевых аспектах работы в команде, как эффективно обучать и мотивировать специалистов, а также как наладить взаимодействие внутри команды для достижения максимальных результатов в проектах.
Мы обсудим, как создать продуктивную атмосферу в команде, наладить коммуникацию и оптимизировать процессы в команде.

Для участия пройдите регистрацию: https://otus.pw/7eGm/

При поступлении в группу обучения после вебинара вы получите специальную цену на курс, а так же разные способы оплаты и рассрочка платежа.

Реклама. ООО «Отус онлайн-образование», ОГРН 1177746618576, www.otus.ru
​​Компьютерное зрение и котики. Или алгоритмы против человека

Разберём основы компьютерного зрения на примерах с котиками, узнаем, почему CV на самом деле совсем не про зрение и научимся делать свёртку.

Читать | DATApedia | #DS_AI
👍1
​​Не потеряться в данных: оптимизируем аналитику с помощью DataHub

Ниже расскажу о нашем опыте применения DataHub и ситуациях, в которых инструмент может пригодиться. Надеемся, будет полезно продуктовым и дата-аналитикам; руководителям, нацеленным на выстраивание порядка в процессах и всем, кто интересуется актуальным тулингом для ИТ-команд.

Читать | DATApedia
​​Полный гид по бенчмаркам LLM

В этом посте мы представим подробный каталог бенчмарков, разбитый на категории по сложности, динамике, целям оценки, спецификациям конечных задач и типам рисков. Понимание их различий поможет вам разобраться в бенчмарках LLM в условиях их стремительного развития.

Читать | DATApedia | #DS_AI
​​Сжатие данных в PostgreSQL: как различные методы влияют на хранение TOAST

В мире управления базами данных от эффективного хранения больших объемов информации зависит оптимизация производительности и использования дискового пространства. В этой статье разберем основные методы сжатия данных в TOAST.

Перейти к статье | SQLpedia
Media is too big
VIEW IN TELEGRAM
Когда эйчар спрашивает, готов ли я работать в режиме многозадачности
😁7🔥2
​​Corner-кейсы в разработке и разметке данных: что это такое, как с этим жить и при чем тут Достоевский?

Читать | DATApedia | #DS_AI
​​«Магнит» совершенствует сервис доставки: новые алгоритмы определяют лучший магазин для вашего заказа

Когда вы заказываете товары на сайте и в приложении, сервис доставки привозит их из магазинов «Магнит». Раньше для сборки заказов выбирался ближайший к покупателю магазин. Причём ближайший в буквальном смысле — по прямой. Это позволяло экономить на курьерах, но во всех магазинах разное количество сотрудников и ассортимент: где-то заказы собирали дольше, а где-то, из-за отсутствия определенных товаров, позиции в заказе меняли на аналоги. Поэтому мы решили поменять логику выбора магазинов, провели в нескольких городах пилотный проект и делимся первыми результатами.

Читать | DATApedia
👍2
​​«А можно быстрее?»: практические советы по ускорению обучения нейросетей

Мы разберем несколько интересных исследований, которые демонстрируют эффективность различных подходов к ускорению нейросетей на разнообразных задачах и датасетах. Затем обсудим практические рекомендации по выбору и комбинированию методов оптимизации и расскажем, какие инструменты лучше использовать для профилирования и мониторинга процесса обучения. В довершение рассмотрим полезные библиотеки для быстрой и эффективной разработки.

Читать | DATApedia | #DS_AI
​​Как оценить качество LLM модели

В этой статье мы представим общий обзор текущего состояния исследований оценок LLM, а также расскажем о некоторых опенсорсных реализациях в этой области.

Читать | DATApedia | #DS_AI
​​Краткий гайд по квантованию нейросетей

В данной статье речь пойдет о дроблении, уменьшении и прямом урезании, иначе квантовании данных. Сам по себе процесс этот несложный с точки зрения всего, но подводные камни у операции есть.

Читать | DATApedia | #DS_AI
👍1
​​Контроль качества разметки на проекте: 4 секрета успеха

Как контролировать качество на проектах разметки максимально эффективно? Выстроить такие процессы непросто, но мы считаем, что у нас это получилось. Для того, чтобы гарантировать на каждом проекте высокое качество разметки, в Data Light существует отдел Контроля качества. Я, Евгений Шилкин, руководитель отдела, расскажу, что нам позволяет обеспечивать стабильно высокое качество на проектах и какие советы для эффективной валидации мы можем дать.

Читать | DATApedia
​​Оголяем «данные» и что из этого вышло

Однажды я задался целью создать устройство, которое измеряло бы качество воздуха — не просто как-то, а с высокой точностью. Проект по разработке устройства привел к созданию NeboAir — недорогого датчика, который претендует на высокую точность. В этом материале я расскажу об испытаниях в реальных условиях и о том, что получилось в итоге.

Читать | DATApedia
👍1
Простыми словами про метрики в ИИ. Регрессия. MSE, RMSE, MAE, R-квадрат, MAPE

Читать | DATApedia | #DS_AI
👍3
Ликбез по методологиям проектирования хранилищ данных

Хранилище данных — это информационная система, в которой хранятся исторические и коммутативные данные из одного или нескольких источников. Он предназначен для анализа, составления отчетов и интеграции данных транзакций из разных источников.
Рассмотрим сильные и слабые стороны самых популярных методологий.

Перейти к статье | DATApedia
👍5