​​Сможете ли вы отличить собаку от кошки, или Как объяснить проблемы дата-сайентиста коллегам. Часть 1

Этот материал начинает серию из трех постов о том, как объяснить проблемы дата-сайентистов сотрудникам вашей компании, которые ничего не понимают в data science. В первой части я доступно расскажу о нынешнем положении специалистов, их проблемах и типичных запросах, с которыми они сталкиваются.

Перейти к статье | DATApedia

​​Как создавать качественные ML-системы. Часть 1: каждый проект должен начинаться с плана

Команда VK Cloud перевела серию из двух статей о жизненном цикле ML-проекта, проектной документации, ценности для бизнеса и требованиях. О том, как начинать с малого и быстро отказываться от слабых идей. Руководство пригодится дата-сайентистам, специалистам по машинному обучению, руководителям отделов, техническим руководителям или тем, кто хочет дорасти до этого уровня.

Перейти к статье | DATApedia

​​Сможете ли вы отличить собаку от кошки, или Как объяснить проблемы дата-сайентиста коллегам. Часть 2

В первой части автор остановился на проблемах дата-сайентистов и на моделях, а в конце показал пары картинок, где нужно было отличить кошку от собаки. В этой части автор приведет ответы и расскажет, что и в какой степени влияет на качество моделей.

Перейти к статье | DATApedia

​​Теория вероятностей в разработке: где применяется и что можно изучить для более глубокого понимания темы

Часто приходится слышать, что математика, включая статистику и теорию вероятностей с комбинаторикой, не слишком нужна разработчику. Что ж, в некоторых случаях это действительно так. Но для представителей ряда направлений всё это нужно. Кому именно требуется теория вероятностей с сопутствующими дисциплинами и зачем? Об этом поговорим в статье

Перейти к статье | DATApedia

​​Как сделать контекстное окно на 100K в большой языковой модели: обо всех фокусах в одном посте

В этой статье рассмотрены приёмы, позволяющие ускорить обучение больших языковых моделей (LLM) и нарастить в них вывод (inference).

Перейти к статье | DATApedia | #DS_AI

​​Сможете ли вы отличить собаку от кошки, или Как объяснить проблемы дата-сайентиста коллегам. Часть 3

В предыдущей части вы узнали, что качество модели Data Science в первую очередь зависит от исходных данных.
В третьей, заключительной части статьи автор даст ответы по рисункам из предыдущей части. И для дата-сайентистов приведет общий код Python, который использовался для получения всех представленных ниже изображений.

Перейти к статье | DATApedia

​​Эффективная загрузка внешних данных в корпоративное хранилище: опыт «Магнита»

Сегодня я хотел бы поделиться с вами опытом, который мы приобрели в компании «Магнит» при загрузке данных из внешних источников в корпоративное хранилище данных. Расскажу о проблемах, с которыми мы столкнулись и решениях, которые нам помогли облегчить процесс загрузки, повысить эффективность и ускорить получение доступа к данным.

Перейти к статье | DATApedia

​​Как создавать качественные ML-системы. Часть 2: приручаем хаос

Команда VK Cloud перевела вторую статью из серии о создании ML-систем. Первую читайте по ссылке. Здесь поговорим о Data-centric ИИ, данных для обучения, разметке и очистке, синтетических данных и еще немного о Data Engineering и ETL.

Перейти к статье | DATApedia

​​Целостность, точность, согласованность: три фактора, обеспечивающие качество машинного обучения

Эффективность моделей машинного обучения напрямую зависит от обучающих данных. Если данные неполны или размечены неверно, то эти пробелы отразятся на прогнозах модели.
Но как выявлять высококачественные данные и обеспечивать их уровень уже в процессе работы над проектом? И что означает «качество данных» в контексте машинного обучения?

Перейти к статье | DATApedia | #DS_AI

​​Книга «Data Science в действии»

Эта уникальная книга содержит описание пяти практических проектов, включая отслеживание вспышек заболеваний по заголовкам новостей, анализ социальных сетей и поиск закономерностей в данных о переходах по рекламным объявлениям.

Перейти к статье | DATApedia

QA рассказывает про свою профессию

​​S3 не сразу строилось

Вашему вниманию предлагается сокращённый перевод эпичного поста под авторством Энди Уорфилда, вице-президента и заслуженного инженера в компании Amazon, занятого разработкой S3.

Перейти к статье | DATApedia

​​14 типов атак, которые должны выявлять системы лицевой биометрии

Различные слабые места биометрической системы можно использовать для атаки. В этой статье мы рассмотрим так называемые «атаки на визуальный образ» (Presentation Attack, PA).

Перейти к статье | DATApedia

​​Искусственный интеллект: сколько он стоит, куда идет и можно ли ему доверять

Команда VK Cloud перевела статью о том, что на самом деле сейчас происходит с искусственным интеллектом: чего от него ждут, сколько он стоит и как будет развиваться в будущем.

Перейти к статье | DATApedia | #DS_AI

​​Как закалялась сталь: моделируем остывание рельса, чтобы сделать его прочнее

Статья рассказывает о том, как разработчики и дата-сайентисты ЕВРАЗа создали математическую модель остывания рельса, чтобы сделать его прочнее. В статье описывается процесс производства рельсов, проблемы, связанные с термоупрочнением, и как математическая модель помогает контролировать скорость охлаждения и добиться лучших механических свойств рельса.

Перейти к статье | DATApedia

- Удобно сейчас созвониться на 10 минут?
- Да, конечно удобно

​​Разговор об управлении компанией, искусственном интеллекте и ИТ-гигантах

Команда VK Cloud перевела расшифровку подкаста Harvard Business Review HBR IdeaCast. В нем Сундар Пичай, генеральный директор Google и его родительской компании Alphabet, рассказывает о генеративном ИИ и других вопросах, касающихся искусственного интеллекта и развития крупных ИТ-компаний в будущем.

Перейти к статье | DATApedia | #DS_AI

​​Преобразование табличных данных в Python

В статье рассказывается о выборе библиотек для работы с табличными данными в Python. Сравниваются четыре популярных фреймворка: Pandas, Polars, PyArrow и DuckDB. Обсуждаются такие аспекты, как документация и экосистема, производительность и удобство работы с кодом. В конце автор делится своим мнением о том, какой фреймворк лучше выбрать в зависимости от конкретной задачи.

Перейти к статье | DATApedia