Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
269 videos
1 file
2.06K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
Как ChatGPT и GPT-4 можно использовать для создания 3D-контента

Спрос на 3D-миры и виртуальные среды растёт в геометрической прогрессии во всех отраслях промышленности. 3D-рабочие процессы являются основой промышленной цифровизации, разработки симуляций в реальном времени для тестирования и валидации автономных транспортных средств и роботов, эксплуатации цифровых двойников для оптимизации промышленного производства и прокладывания новых путей для научных открытий.

Сегодня 3D-дизайн и построение мира по-прежнему в значительной степени выполняются вручную. В то время как 2D-художники и дизайнеры получили в своё распоряжение вспомогательные инструменты, 3D-рабочие процессы по-прежнему заполнены повторяющимися, утомительными задачами.

Создание или поиск объектов – это трудоёмкий процесс, требующий специальных навыков 3D, оттачиваемых с течением времени, таких как моделирование и текстурирование. Правильное размещение объектов и доведение 3D-среды до совершенства требует нескольких часов тонкой настройки.

Чтобы сократить количество ручных, повторяющихся задач и помочь создателям и дизайнерам сосредоточиться на творческих, приятных аспектах своей работы, NVIDIA запустила множество проектов в области искусственного интеллекта, таких как generative AI tools для виртуальных миров.

Читать
@Chatgpturbobot

@data_analysis_ml
👍54🔥3
🔥 Проекты курса Аналитик данных (Яндекс.Практикум)

В репозитории представлены проекты c кодом курса Аналитик данных. Отличный вариант для практики.

🖥 https://github.com/ovalentinka/Data_analyst?

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👎23👍119🔥3
Разработчики, архитекторы, Data Science и R&D-специалисты Нижнего Новгорода, вы здесь? Сбер приглашает вас на инженерный митап RecSys Community, который пройдет 25 апреля в Сo-working Garage 💻

О чем расскажут спикеры?

✔️ Рассмотрят подходы к применению трансформеров в рекомендательных системах и поделятся успешными кейсам.

✔️ Покажут, как используют AmazMe для обработки персонализированных и мультимодальных рекомендаций.

✔️ Раскроют все секреты, какие изменения помогли сделать рекомендательную систему поиска друзей такой точной.

Конечно же, на митапе будут Q&A-сессии, кофе-брейк, розыгрыш мерча и интересное общение. Встречаемся 25 апреля в Co-working Garage по адресу: ул. Октябрьская, д.35. Сбор гостей в 18:30.

Зарегистрироваться!⚡️
👍32💔1
🖥 9 встроенных декораторов Python, которые помогут оптимизировать код

“Лучше проще, чем сложнее” — оптимальным примером использования этого философского положения “Python-дзена” являются декораторы.
Важно помнить, что существует много функциональных встроенных декораторов Python, которые значительно облегчают жизнь разработчику. С их помощью можно использовать всего одну строку кода для добавления сложных функций к существующим функциям и классам.

Представляю вашему вниманию топ-9 декораторов, которые покажут, насколько элегантным может быть Python.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥41
🎲 Избавляемся от продуктов априори – использование ассоциативных правил для поиска комбинаций

Алгоритм Apriori достаточно удобный инструмент, несмотря на то что он в действительности далеко не новый. Существует много других алгоритмов, в том числе и модификации Apriori для полного анализа продуктовой корзины. Но для типовых задач комбинаторики этот инструмент подходит отлично.

Пример с продуктами лишь более просто и наглядно демонстрирует возможности применения этого инструмента. В действительности задачи на поиски комбинаций с полным покрытием встречаются и в повседневной работе любого IT специалиста.

Читать дальше

@data_analysis_ml
👍9🔥31
🎲 t-SNE с нуля (ft. NumPy)

Я понял, что один из лучших способов по-настоящему понять любой статистический алгоритм или методологию – это реализовать его самостоятельно вручную.

С другой стороны, написание этих алгоритмов иногда может отнимать много времени и доставлять настоящую боль, и когда кто-то другой уже сделал это, зачем мне тратить на это свое время – кажется неэффективным, не так ли? И то, и другое справедливо, и я здесь не для того, чтобы приводить доводы в пользу одного, а не другого.

Эта статья предназначена для читателей, которые заинтересованы в понимании t-SNE посредством перевода математики из оригинальной статьи — Лоренса ван дер Маатена и Джеффри Хинтона — в реализацию кода на python.

Я нахожу, что такого рода упражнения достаточно хорошо проливают свет на внутреннюю работу статистических алгоритмов / моделей и действительно проверяют ваше базовое понимание относительно этих алгоритмов / моделей. Как минимум, успешная реализация всегда приносит большое удовлетворение!

Читать дальше

@data_analysis_ml
👍74🔥2👎1🎉1
Сеньор от мидла отличается как минимум несколькими цифрами в зарплате

Максимум — целой кучей скиллов, которые можно прокачать только на практике. Авито в хорошем тексте (без воды!) рассказывает, как на собеседованиях вычисляют аналитиков-сеньоров и как вы близко к тому, чтобы перепрыгнуть на следующий грейд.

👉 Статья на Хабре и матрица компетенций по уровням.

@data_analysis_ml
9🔥5👍1🥱1
Курс "Машинное обучение" на ФКН ВШЭ

Конспекты лекций, материалы семинаров и домашние задания (теоретические, практические, соревнования) по курсу "Машинное обучение", проводимому на бакалаврской программе "Прикладная математика и информатика" Факультета компьютерных наук Высшей школы экономики.

Записи лекций и семинаров

Полный плейлист
Вводная лекция
Линейная регрессия
Линейная регрессия и градиентное обучение
Продвинутые градиентные методы, линейная классификация
Метрики качества классификации (+небольшое продолжение)
Логистическая регрессия (+продолжение)
Метод опорных векторов, многоклассовая классификация
Решающие деревья
Решающие деревья (продолжение), разложение ошибки на смещение и разброс
Случайные леса, градиентный бустинг
Градиентный бустинг (продолжение)
Стекинг. Обучение без учителя и кластеризация.
Визуализация, обучение представлений
Рекомендательные системы

🖥 Github

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍31🔥148
💥 Шпаргалка scikit-learn: функции для машинного обучения

В этой статье мы рассмотрим 50 наиболее полезных функций, Sci-kitlearn для задач машинного обучения. От предварительной обработки данных до выбора и оценки модели — эти функции охватывают широкий спектр методов и методологий для решения реальных задач.

Мы будем использовать готовые наборы данных, чтобы проиллюстрировать применение каждой функции, чтобы вам было легче следовать и применять их в ваших собственных проектах.

Звучит фантастически? А теперь сюрприз: многие из этих функций просты в использовании и требуют для реализации всего несколько строк кода.

Независимо от того, являетесь ли вы опытным специалистом по данным или только начинаете, эта памятка поможет вам лучше познакомиться с мощными инструментами, доступными в Sci-kit, и позволит вам ускорить свои проекты по науке о данных и машинному обучению.

Читать

@data_analysis_ml
👍104🔥1
Функциональные возможности метода Наивного Байеса на практике.

Подход, о котором я расскажу, позволяет расширить функциональные возможности метода Наивного Байеса благодаря использованию весовых коэффициентов для различных групп признаков объекта датасета (модель может обучаться не только на отдельных словах в тексте, но также на некоторых метаданных, таких как авторы текста и источник информации).

С помощью разработанной ML‑модели можно улучшить качество классификации текстов при использовании обучающей выборки небольшого объёма (всего 30 объектов) и сократить время обучения модели.

Задача решалась в рамках разработки системы рекомендаций научных статей. Наработки могут быть использованы в любых задачах NLP и Text Mining.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
7👍6🔥3
🖥 11 Полезных функций Pandas, которые вы, возможно, упустили из виду

Я совершенно уверен, что Pandas не нуждается в представлении. В этой статье мы продолжим изучать некоторые полезные функции pandas, о которых вы, возможно, не слышали.

Давайте начинать!

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍143🔥2
👁‍🗨 Гайд для новичков по распознаванию изображений ИИ: Python и OpenCV.

В этом руководстве основное внимание будет уделено использованию Python и OpenCV для выполнения задач распознавания изображений, включая загрузку и отображение изображений, предварительную обработку изображений, извлечение признаков, обучение и тестирование классификатора, а также оценку его производительности.

К концу этого руководства у вас будет прочная основа для создания проекта распознавания изображений с помощью ИИ и практические навыки для применения его к реальным задачам.

Читать

@data_analysis_ml
👍74🔥1
🔍 Как использовать инструменты статического анализа в коде Python

За последние несколько лет статические анализаторы кода значительно оптимизировали разработку приложений. Статический анализ избавляет от необходимости отыскивать ошибки и уязвимости в системе продакшн или среде развертывания, указывая участок предполагаемого сбоя на основе типизации и других подсказок кода.

В статье мы подробно разберем несколько инструментов статического анализа с открытым ПО для Python. Посмотрим, как они работают и улучшают процесс программирования.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍42🔥1
Как сгенерировать поддельные изображения, которые выглядят реальными, всего с помощью нескольких строк кода (с помощью GAN)?

Вы когда-нибудь задумывались, как некоторые веб-сайты или приложения могут создавать реалистичные изображения людей, животных или мест, которых не существует в реальной жизни? Как они это делают? И каковы последствия создания и использования таких изображений?

В этой статье я познакомлю вас с одним из самых захватывающих и мощных методов в области машинного обучения: генеративными состязательными сетями, или сокращённо GAN.

GAN – это тип нейронной сети, которая может обучаться на наборах данных и генерировать новые данные с теми же характеристиками, что и обучающие данные.

Например, GAN, обученный на фотографиях человеческих лиц, может создавать реалистично выглядящие лица, которые являются полностью синтетическими.

GAN имеет множество применений в различных областях, таких как искусство, развлечения, безопасность, медицина и многое другое.
Он также может поднимать этические и социальные вопросы, такие как конфиденциальность, подлинность и ответственность.

В этой статье я покажу вам несколько примеров GAN в действии, объясню, как они работают и как реализовать их в Python с использованием популярного фреймворка, такого как TensorFlow или PyTorch. Также мы обсудим некоторые плюсы и минусы этой технологии.

Читать

@data_analysis_ml
🔥83👍1
🖥 Создание базы данных для маркетплейса с помощью SQL

В этой статье мы разработаем БД для практики. В этом проекте перед вами стоит задача создать реляционную базу данных для веб-сайта, предлагающего продажу подержанных автомобилей.

Общее описание этого проекта заключается в том, что любой желающий может предлагать свои товары (подержанные автомобили) в виде рекламы, а потенциальные покупатели могут осуществлять поиск по нескольким категориям.

Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
8👍7🔥1
💥 Снижаем размерность эмбеддингов предложений для задачи определения семантического сходства

Сегодня пойдет речь о методах снижения размерности эмбеддингов для задач определения семантического сходства предложений.

Для чего это необходимо. С каждым годом растет сложность моделей, решающих вопросы семантически- и контекстно-ориентированной обработки естественного языка (NLP). Также нельзя забывать и про проблемы мультиязычности моделей. Все это сильно сказывается на увеличении их размеров и системных требований к железу для их обучения, дообучения, да и просто запуска. Задачи NLP сегодня – это прикладные задачи, их хочется решать на доступном оборудовании за доступное время.

А если поконкретней? Передо мной стояла задача найти и обобщить текстовые данные, представляющие собой массив предложений. Я точно знал, что среди них есть семантически схожие фразы. Однако прямой подход для определения семантического сходства наборов фраз требовал очень много памяти и времени. Чтобы решить эту проблему, я попытался уменьшить размерность векторов признаков предложений, но как понять, когда остановиться и что это даст?

Ну и как понять? В рамках данной публикации посмотрим, как меняется оценка семантического сходства от изменения размерностей эмбеддингов разными классическими методами их уменьшения.

Читать

@data_analysis_ml
👍92🔥1
🖥 Python Pandas против Vaex Dataframes: сравнительный анализ

Сферы Data Science и Data Analysis в значительной степени зависят от манипулирования и обработки данных. Поскольку большие и сложные датасеты становятся всё более распространёнными, эффективные и масштабируемые решения для обработки данных имеют решающее значение для успеха в этой области. API-интерфейсы DataFrame стали мощными инструментами для работы со структурированными данными, предоставляя высокоуровневый интерфейс для обработки и анализа данных.

Два самых популярных API-интерфейса DataFrame в Python — это Pandas и Vaex.

▪️Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
6👍3🔥1
🖼 ML-подходы по поиску похожих изображений

В данном посте будет рассмотрена задача, называемая поиском похожих изображений, в которой нужно будет найти все похожие изображения из датасета на загруженную фотографию из того же датасета.

Читать
Код

@data_analysis_ml
👍93👎1🔥1
Прокачать скилл с нуля и устроиться работать аналитиком данных можно всего за 2 месяца. Учебная программа одобрена экспертным советом Томского государственного университета.

Почему мы?
📚  Официальный образовательный партнер Томского государственного университета
🏅  Преподаватели-практики с высокой экспертизой
🎓  Удостоверение о повышении квалификации установленного образца
🙍‍♀️  Поддержка тьютора в зачислении и обучении
🙌  Увлеченное коммьюнити и новые полезные контакты
👥  Сотни довольных выпускников прошлых лет

Приглашаем принять участие:
— Студентов старшего курса и выпускников
— Женщин в декрете и неработающих мам детей до 7 лет
— Безработных и лиц под риском увольнения
— Лиц 50 лет и старше, предпенсионеров
Подробные условия участия на сайте проекта.

У нас есть и другие программы!
👨‍💻 Тестировщик ПО
🖌 Графический дизайн
🎲 Системный аналитик
📊 Аналитик маркетплейсов

Подайте заявку и начните учиться уже через 2 недели!
https://clck.ru/34GSDF
😁73👍3😐3
📊 8 советов по эффективной визуализации данных

Создание наглядных визуализаций данных — это полезный навык. Несложно сделать визуализацию данных, которая вызывает больше вопросов, чем ответов.

В этом посте мы обсудим 8 советов о том, как посторить красивую, понятную и информативную визуализацию данных.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍213🥰1