Анализ данных (Data analysis)
46.3K subscribers
2.33K photos
275 videos
1 file
2.07K links
Data science, наука о данных.

@haarrp - админ

@itchannels_telegram - 🔥 главное в ит

@ai_machinelearning_big_data - ML

@machinelearning_interview - вопросы с собесдований по Ml

РКН: clck.ru/3FmyAp
Download Telegram
🔥 Вы готовы начать этот год с мощнейшего Web3-события?

Спешим объявить об онлайн-хакатоне VK NFT x Definition для разработчиков. Участникам первого Web3-хакатона от ВКонтакте нужно будет создать мини-приложения, основанные на технологии NFT. В декабре соцсеть уже запустила сервис VK NFT, в котором можно управлять токенами. Теперь разработчики будут придумывать новые решения c NFT, а авторы лучших продуктов разделят призовой фонд — 1 500 000 рублей 🦾

Участникам надо будет решить одну из трёх задач:

1. Сделать сервис по созданию и авторизации NFT-билетов.

2. Создать механизм управления доступом к контенту через NFT.

3. Разработать любой другой интересный продукт на основе технологии NFT.

Приглашаются frontend, backend/web3-разработчики и UX/UI-дизайнеры

🗓 Дата проведения:

18–19 февраля 2023 года, онлайн.

Регистрация открыта до 16 февраля 2023 года.

👉 Узнать подробности и подать заявку на участие можно на сайте хакатона: https://cnrlink.com/definitionhack23
👍6
🖥 Шпаргалка по регулярным выражениям Python 2023

Эта шпаргалка по регулярным выражениям покажет вам наиболее часто используемые регулярные выражения, которые любой python разработчик или системный администратор может использовать в качестве краткого справочника.

Читать
Зеркало
Pdf

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍91🔥1
🔬 Введение в Оптимизацию с ограничениями на SciPy.

В этом посте мы делимся примером оптимизации с использованием SciPy, популярной библиотеки Python для научных вычислений.

Читать
Зеркало
Scipy

@data_analysis_ml
🔥6👍32
Теория вероятностей в машинном обучении. Часть 1: модель регрессии

Продолжаем тему теории вероятностей в машинном обучении.

В данной статье мы подробно рассмотрим вероятностную постановку задачи машинного обучения: что такое распределение данных, дискриминативная модель, i.i.d.-гипотеза и метод максимизации правдоподобия, что такое регрессия Пуассона и регрессия с оценкой уверенности, и как нормальное распределение связано с минимизацией среднеквадратичного отклонения.

Читать
Часть 2
Книга Байесовские модели
Курс от Сендфорда

@data_analysis_ml
👍123🔥3
📃 Эксперимент для исследования различных форматов хранения данных.

Перед нами встала задача проведения эксперимента для исследования различных форматов хранения.

Перед началом проведения эксперимента нами были выделены наиболее, на наш взгляд, важные аспекты, которые помогут определить лучший формат хранения:

- Скорость чтения файла
- Скорость записи файла
- Занимаемый объем сохраненного файла

Читать
Подробнее о parquet

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍5🔥21
🔥 Подборка каналов для Дата сайентиста

⭐️ Нейронные сети
@vistehno - chatgpt ведет блог, решает любые задачи и отвечает на любые ваши вопросы.
@aigen - сети для генерации картинок. видео, музыки и многого другого.
@neural – погружение в нейросети.

🖥 Machine learning
@ai_ml – погружение в нейросети, ai, Chatgpt, midjourney, машинное обучение.
@machinelearning_ru – машинное обучении на русском от новичка до профессионала.
@machinelearning_interview – подготовка к собеседованию.
@datascienceiot – бесплатные книги Machine learning
@ArtificialIntelligencedl – канал о искусственном интеллекте

@machinee_learning – чат о машинном обучении
@datascienceml_jobs - работа ds, ml
@Machinelearning_Jobs - чат работы мл

🖥 SQL базы данных

@sqlhub - Повышение эффективности кода с грамотным использованием бд.
@chat_sql - чат изучения бд.

🖥 Python

@pythonl - главный канал самого популярного языка программирования.
@pro_python_code – учим python с ментором.
@python_job_interview – подготовка к Python собеседованию.
@python_testit - проверочные тесты на python
@pythonlbooks - современные книги Python
@python_djangojobs - работа для Python программистов
@python_django_work - чат обсуждения вакансий


🖥 Javascript / front

@react_tg - - 40,14% разработчиков сайтов использовали React в 2022 году - это самая популярная библиотека для создания сайтов.
@javascript -канал для JS и FrontEnd разработчиков. Лучшие практики и примеры кода. Туториалы и фишки JS
@Js Tests - каверзные тесты JS
@hashdev - погружение в web разработку.
@javascriptjobjs - отборные вакансии и работа FrontEnd.
@jsspeak - чат поиска FrontEnd работы.

🖥 Java
@javatg - выучить Java с senior разработчиком по профессиональной методике.
@javachats - чат для ответов на вопросы по Java
@java_library - библиотека книг Java
@android_its - Android разработка
@java_quizes - тесты Java
@Java_workit - работа Java
@progersit - шпаргалки ит

👣 Golang
@Golang_google - восхитительный язык от Google, мощный и перспективный.
@golang_interview - вопросы и ответы с собеседований по Go. Для всех уровней разработчиков.
@golangtests - интересные тесты и задачи GO
@golangl - чат изучающих Go
@GolangJobsit - отборные вакансии и работа GO
@golang_jobsgo - чат для ищущих работу.
@golang_books - полезные книги Golang
@golang_speak - обсуждение языка Go

🖥 Linux
@linux -топ фишки, гайды, уроки по работе  с Linux.
@linux chat - чат linux для обучения и помощи.
@linux_read - бесплатные книги linux

👷‍♂️ IT работа

@hr_itwork -кураторский список актуальных ит-ваканнсии

🤡It memes
@memes_prog - ит-мемы

⚙️ Rust
@rust_code - Rust избавлен от болевых точек, которые есть во многих современных яп
@rust_chats - чат rust

#️⃣ c# c++
C# - объединяет лучшие идеи современных языков программирования
@csharp_cplus чат
С++ - Универсальность. Возможно, этот главный плюс C++.

📓 Книги

@programming_books_it - большая библиотека. программиста
@datascienceiot -ds книги
@pythonlbooks - python библиотека.
@golang_books - книги Golang
@frontendbooksit - front книги
@progersit - ит-шпаргалки
@linux_read - Linux books
@java_library - Java books

🖥 Github
@github_code - лучшие проекты с github
@bigdatai - инструменты по работе с данными

🖥 Devops
Devops - специалист общего профиля, которому нужны обширные знания в области разработки.

📢 English for coders

@english_forprogrammers - Английский для программистов
Please open Telegram to view this post
VIEW IN TELEGRAM
👍10🔥63
🔟 Советов по улучшению работы с ChatGPT

Список советов, которые помогут вам улучшить работу с ChatGPT. Список кратко:

1. ChatGPT имеет ограничение на вывод текста, но это можно легко обойти, воспользовавшись командой “continue”.

2. Иногда длинные, запутанные запросы могут иметь противоположный эффект, поэтому всегда полезно делать их конкретными и короткими.

3. Добавление ключевого слова “list” в вашу подсказку может изменить способ вывода ChatGPT. Список может оказаться более точным, чем обычный запрос.

4. ChatGPT может помочь вам в написании чёткой и сжатой документации для вашего кода, включая README.md файлы для проектов.

5. Вставляя фрагменты кода и запрашивая советы, ChatGPT может помочь с завершением кода.

6. Не отправляйте в Chatgpt запросы, содержащие личную информацию о вас, ваших коллегах или компании.

7. Вот несколько примеров запросов, которые помогут вам в ваших попытках упрощения кода и рефакторинга:

Code alternative example
input <yourcode>

Simplify below code
input <yourcode>

Refactor this code
input <yourcode>


8. Всегда перепроверяйте код от chatgpt или найдите эксперта , который сможет проверить сгенерированный код.

9. Chatgpt напишет за вас тесты высокого уровня.

10. Chatgpt отлично спарвляется с :

- Созданием запросо SQL

- CRUD код

- Отправка электронных писем

- Экспорт данных в CSV Excel

- Создание форм ввода данных

Подробнее
Видео

@data_analysis_ml
👍19🔥31🤨1
🖥 Шесть малоизвестных библиотек Python 2023

В этой статье я делюсь шестью малоизвестными, но полезными библиотеками python для работой с данными и не только, которые помогут вам в работе.

Читать
Зеркло

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11🥰21👎1
🖥 Сокращаем количество изображений , применив хеширование из стандартной библиотеки Python.

Используем библиотека hashlib, чтобы почистить память и удалить ненужные данные.

Читать
Код

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍63🔥2
🔟 полезных инструментов визуализации данных

Инструменты визуализации данных идеально подходят для создания графики о конкретных событиях, проектах, а также для создания аналитических и информационных сводок.

Такие инструменты могут радикально отличаться друг от друга. Мы составили этот список, чтобы помочь вам выбрать лучший и самый подходящий именно для вас вариант.

Читать

@data_analysis_ml
👍8🔥42
🖥 Задачи из интервью Google Data Science

Простые, интуитивно понятные объяснения некоторых вопросов Google по решению проблем

Помимо задач по программированию, работодатель обязательно проверяет знание математики, и особенно решение задач в области статистики и теории вероятности. Ниже мы приводим разбор вопросов из интервью Google.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍20🔥31🤨1
❤️ Инструкция по созданию Telegram бота с ChatGpt на Python.

Это руководство по созданию ChatGPT бота Telegram всего несколькими строками кода на ЯП Python.

Независимо от того, являетесь ли вы профессионалом в области программирования или только начинаете, мы подготовили для вас пошаговое руководство. Приготовьтесь произвести революцию в ваших чатах и хорошенько повеселиться!

Читать
Зеркало

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍8🔥51
Сбер запускает сайт о своих исследованиях и разработках, на котором можно узнать о проектах всех 10 лабораторий компании по таким направлениям, как блокчейн, нейронауки, AR/VR, геймификация, интернет вещей, кибербезопасность, новые технологические решения, искусственный интеллект, клиентский опыт и новые способы продаж и робототехника.

• Среди представленных проектов:
• блокчейн-платформа,
• Volumetric студия, которая позволяет создать эффект присутствия спикера
• платформы для построения и повышения эффективности моделей машинного обучения

На сайте можно узнать и присоединиться к мероприятиям, которые проводят исследователи Сбера, узнать о партнёрских проектах лабораторий Сбера, об исследованиях, запущенных с центрами искусственного интеллекта на базе ВШЭ, Сколтеха и МФТИ.

@data_analysis_ml
👍18🔥41👏1
The Cityscapes Dataset

Великолепный датасет, можно найти множество записей с уличных камер из 50 городов.

https://www.cityscapes-dataset.com/

@data_analysis_ml
👍102🔥2
🖥 Google’s Open Images

Огромный датасет о Google, который включает коллекцию из более чем 9 миллионов URL-адресов, имеющих метки и охватывающих большое количество категорий под лицензией Creative Commons.

https://ai.googleblog.com/2022/10/open-images-v7-now-featuring-point.html

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥10👍21
🖥 Решение бизнес-задачи с помощью многофакторного кластерного анализа и здравого смысла

В рамках данной публикации я постарался не только поделиться своим практическим опытом решения аналитической задачи, но и уделить внимание профессиональным особенностям, связанным и с софт-скиллами, так как глубоко убеждён, что когнитивные умения в работе не менее важны, чем умение использовать тот или иной инструмент.

Читать дальше

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍142🔥2
🖥 ChatGPT — как я повысил свою производительность разработчика с помощью нейросети.

Оказывается, существует такая вещь, как мгновенное повышение производительности — и оно осуществляется с помощью ChatGPT. Возможно, вам интересно, чем данный инструмент может помочь вам; будьте уверены, что мой опыт его использования был невероятно позитивным!

В этой статье я собираюсь углубиться в то, как работает ChatGPT, почему он спас меня от бесчисленных часов разочарования и боли, и как вы тоже можете использовать его функции для увеличения собственной производительности.

Так что, если вы готовы глубоко погрузиться в то, как технологии могут помочь сделать ваши повседневные задачи более эффективными (и менее обременительными) — читайте дальше!

Читать дальше
Зеркало
Как писать код с ChatGpt!

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍9🥱42👎1🔥1
This media is not supported in your browser
VIEW IN TELEGRAM
📊 Регрессионный анализ в DataScience. Простая линейная регрессия. Библиотека statsmodels

Про регрессионный анализ вообще, и его применение в DataScience написано очень много. Есть множество учебников, монографий, справочников и статей по прикладной статистике, огромное количество информации в интернете, примеров расчетов. Можно найти множество кейсов, реализованных с использованием средств Python. Казалось бы - что тут еще можно добавить?

Однако, как всегда, есть нюансы:

Регрессионный анализ - это прежде всего процесс, набор действий исследователя по определенному алгоритму: "подготовка исходных данных - построение модели - анализ модели - прогнозирование с помощью модели".

Часть 1
Часть 2
Код

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍142🔥2
🔍 Нечеткое сравнение строк как метод обнаружения и исправления ошибок.

Существуют контекстно-независимые и контекстно-зависимые методы обнаружения и исправления ошибок. Мы рассмотрим контекстно-независимый способ обнаружения и исправления опечаток и орфографических ошибок.

Для выполнения этой задачи нам понадобится алгоритм нечеткого сравнения строк. Существует множество реализаций данных алгоритмов, однако базовый принцип у них похож – данные алгоритмы выявляют разницу между входным словом и словом из словаря и выдают на выходе информацию о том, на сколько они похожи.

Так, выполнив проход по словарю, можно получить список слов, наиболее похожих на слово с опечаткой. Далее, выбрать то слово, в котором разница будет минимальна и осуществить замену.

В статье мы рассмотрим 4 популярных алгоритма нечеткого сравнения строк.

Читать

@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍163🔥3