В этой статье мы разработаем БД для практики. В этом проекте перед вами стоит задача создать реляционную базу данных для веб-сайта, предлагающего продажу подержанных автомобилей.
Общее описание этого проекта заключается в том, что любой желающий может предлагать свои товары (подержанные автомобили) в виде рекламы, а потенциальные покупатели могут осуществлять поиск по нескольким категориям.
▪ Читать дальше
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍7🔥1
💥 Снижаем размерность эмбеддингов предложений для задачи определения семантического сходства
Сегодня пойдет речь о методах снижения размерности эмбеддингов для задач определения семантического сходства предложений.
Для чего это необходимо. С каждым годом растет сложность моделей, решающих вопросы семантически- и контекстно-ориентированной обработки естественного языка (NLP). Также нельзя забывать и про проблемы мультиязычности моделей. Все это сильно сказывается на увеличении их размеров и системных требований к железу для их обучения, дообучения, да и просто запуска. Задачи NLP сегодня – это прикладные задачи, их хочется решать на доступном оборудовании за доступное время.
А если поконкретней? Передо мной стояла задача найти и обобщить текстовые данные, представляющие собой массив предложений. Я точно знал, что среди них есть семантически схожие фразы. Однако прямой подход для определения семантического сходства наборов фраз требовал очень много памяти и времени. Чтобы решить эту проблему, я попытался уменьшить размерность векторов признаков предложений, но как понять, когда остановиться и что это даст?
Ну и как понять? В рамках данной публикации посмотрим, как меняется оценка семантического сходства от изменения размерностей эмбеддингов разными классическими методами их уменьшения.
▪Читать
@data_analysis_ml
Сегодня пойдет речь о методах снижения размерности эмбеддингов для задач определения семантического сходства предложений.
Для чего это необходимо. С каждым годом растет сложность моделей, решающих вопросы семантически- и контекстно-ориентированной обработки естественного языка (NLP). Также нельзя забывать и про проблемы мультиязычности моделей. Все это сильно сказывается на увеличении их размеров и системных требований к железу для их обучения, дообучения, да и просто запуска. Задачи NLP сегодня – это прикладные задачи, их хочется решать на доступном оборудовании за доступное время.
А если поконкретней? Передо мной стояла задача найти и обобщить текстовые данные, представляющие собой массив предложений. Я точно знал, что среди них есть семантически схожие фразы. Однако прямой подход для определения семантического сходства наборов фраз требовал очень много памяти и времени. Чтобы решить эту проблему, я попытался уменьшить размерность векторов признаков предложений, но как понять, когда остановиться и что это даст?
Ну и как понять? В рамках данной публикации посмотрим, как меняется оценка семантического сходства от изменения размерностей эмбеддингов разными классическими методами их уменьшения.
▪Читать
@data_analysis_ml
👍9❤2🔥1
Сферы Data Science и Data Analysis в значительной степени зависят от манипулирования и обработки данных. Поскольку большие и сложные датасеты становятся всё более распространёнными, эффективные и масштабируемые решения для обработки данных имеют решающее значение для успеха в этой области. API-интерфейсы DataFrame стали мощными инструментами для работы со структурированными данными, предоставляя высокоуровневый интерфейс для обработки и анализа данных.
Два самых популярных API-интерфейса DataFrame в Python — это Pandas и Vaex.
▪️Читать
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤6👍3🔥1
🖼 ML-подходы по поиску похожих изображений
В данном посте будет рассмотрена задача, называемая поиском похожих изображений, в которой нужно будет найти все похожие изображения из датасета на загруженную фотографию из того же датасета.
▪Читать
▪Код
@data_analysis_ml
В данном посте будет рассмотрена задача, называемая поиском похожих изображений, в которой нужно будет найти все похожие изображения из датасета на загруженную фотографию из того же датасета.
▪Читать
▪Код
@data_analysis_ml
👍9❤3👎1🔥1
Прокачать скилл с нуля и устроиться работать аналитиком данных можно всего за 2 месяца. Учебная программа одобрена экспертным советом Томского государственного университета.
Почему мы?
📚 Официальный образовательный партнер Томского государственного университета
🏅 Преподаватели-практики с высокой экспертизой
🎓 Удостоверение о повышении квалификации установленного образца
🙍♀️ Поддержка тьютора в зачислении и обучении
🙌 Увлеченное коммьюнити и новые полезные контакты
👥 Сотни довольных выпускников прошлых лет
Приглашаем принять участие:
— Студентов старшего курса и выпускников
— Женщин в декрете и неработающих мам детей до 7 лет
— Безработных и лиц под риском увольнения
— Лиц 50 лет и старше, предпенсионеров
Подробные условия участия на сайте проекта.
У нас есть и другие программы!
👨💻 Тестировщик ПО
🖌 Графический дизайн
🎲 Системный аналитик
📊 Аналитик маркетплейсов
Подайте заявку и начните учиться уже через 2 недели!
https://clck.ru/34GSDF
Почему мы?
📚 Официальный образовательный партнер Томского государственного университета
🏅 Преподаватели-практики с высокой экспертизой
🎓 Удостоверение о повышении квалификации установленного образца
🙍♀️ Поддержка тьютора в зачислении и обучении
🙌 Увлеченное коммьюнити и новые полезные контакты
👥 Сотни довольных выпускников прошлых лет
Приглашаем принять участие:
— Студентов старшего курса и выпускников
— Женщин в декрете и неработающих мам детей до 7 лет
— Безработных и лиц под риском увольнения
— Лиц 50 лет и старше, предпенсионеров
Подробные условия участия на сайте проекта.
У нас есть и другие программы!
👨💻 Тестировщик ПО
🖌 Графический дизайн
🎲 Системный аналитик
📊 Аналитик маркетплейсов
Подайте заявку и начните учиться уже через 2 недели!
https://clck.ru/34GSDF
😁7❤3👍3😐3
Создание наглядных визуализаций данных — это полезный навык. Несложно сделать визуализацию данных, которая вызывает больше вопросов, чем ответов.
В этом посте мы обсудим 8 советов о том, как посторить красивую, понятную и информативную визуализацию данных.
Читать
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍21❤3🥰1
⚡️ Создайте свою собственную модель Transformer с нуля с помощью PyTorch
В этом уроке мы создадим базовую модель Transformer с нуля, используя PyTorch. Модель Transformer, представленная Vaswani et al. в статье «Attention is All You Need» — это архитектура глубокого обучения, предназначенная для последовательных задач, таких как машинный перевод и анализ текста.
Она основана на механизмах внутреннего внимания и стала основой для многих современных моделей обработки естественного языка, таких как GPT и BERT.
▪Читать
@data_analysis_ml
В этом уроке мы создадим базовую модель Transformer с нуля, используя PyTorch. Модель Transformer, представленная Vaswani et al. в статье «Attention is All You Need» — это архитектура глубокого обучения, предназначенная для последовательных задач, таких как машинный перевод и анализ текста.
Она основана на механизмах внутреннего внимания и стала основой для многих современных моделей обработки естественного языка, таких как GPT и BERT.
▪Читать
@data_analysis_ml
👍10❤2🥰1
15 лучших бесплатных курсов для изучения Python в 2023 году
Если вы новичок и ищете бесплатные ресурсы по Python, чтобы начать своё путешествие по программированию в 2023 году, то вы попали в нужное место.
В прошлом я делился лучшими книгами и курсами по изучению Python, а сегодня я поделюсь списком из лучших онлайн-курсов, которые вы можете пройти, чтобы бесплатно изучить программирование на Python.
▪Читать
@data_analysis_ml
Если вы новичок и ищете бесплатные ресурсы по Python, чтобы начать своё путешествие по программированию в 2023 году, то вы попали в нужное место.
В прошлом я делился лучшими книгами и курсами по изучению Python, а сегодня я поделюсь списком из лучших онлайн-курсов, которые вы можете пройти, чтобы бесплатно изучить программирование на Python.
▪Читать
@data_analysis_ml
👍13❤4❤🔥1👎1🔥1
Очистка набора данных FIFA 21 с использованием SQL
Популярная видеоигра FIFA 21 имеет большую базу данных статистики игроков и команд, известную как FIFA 21 dataset. Хотя этот набор данных может быть полезным инструментом для изучения производительности игроков и командной тактики, часто возникают проблемы с качеством данных, которые необходимо решить, прежде чем можно будет получить какую-либо полезную информацию.
Действие по обнаружению и устранению недостатков, несоответствий и неточностей в наборе данных известно как «очистка данных»
Читать
@data_analysis_ml
Популярная видеоигра FIFA 21 имеет большую базу данных статистики игроков и команд, известную как FIFA 21 dataset. Хотя этот набор данных может быть полезным инструментом для изучения производительности игроков и командной тактики, часто возникают проблемы с качеством данных, которые необходимо решить, прежде чем можно будет получить какую-либо полезную информацию.
Действие по обнаружению и устранению недостатков, несоответствий и неточностей в наборе данных известно как «очистка данных»
Читать
@data_analysis_ml
👍9❤1🥰1
01. Основы Python
02. Основы Python 2
03. Основы объектно-ориентированного программирования в Python
04. Основы Numpy
05. Основы Pandas
06. Лучшие практики
07. Iterators, generators, decorators
08. Визуализация данных с помощью matplotlib, seaborn; разведывательный анализ
09. Параллелизация в Python. HTTP запросы.
10. PIL, Scikit-Image, OpenCV
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍34🔥5❤2
⚡️ Введение в глубокое обучение (Deep Learning) Free course
▪week01_intro От регрессии к нейросети.
▪week02_backprop Алгоритм обратного распространения ошибки. 50 оттенков градиентного спуска.
▪week03_matrix_diff Матричное диффириенцирование. Тут я отменил один из семинаров. Его надо возместить.
▪week04_backprop_again Решаем задачи на алгорим обратного распространения ошибки и пробуем его закодить.
▪week05_neuro_lego Нейросети - конструктор LEGO. Обсуждаем разные слои.
▪week06 Свёрточные сети.
▪week07 Нормализация по батчам, лучшие практики для обучения нейросетей
▪week08 Современные архитектуры свёрточных сетей. Transfer learning.
Мидтёрм
▪week09 Рекурентные нейронные сетки: RNN, LSTM, GRU. Временные ряды.
▪week10 Работа с текстами, введение в NLP, идея эмбедингов: w2v.
▪week11 Автокодировщики: тексты, картинки, нейросети для графов
▪week12 Seq2seq модели. Механизмы внимания. Автопереводчики. Генерация текстов. (25 мая)
▪week13 Разбираемся с трансформерами. (1 июня)
▪week14 Генеративные нейронные сети. (8 июня - ???)
▪week15 Задачи компьютерного зрения + лекция про то, что ботать дальше, чтобы стать клёвым.
📌 Github
@data_analysis_ml
▪week01_intro От регрессии к нейросети.
▪week02_backprop Алгоритм обратного распространения ошибки. 50 оттенков градиентного спуска.
▪week03_matrix_diff Матричное диффириенцирование. Тут я отменил один из семинаров. Его надо возместить.
▪week04_backprop_again Решаем задачи на алгорим обратного распространения ошибки и пробуем его закодить.
▪week05_neuro_lego Нейросети - конструктор LEGO. Обсуждаем разные слои.
▪week06 Свёрточные сети.
▪week07 Нормализация по батчам, лучшие практики для обучения нейросетей
▪week08 Современные архитектуры свёрточных сетей. Transfer learning.
Мидтёрм
▪week09 Рекурентные нейронные сетки: RNN, LSTM, GRU. Временные ряды.
▪week10 Работа с текстами, введение в NLP, идея эмбедингов: w2v.
▪week11 Автокодировщики: тексты, картинки, нейросети для графов
▪week12 Seq2seq модели. Механизмы внимания. Автопереводчики. Генерация текстов. (25 мая)
▪week13 Разбираемся с трансформерами. (1 июня)
▪week14 Генеративные нейронные сети. (8 июня - ???)
▪week15 Задачи компьютерного зрения + лекция про то, что ботать дальше, чтобы стать клёвым.
📌 Github
@data_analysis_ml
👍25🔥5❤4
Курс Data Analysis with Python, Анализ данных на python, коллекция весна 2022 и весна 2023
▪sem01 Тратим полтора часа на то, чтобы запустить анаконду. Вводимся в python, git и делаем import this.
▪sem02 Говорим про циклы, условия, списки, что такое range (концепция генераторов на пальцах).
▪sem03 Говорим про изменяемые и незименяемые типы данных: списки, кортежи, строки и методы работы с ними. Обсуждаем как питон работает с памятью и где можно из-за этого накосячить.
▪sem04 Говорим о функциях и рекурсии. Решаем задачи на циклы и оформляем их в виде функций.
▪sem05 Говорим про словарики и множества
▪sem06 Решаем задачи на словари и множества. Немного говорим про collections.
sem07 Полезный функционал: list comprehension, map, lambda-функции, all, any, max, sorted, lambda внутри них как key и т.п. Мб про operator, collections и itertools
▪sem08 Чтение и запись в файлы. Типы файлов: txt, json, csv, tsv, pickle. Введение в pandas: подгрузили табличку и сделали минимальное её шатание. Сразу забыли про пандас до следующего года. На экзамене им пользоваться нельзя.
▪sem09 Учимся собирать данные, пишем парсеры.
▪sem10 Работа с API
🖥 Github
@data_analysis_ml
▪sem01 Тратим полтора часа на то, чтобы запустить анаконду. Вводимся в python, git и делаем import this.
▪sem02 Говорим про циклы, условия, списки, что такое range (концепция генераторов на пальцах).
▪sem03 Говорим про изменяемые и незименяемые типы данных: списки, кортежи, строки и методы работы с ними. Обсуждаем как питон работает с памятью и где можно из-за этого накосячить.
▪sem04 Говорим о функциях и рекурсии. Решаем задачи на циклы и оформляем их в виде функций.
▪sem05 Говорим про словарики и множества
▪sem06 Решаем задачи на словари и множества. Немного говорим про collections.
sem07 Полезный функционал: list comprehension, map, lambda-функции, all, any, max, sorted, lambda внутри них как key и т.п. Мб про operator, collections и itertools
▪sem08 Чтение и запись в файлы. Типы файлов: txt, json, csv, tsv, pickle. Введение в pandas: подгрузили табличку и сделали минимальное её шатание. Сразу забыли про пандас до следующего года. На экзамене им пользоваться нельзя.
▪sem09 Учимся собирать данные, пишем парсеры.
▪sem10 Работа с API
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤23👍10🔥4
📚 Подборка бесплатных и актуальных книг по всем языкам программирования.
Книги датасаентиста
Golang библиотека
Python библиотека
Крупнейший склад ит-книг
C++ книги
C# книги
Frontend книги
Книги по базам данных
Топ книги по Linux
Java книги
Библиотека машинного обучения
Сохраняем себе, чтобы не потерять
Книги датасаентиста
Golang библиотека
Python библиотека
Крупнейший склад ит-книг
C++ книги
C# книги
Frontend книги
Книги по базам данных
Топ книги по Linux
Java книги
Библиотека машинного обучения
Сохраняем себе, чтобы не потерять
👍16❤2🔥2
⚙️ Выпущен проект GPT4Free с бесплатным доступом к ChatGPT
Разработчик xtekky создал проект GPT4Free, который позволяет нелегально использовать ChatGPT, обходя ограничения от OpenAI. Для этого используются уязвимости в API.
Получить доступ к платным функциям удалось хитростью: сервис подключён к API через данные тех клиентов OpenAI, которые приобрели платные учётки. Среди таких компаний — poe.com, phind.com, writesonic.com, sqlchat.ai, t3nsor.com и you.com.
Использовать при этом можно как GPT-4, так и GPT-3.5.
Напомним, что сейчас получить ключ для использования GPT-3.5 можно бесплатно, а для GPT-4 нужно приобретать платный доступ.
При этом GPT-4 — это последняя версия языковой модели, которая превосходит 3.5 в несколько раз.
Выдача данных в GPT4Free практически не ограничена никакими искусственными барьерами, как это выполнено в ChatGPT из-за морально-этических аспектов. ЧерезGPT4Free языковой модели можно задать любой вопрос.
Разработчик настаивает, что использовать GPT4Free стоит исключительно для образовательных целей.
🖥 Github
@data_analysis_ml
Разработчик xtekky создал проект GPT4Free, который позволяет нелегально использовать ChatGPT, обходя ограничения от OpenAI. Для этого используются уязвимости в API.
Получить доступ к платным функциям удалось хитростью: сервис подключён к API через данные тех клиентов OpenAI, которые приобрели платные учётки. Среди таких компаний — poe.com, phind.com, writesonic.com, sqlchat.ai, t3nsor.com и you.com.
Использовать при этом можно как GPT-4, так и GPT-3.5.
Напомним, что сейчас получить ключ для использования GPT-3.5 можно бесплатно, а для GPT-4 нужно приобретать платный доступ.
При этом GPT-4 — это последняя версия языковой модели, которая превосходит 3.5 в несколько раз.
Выдача данных в GPT4Free практически не ограничена никакими искусственными барьерами, как это выполнено в ChatGPT из-за морально-этических аспектов. ЧерезGPT4Free языковой модели можно задать любой вопрос.
Разработчик настаивает, что использовать GPT4Free стоит исключительно для образовательных целей.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍14👎4❤2🔥1
Список из несколько курсов по визуализации, которые дают азы, понимание базовых прицнипов. Но стоит также учитывать, с помощью какого именно инструмента вы хотите визуализировать (Power BI, Google Data studio, Python и тд). И как правило у каждого инструмента есть своя бесплатная обучающая база на их же сайте.
▪Data Science: Visualization (Harvard university)
▪Data Visualization (Kaggle)
▪Data Visualization and Building Dashboards with Excel and Cognos (IBM)
▪Data Analytics and Visualization Capstone Project (IBM)
▪Наука о данных: визуализация (Harvard university)
▪Анализ и визуализация данных с помощью Power BI (Davidson)
▪Визуализация данных и создание информационных панелей с помощью Excel и Cognos (IBM)
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍19❤4🔥3
Математика — это краеугольный камень Data Science. Хотя некоторые теоремы, аксиомы и формулы кажутся слишком абстрактными и далекими от практики, на самом деле без них невозможно по-настоящему глубоко анализировать и систематизировать огромные массивы данных.
▪«Математическая статистика» курс CS центр.
▪«Основы статистики» курс Bioinformatics Institute.
▪Университетский курс математического анализа
▪«Основы статистики. Часть 2» курс Bioinformatics Institute.
▪«Основы статистики. Часть 3» курс Bioinformatics Institute.
▪Основы работы с векторными величинами в физике
▪«Современная комбинаторика» курс МФТИ.
▪«Теория вероятностей для начинающих» курс МФТИ.
«Теория вероятностей» курс CS центр.
▪«Теория вероятностей - II (дискретные случайные процессы)» курс CS центр.
▪«Теория вероятностей – наука о случайности» курс ТГУ.
▪«Дискретный анализ и теория вероятностей» курс А.М.Райгородского в Академии Яндекса.
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
❤21🔥9👍3👎2
Mojo: язык программирования для ИИ, который в 35000 раз быстрее, чем Python
Совсем недавно был выпущен новый язык программирования для разработчиков ИИ: Mojo.
Я знаю, о чём вы могли подумать — новый язык программирования для изучения с нуля… Что ж, у меня есть хорошие новости: Mojo разработан как надмножество Python, поэтому, если вы уже знаете Python, изучение Mojo не должно вызвать затруднений.
Читать
@data_analysis_ml
Совсем недавно был выпущен новый язык программирования для разработчиков ИИ: Mojo.
Я знаю, о чём вы могли подумать — новый язык программирования для изучения с нуля… Что ж, у меня есть хорошие новости: Mojo разработан как надмножество Python, поэтому, если вы уже знаете Python, изучение Mojo не должно вызвать затруднений.
Читать
@data_analysis_ml
❤21👍8🔥3🥱1
🗣Подборка статей для подготовки к собеседованиям по машинному обучению.
1. Вопросы для собеседования по ML 1.1
2. Вопросы с собеседовании по машинному обучению uproger.
3. @machinelearning_interview - телеграм канал с разбором вопросов с собеседований мл.
4. 20 основных вопросов для собеседования по машинному обучению
5. Разберитесь в 40 популярных вопросах для собеседования по машинному обучению
6. Ресурсы для собеседования : ML/Data Science/AI Research Engineer
7. Вопросы и ответы на интервью по ML
8. A Guide To Machine Learning Interview Questions And Answers
9. 6 лучших алгоритмов машинного обучения
10. Подготовка к собеседованию по машинному обучению - алгоритмы ML
11. Машинное обучение IP - EDUREKA - Вопросы и ответы
12. 100 распространенных вопросов для интервью по ML
13. Вопросы для собеседования по машинному обучению - Криш Наик
14. Data Science Interviewer Pro By Emma Ding
15. Вопросы для собеседования по науке о данных Краткий обзор от Simplilearn
16. Наиболее часто задаваемые вопросы на собеседовании по AI/ML
17. Вопросы для собеседования по машинному обучению.
18. @python_job_interview - вопросы с собеседований python, ds.
Сохраняем себе, чтобы не потерять
@data_analysis_ml
1. Вопросы для собеседования по ML 1.1
2. Вопросы с собеседовании по машинному обучению uproger.
3. @machinelearning_interview - телеграм канал с разбором вопросов с собеседований мл.
4. 20 основных вопросов для собеседования по машинному обучению
5. Разберитесь в 40 популярных вопросах для собеседования по машинному обучению
6. Ресурсы для собеседования : ML/Data Science/AI Research Engineer
7. Вопросы и ответы на интервью по ML
8. A Guide To Machine Learning Interview Questions And Answers
9. 6 лучших алгоритмов машинного обучения
10. Подготовка к собеседованию по машинному обучению - алгоритмы ML
11. Машинное обучение IP - EDUREKA - Вопросы и ответы
12. 100 распространенных вопросов для интервью по ML
13. Вопросы для собеседования по машинному обучению - Криш Наик
14. Data Science Interviewer Pro By Emma Ding
15. Вопросы для собеседования по науке о данных Краткий обзор от Simplilearn
16. Наиболее часто задаваемые вопросы на собеседовании по AI/ML
17. Вопросы для собеседования по машинному обучению.
18. @python_job_interview - вопросы с собеседований python, ds.
Сохраняем себе, чтобы не потерять
@data_analysis_ml
👍16🔥4❤2
10 Python Itertools, которые сделают ваш код аккуратнее, чище и лучше
Красота Python заключается в его простоте. Не только потому, что синтаксис Python элегантен, но и потому, что он имеет множество хорошо спроектированных встроенных модулей, которые помогают нам эффективно реализовывать общие функции.
Модуль itertools, который является хорошим примером, предоставляет нам много мощных инструментов для управления итерируемыми объектами Python в более сокращённом коде.
▪Читать
@data_analysis_ml
Красота Python заключается в его простоте. Не только потому, что синтаксис Python элегантен, но и потому, что он имеет множество хорошо спроектированных встроенных модулей, которые помогают нам эффективно реализовывать общие функции.
Модуль itertools, который является хорошим примером, предоставляет нам много мощных инструментов для управления итерируемыми объектами Python в более сокращённом коде.
▪Читать
@data_analysis_ml
🔥11👍4❤3
🤖 Роботы-эмпаты, миф или реальность?
Необходимо быстро, качественно и в короткие сроки обработать большое количество данных, но у вас нет ни примерного алгоритма для написания своей модели, ни данных для её обучения? Выход есть! Можно использовать предобученные модели трансформеры.
Модели трансформеры (transformers) пришли на смену рекуррентным нейронным сетям, из-за своего специального механизма внимания (self-attention), который позволяет хранить связи между всеми словами в тексте.
Существует множество моделей для решения различных задач, которые находятся в открытом доступе, но как понять, какая модель больше подходит для решения поставленной перед вами задачи?
Передо мной стояла задача провести анализ отзывов пользователей. Это задача сентиментного анализа текста или же задача мультиклассовой классификации, где необходимо отнести текст к одному из этих трёх классов. Основная цель – это найти как можно больше негативных отзывов, чтобы узнать, на что жалуются люди и решить эти проблемы.
▪Читать дальше
@data_analysis_ml
Необходимо быстро, качественно и в короткие сроки обработать большое количество данных, но у вас нет ни примерного алгоритма для написания своей модели, ни данных для её обучения? Выход есть! Можно использовать предобученные модели трансформеры.
Модели трансформеры (transformers) пришли на смену рекуррентным нейронным сетям, из-за своего специального механизма внимания (self-attention), который позволяет хранить связи между всеми словами в тексте.
Существует множество моделей для решения различных задач, которые находятся в открытом доступе, но как понять, какая модель больше подходит для решения поставленной перед вами задачи?
Передо мной стояла задача провести анализ отзывов пользователей. Это задача сентиментного анализа текста или же задача мультиклассовой классификации, где необходимо отнести текст к одному из этих трёх классов. Основная цель – это найти как можно больше негативных отзывов, чтобы узнать, на что жалуются люди и решить эти проблемы.
▪Читать дальше
@data_analysis_ml
👍12🔥1🥰1
Большой сборник теоретического материала по работе с базами данных.
▪основы: https://phpclub.ru/mysql/doc/tutorial.html
▪отношения между таблицами в БД: https://jtest.ru/bazyi-dannyix/sql-dlya-nachinayushhix-chast-3.html
▪внешние ключи: https://denis.in.ua/foreign-keys-in-mysql.htm
▪большой учебник по SQL: https://www.pyramidin.narod.ru/rusql/index.htm
▪sql канал с практичесикми задачами: @sqlhub
▪сборник запросов на все случаи жизни (англ): https://www.artfulsoftware.com/infotree/queries.php
▪таблицы отличий в диалектах SQL в разных СУБД (англ): https://en.wikibooks.org/wiki/SQL_dialects_reference
▪манга-учебник про SQL в картинках: https://www.nostarch.com/mg_databases.htm
@data_analysis_ml
Please open Telegram to view this post
VIEW IN TELEGRAM
👍23🔥8❤3👌1