Два продвинутых SQL-метода, которые могут значительно улучшить ваши запросы

SQL — это основа для каждого специалиста по работе с данными. Неважно, являетесь ли вы аналитиком данных, специалистом по данным или инженером по обработке данных, вам необходимо иметь четкое представление о том, как писать чистые и эффективные SQL-запросы.

Это связано с тем, что за любым тщательным анализом данных или любой сложной моделью машинного обучения стоят базовые данные, и эти данные должны откуда-то поступать.

Cегодня мы рассмотрим две новые техники SQL, которые вы можете добавить в свой набор инструментов, чтобы вывести ваши запросы на новый уровень. Эти методы называются Обобщённое табличное выражение (CTE) и Оконные функции.

Читать

🦙 LONGLLaMA: языковая модель, для обработки длинных контекстов из 256 000 токенов

Новый метод Focused Transformer (FOT) позволяет дообучать большие языковые модели для расширения эффективного понимания контекста.

Для демонстрации метода исследователи дообучиили open source модели OpenLLaMA 3B и 7B, результирующая модель LONGLLAMA показала прогресс в точности в задачах, требующих понимания длинного контекста. Модель LONGLLAMA-3B достигла точности 94,5% при 100 тысячах токенов и 73% при 256 тысячах токенов, в то время как базовая модель OpenLLAMA не способна обрабатывать контексты, превышающие ее длину обучения в 2 тысячи токенов.

•Код
•Colab

bigdatai

🚀 Podman Desktop

Графический интерфейс для создания, запуска и управления контейнерами Kubernetes.

Удобный интсрумент, который позволяет создавать, запускать, тестировать и публиковать микросервисы и приложения, разрабатываемые для систем контейнерной изоляции.

▪ Github

bigdatai

Собрание бесплатных курсов по Python и машинному обучению.

1. Основы Python для анализа данных — программирование на Python.

2. Ускоренный курс по машинному обучению — видеолекции от исследователей Google.

3. Основы R — как обрабатывать, анализировать и визуализировать данные.

4. Введение в Data Science и аналитику — основы Data Science и Data Science Life Cycle.

5. Линейная регрессия — как применять R для осуществления линейной регрессии.

6. Визуализация — принципы визуализации данных и применение ggplot2.

7. Введение CS50 в программирование на Python, май 2023 г.

8. Python для всех: Getting Started with Python от Coursera, этот курс для начинающих знакомит с программированием на Python через пошаговые учебные пособия и практические упражнения. Курс ведет известный преподаватель доктор Чарльз Северанс.

🆓 10 лучших бесплатных курсов Udacity для мл специалистов.

1. Machine Learning by Georgia Tech
Отличный курс по машинному обучению для начинающих.

2. Introduction to Machine Learning Course
Udacity научит вас основам и тому, как использовать машинное обучение для решения реальных задач.

3. Intro to Artificial Intelligence
Узнайте об интеллектуальных агентах, алгоритмах поиска и игровых программах. Вы словно окажетесь в научно-фантастическом фильме!

4. Artificial Intelligence for Robotics
Вы узнаете, как роботыпринимают решения, понимают, где они находятся и как передвигаются.

5. What is Programming?
Познакомит вас с популярными языками программирования, переменными, циклами и условиями.

6. Intro to HTML and CSS
Никакого опыта не требуется! Вы изучите основы веб-разработки и сможете создавать классные вещи в Интернете!

7. Introduction to Computer Vision
Компьютерное зрение подобно волшебству - оно позволяет компьютерам понимать изображения и видео. Узнайте об обработке изображений, распознавании объектов и многом другом!

8. Intro to Data Science
Наука о данных - это поиск скрытых закономерностей в данных. Исследуйте данные и принимайте разумные решения как эксперт в области данных!

9. SQL for Data Analysis
Анализ данных может быть интересным с помощью SQL. Станьте мастером данных с помощью этого важного навыка!

10. Data Wrangling with MongoDB
Узнайте, как организовать и преобразовать данные как профессионал с помощью MongoDB.

bigdatai

Как маленькая нейроязыковая модель победила серверные подсказки

Автор, разработчик Яндекс Клавиатуры, поделился опытом создания модели и рассказал, какое качество можно получить из маленькой нейроязыковой модели и насколько она лучше n-граммной.

И вообще, почему выбрали CNN-эмбеддинг, а не Word Embedding или Byte Pair Encoding. Все тонкости в статье.

📌 Читать

bigdatai

🚀 Доступ к Spark-датасетам из разных приложений — Redis.

Apache Spark, универсальная платформа для крупномасштабной обработки данных, в сочетании с Redis способна обеспечить ускоренные расчеты в реальном времени для таких задач, как анализ временных рядов, прогнозы и рекомендации на основе машинного обучения и т. д.

Spark также способен извлекать датасеты в кэш-память кластера. Это невероятно полезно, когда приложению необходимо многократно запрашивать одни и те же данные. Если вы используете датасет, создание которого достаточно затратно, и который потом используется в вашем приложении не один раз, то этот датасет обязательно нужно кэшировать. Но если вы захотите получить доступ к этому датасету сразу из нескольких приложений, то вам придется поломать голову, как это сделать. Здесь на помощь приходит коннектор Spark-Redis.

Redis — это размещаемое в памяти хранилище структур данных с открытым исходным кодом (под лицензией BSD), используемое в качестве базы данных, кэша и брокера сообщений. Оно поддерживает множество разных структур данных, таких как строки, хэши, списки, сэты и так далее.

Redis Labs недавно опубликовала в общий доступ пакет “spark-redis”. Как следует из названия, это коннектор Redis для Apache Spark, который обеспечивает доступ для чтения и записи ко всем основным структурам данных Redis в виде RDD (Resilient Distributed Datasets, в терминологии Spark), что позволяет Spark использовать Redis в качестве одного из источников данных. Этот коннектор предоставляет Spark структуры данных Redis, тем самым обеспечивая значительный прирост производительности для всех типов расчетов. Он также позволяет нам организовать совместный доступ к DataSet/DataFrame/RDD Spark из сразу нескольких разных приложений.

Но прежде чем мы сможем использовать коннектор Spark-Redis, нам сперва нужно позаботиться о наличии нескольких ключевых элементов, а именно: Apache Spark, Scala, Jedis и Redis.

Чтобы без особой необходимости не растягивать этот пост, предположим, что о всем вышеперечисленном вы уже позаботились. Поэтому давайте сразу перейдем к делу — как запустить эту мощную комбинацию. Включите указанные ниже зависимости в свой проект вместе со Spark:

•spark-redis
•jedis

📌 Читать дальше

bigdatai

📊Прогнозирование цен на акции с помощью моделирования методом Монте-Карло

Моделирование - мощный инструмент прогнозной аналитики в BI.

• Методы имитационного моделирования используются для моделирования сложных сценариев и принятия обоснованных решений.
• Имитационная модель многократно моделируется с разными входными данными и сценариями, что позволяет понять диапазон возможных результатов и связанные с ними вероятности.
• Существует несколько методов имитационного моделирования, включая агентное моделирование, дискретно-событийное моделирование, моделирование по теории игр и моделирование методом Монте-Карло.
• Мы используем моделирование методом Монте-Карло из-за его универсальности и способности решать сложные задачи с неопределенностью.

# Import required libraries
import math
import matplotlib.pyplot as plt
import numpy as np
import pandas as pd
import yfinance as yf

#obtaining and printing data
#we have used the ticker 'AC.TO', which is Air Canada

data = yf.download('AC.TO','2020-01-01','2023-01-01')
data.head()

📌 Подробнее

bigdatai