🖥 Реальный вопрос c собеседования Microsoft SQL:

"Какой клиент Azure из базы покупателей, приобретает хотя бы 1 продукт Azure из каждой категории продуктов?"

❕ Подсказки:
- Объединить таблицы с помощью LEFT JOIN
- Подсчитайть разные категории продуктов с помощью COUNT и DISTINCT.

Доп задание: напишие код с использованием Pandas для решения задачи.

Протестировать свой SQL-запрос и посмотреть таблицы можно здесь: https://datalemur.com/questions/supercloud-customer

Пишите свое решение в комментариях👇

@sqlhub

⚡️ 100 вопросов с собеседований Data Science

Habr: https://habr.com/ru/articles/783766/

Видео: https://www.youtube.com/watch?v=6Pk4OgdNxXQ

@pythonl

🖥 Complete-Advanced-SQL-Series

Этот репозиторий содержит все, что вам нужно, чтобы прокачать свои навыки работы с #SQL.

Более 100 упражнений и примеров по SQL.

▪Github

@sqlhub

🖥 DBChaos

Проведите стресс-тестирование своей базе данных с помощью заранее заданных запросов.

Библиотека поможет найти медленные и неэффективные запросы, которые мешают работе.

go install github.com/adaptive-scale/[email protected]

▪Github

@sqlhub

🖥 В PySpark параметризованные запросы позволяют повторно использовать одну и ту же структуру запроса с разными входными данными, не переписывая SQL.

Кроме того, они защищают от атак SQL-инъекций, поскольку рассматривают входные данные как параметры, а не как исполняемый код.

#ApacheSpark

🖥 Начинается новая волна атак Mimic ransomware на серверы SQL-баз данных в трех континентах

В серии кибератак, о которых сообщает BleepingComputer, несколько неправильно настроенных серверов баз данных Microsoft SQL стали жертвами организованной хакерской операции. Эта масштабная кампания успешно нацелилась на серверы в Соединенных Штатах, Латинской Америке и Европейском союзе, заражая их известным шифровальщиком Mimic ransomware, часто называемым N3ww4v3.

Злоумышленники в киберпреступных делах все более совершенствуются, и эта атака, получившая название RE#TURGENCE (Возрождение), подчеркивает постоянную необходимость надежных мер кибербезопасности как на индивидуальном, так и на корпоративном уровне. Взламывая неправильно настроенные серверы, хакеры получают доступ к конфиденциальным данным и шифруют их с помощью практически непроницаемого шифровальщика.

Негативные последствия этой атаки выходят за рамки региональных границ, что подчеркивает глобальный характер киберпреступности. Поскольку бизнесы и отдельные лица все больше полагаются на системы баз данных для хранения и обработки больших объемов информации, становится критически важным укрепление этих систем от потенциальных угроз.

Ушли те времена, когда достаточно было простых межсетевых экранов и антивирусного программного обеспечения для защиты от кибератак. Современные угрозы требуют многопланового подхода, включающего применение передовых мер безопасности, таких как системы обнаружения вторжений, сегментация данных, контроль доступа и регулярные обновления программного обеспечения. Внедрение этих комплексных протоколов безопасности может значительно снизить риск стать жертвой злонамеренных действующих лиц, стремящихся использовать уязвимости.

Последствия попадания в зону риска кибератак с шифрованием данных могут быть серьезными и включать продолжительное простояние, финансовые потери и ущерб репутации. Чтобы снизить эти риски, бизнесам следует приоритезировать инвестиции в кибербезопасность, формировать культуру осведомленности и готовности. Оставаясь бдительными, старательно следуя за состоянием системы и незамедлительно устраняя возможные уязвимости безопасности, организации могут сохранить ценную информацию и поддерживать операционную устойчивость.

Борьба против киберпреступности – это непрекращающийся бой, требующий постоянной адаптации к новым угрозам. Как показывают атаки Mimic ransomware, поддержание актуальных практик безопасности и регулярная оценка уязвимостей систем ключевы для оставания впереди киберпреступников. В этом цифровом веке, где важная информация находится у нас под рукой, защита наших баз данных от усовершенствованных атак является главным условием сохранения нашей безопасности и продолжения прогресса.

🔎 Новость

@sqlhub

🖥 NaturalQuery-6.7B-v0.1

NaturalQuery - это LLM, который может переводить запросы на естественном языке в SQL на основе вашей схемы.

NaturalQuery-v0.1 отлажен на 8k парах "текст запрос PostgreSQL <>".


Убедитесь, что у вас установлена правильная версия библиотеки transformers:

pip install transformers==4.35.2

Загрузка модели
Используйте следующий код Python для загрузки модели:

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("cfahlgren1/NaturalSQL-6.7B-v0")
model = AutoModelForCausalLM.from_pretrained(
"cfahlgren1/NaturalSQL-6.7B-v0",
device_map="auto",

torch_dtype=torch.float16,
)

Генерация текста
Чтобы сгенерировать текст, используйте следующий код на Python.

messages=[
{ 'role': 'user', 'content': prompt}
]

inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt").to(model.device)

# 32023 is the id of <|EOT|> token
outputs = model.generate(inputs, max_new_tokens=512, do_sample=False, top_k=50, top_p=0.95, num_return_sequences=1, eos_token_id=32023)

print(tokenizer.decode(outputs[0][len(inputs[0]):], skip_special_tokens=True))

▪Подробнее

@sqlhub

🖥 Проект инженерии данных с DAG Airflow «от и до». Часть 1

Сделаем конвейер данных, целиком оркестрируемый в Airflow. Сначала создадим тему Kafka, затем отправим сообщения, в которых в качестве записей содержатся электронная почта и одноразовый пароль OTP. Таким образом проиллюстрируем потоковую передачу данных в тему Kafka.

Далее получим эти данные из темы Kafka, вставим их в таблицу Cassandra и в коллекцию MongoDB и проверим наличие в них корректных данных.

Если таковые имеются, отправим письмо на электронную почту и сообщение в Slack с адресом почты и одноразовым паролем OTP.

Это реальный проект валидации электронной почты. Отправку в тему Kafka потоковых записей, включая данные электронной почты и одноразового пароля OTP, проиллюстрируем с отправителем Kafka. Наличие почты и пароля определим с помощью получателя Kafka и проверки данных.

▪Читать

@sqlhub

🖥 Сравнение векторных БД

Это очень удобный сайт с полезной информацией для сравнения векторных баз данных.

Вся информация собрана в одном месте, доступна для поиска, и вы можете добавить фильтры по интересующим вас параметрам.

Очень полная и очень полезная информация!

https://vdbs.superlinked.com/

@sqlhub

🖥 Join-операции в MySQL — инструмент оптимизации поиска данных

Извлечение данных из нескольких таблиц — важнейший навык в области управления базами данных.

Одним из мощных инструментов, находящимся в нашем распоряжении, является join (джоин, т. е. соединение). В этой статье рассмотрим концепции, лежащие в основе join-операций, и изучим стратегии эффективного извлечения данных.

Сосредоточимся на MySQL — одной из самых популярных систем управления реляционными базами данных.

▪Читать

@sqlhub

🖥 Преобразование документов #XML в строки и столбцы в Oracle #SQL с помощью

XMLTABLE ( '/path/to/elements' PASSING <xml> COLUMNS ... )

Команда генерирует строку для каждого элемента, на который ссылается путь.

COLUMNS определяет путь к элементам и атрибутам, находящимся в этом пункте.

@sqlhub