установить зависимости
pip install transformers accelerate torch sentencepiece

# пример запуска DeepSeek из Python
from transformers import AutoModelForCausalLM, AutoTokenizer
import torch

model_name = "deepseek-ai/deepseek-coder-6.7b-base"

tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForCausalLM.from_pretrained(
    model_name,
    torch_dtype=torch.float16,
    device_map="auto"   # если есть GPU — модель сама её использует
)

prompt = "Напиши на Python функцию, которая проверяет, простое ли число."

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    **inputs,
    max_new_tokens=160,
    temperature=0.4
)

print(tokenizer.decode(outputs[0], skip_special_tokens=True))

import numpy as np

def softmax(x: np.ndarray) -> np.ndarray:
    x = x - np.max(x)          # стабилизация
    e = np.exp(x)
    return e / np.sum(e)

# Допустим, у нас 3 токена в контексте.
# Для простоты возьмём маленькую размерность векторов (d=2).
# Query - "что я ищу"
# Key   - "что я такое"
# Value - "какую инфу несу"

Q = np.array([1.0, 0.5])  # Query для текущего токена (например, слово "он")

K = np.array([
    [1.0, 0.0],  # Key токена 1 (например, "ключи")
    [0.9, 0.1],  # Key токена 2 (например, "стол")
    [0.0, 1.0],  # Key токена 3 (например, "рядом")
])

V = np.array([
    [10.0, 0.0],  # Value токена 1
    [0.0, 10.0],  # Value токена 2
    [5.0, 5.0],   # Value токена 3
])

# 1) Считаем "похожесть" Q на каждый K через скалярное произведение
scores = K @ Q  # shape: (3,)
print("scores:", scores)

# 2) Нормализуем оценки -> получаем веса внимания
weights = softmax(scores)
print("attention weights:", weights)

# 3) Итоговый вектор = взвешенная сумма Value
output = weights @ V  # shape: (2,)
print("output (context mixed):", output)

# Интерпретация:
# Если вес токена 2 ("стол") самый большой, значит модель "смотрит" на него сильнее всего.