ML&|Sec Feed

Forwarded from Purple Team Diary's (MRL)

Анализ признаков влияющих на предсказание нейронной сети

В рамках проекта по созданию торгового бота на акциях Московской биржи, использовал индикаторы технического анализа для извлечения признаков, которые помогут нейронной сети лучше обобщить экономические закономерности финансовых рынков. В результате, получил внушительное количество признаков — целых 39, поэтому необходимо убрать лишние, чтобы повысить качество предсказания нейронной сети.

Одним из эффективных способов достижения этой цели является вычисление градиентов.

Определим функцию compute_gradients, которая будет вычислять градиенты предсказаний модели по отношению к входным данным:

import tensorflow as tf

@tf.function
def compute_gradients(inputs):
    with tf.GradientTape() as tape:
        tape.watch(inputs)  # Следим за входными данными
        predictions = best_model(inputs)  # Получаем предсказания от модели
    return tape.gradient(predictions, inputs)  # Вычисляем градиенты

@tf.function: Этот декоратор позволяет TensorFlow оптимизировать выполнение функции, превращая ее в граф (повышает производительность).

tf.GradientTape(): Контекстный менеджер, который отслеживает операции с тензорами, что позволяет вычислять производные.

tape.watch(inputs): Указывает, что мы хотим следить за изменениями в inputs.

tape.gradient(predictions, inputs): Вычисляет градиенты предсказаний модели по отношению к входным данным.

Теперь можем использовать эту функцию для вычисления градиентов на примере входных данных, чтобы оценить важность признаков.

# Пример входных данных
sample = tf.convert_to_tensor(X_test[:1], dtype=tf.float32) 

# Вычисление градиентов
grads = compute_gradients(sample).numpy()

# Расчет средних абсолютных градиентов по всем признакам
mean_grads = np.mean(np.abs(grads), axis=(0, 1))

# Сортировка признаков по важности
important_features_idx = np.argsort(mean_grads)[::-1]
sorted_features = X.columns[important_features_idx]
sorted_importances = mean_grads[important_features_idx]

print("Важность признаков:", sorted_features)

sample = tf.convert_to_tensor(X_test[:1], dtype=tf.float32): Преобразуем первый пример из тестового набора в тензор TensorFlow.

compute_gradients(sample).numpy(): Вызываем функцию для вычисления градиентов и преобразуем результат обратно в массив NumPy.

np.mean(np.abs(grads), axis=(0, 1)): Вычисляем среднее значение абсолютных градиентов для каждого признака.

np.argsort(mean_grads)[::-1]: Получаем индексы признаков, отсортированных по убыванию их важности.

sorted_features и sorted_importances: Получаем отсортированные названия признаков и их значения.

Гистограмма:

plt.figure(figsize=(10, 6))
plt.barh(sorted_features, sorted_importances, color='skyblue')
plt.xlabel('Средний абсолютный градиент')
plt.ylabel('Признаки')
plt.title('Наиболее важные признаки')
plt.gca().invert_yaxis() 
plt.show()

В результате выполнения кода получим список признаков, отсортированных по их важности для модели. Это поможет лучше понять, какие входные данные оказывают наибольшее влияние на предсказания модели и, возможно, позволит улучшить ее качество за счет фокусировки на наиболее значимых признаках.

#ML

77 viewsБорис_ь с ml, 12:17