Квантиль

Продолжаем изучать статистику! Мы уже рассказывали про среднее и медиану. Эти характеристики помогают понять, как данные ведут себя «в среднем».

Но бывает нужен и другой взгляд. Например, социологи исследуют, в какой стране проблема разницы в доходах бедных и богатых ощущается острее. Исследователи хотят понять, сколько зарабатывают 10% самых бедных, а сколько — 10% самых богатых жителей каждой страны. Проанализировать это поможет новое понятие — квантиль.

Определение
Квантиль — это значение, которое случайная величина не превышает с фиксированной вероятностью.
Например, фраза «0.9-квантиль длины песни у группы „Ноги вниз” составляет 3.5 минуты» означает, что у 0.9 (то есть у 90%) всех песен этой группы длина меньше или равна 3.5 минутам, а длина оставшихся 0.1 всех песен — больше либо равна 3.5 минутам.

Как вычислить квантиль
Есть несколько подходов к вычислению квантиля, мы предлагаем такой:

1) отсортировать набор данных по возрастанию,

2) найти номер элемента по формуле: n·k, где n — количество элементов в наборе, k — та доля, которая нас интересует.

Пример
Пусть у нас есть данные: 5, 15, 25, 35, 45, 55, 65, 75, 85, 95.
Здесь n=10 элементов.

Найдём 0.3-квантиль. Вычисляем n·k = 10·0.3 = 3 — это номер нужного элемента. В данном случае третий элемент — это 25.

Поэтому 0.3-квантиль данного набора равен 25. Это значит, что 30% наблюдений меньше или равны 25, а оставшиеся 70% наблюдений больше или равны 25.

Пример посложнее

Добавим в набор ещё несколько элементов: 1, 5, 13, 15, 25, 35, 45, 55, 65, 75, 85, 95, 105. И вычислим 0.3-квантиль.

Элементов 13, 0.3·13=3.9, это нецелое число.

Договоримся, что если при умножении n·k получается дробное число, то мы будем брать среднее значение двух ближайших соседей. Третий элемент равен 13, четвёртый — 15. Их среднее равно 14.

Значит, 30% наблюдений меньше, чем 14, а 70% — больше.

Аналог квантиля

Квантиль всегда является долей от единицы. Если удобнее считать в процентах, то характеристика называется перцентиль, или процентиль. Например, 0.7-квантиль равен 70-перцентилю. Алгоритм вычисления тот же.

Популярные квантили
Но чаще всего используют квартили — они делят набор данных на 4 равных части:

Q₁ (первый квартиль) — 0.25-квантиль.
Q₂ (второй квартиль) — 0.5-квантиль, он отсекает 50% данных, это уже знакомая вам медиана!
Q₃ (третий квартиль) — 0.75-квантиль.

Квартили формируют ядро данных. Обратите внимание: левее Q₁ находятся 25% всех значений и правее Q₃ тоже 25% значений. А значит, между Q₁ и Q₃ лежит ровно половина всех наблюдений. Считается, что это наиболее стабильная часть выборки.

Задача
Пришла пора немножко порешать!
Аналитик Марина взяла из приюта котёнка 15 недель назад и подсчитывает число его милейших фотографий по неделям:
117, 148, 210, 50, 78, 205, 61, 99, 104, 213, 72, 68, 156, 85, 101.

Найдите Q₁ и Q₃.
Решения и ответы ждём в комментах под скрытым текстом.

Почему нельзя делить на ноль

Возможно, ответ на этот вопрос интересует вас ещё со школы.
А может быть, вы уже знаете ответ — тогда можете познакомиться с другими.

Ответить можно на нескольких уровнях:
1) через общее понимание операции деления,
2) через понятие дроби,
3) алгебраически через связь деления и умножения,
4) через понятие предела и с помощью графика,
5) с помощью теории групп и полей через обратный элемент.

Эти пункты можно использовать как подсказки и подумать над доказательством самостоятельно 😉

А можно пойти коротким путём — посмотреть видео, в котором подробно объясняют все пять уровней ответов.

Продолжим разговор о статистике!

Статистика помогает проанализировать большие наборы данных. Для этого можно описать данные одним числом — например, средним. Но не всегда одного показателя достаточно. Рассмотрим пример.

Когда среднего недостаточно
Пусть мы исследуем массы капибар, живущих в двух национальных парках. Средняя масса особи в обоих парках одинакова. Значит ли это, что наборы данных похожи? Иллюстрация к посту показывает, что нет.

В парке «Капи» большинство значений держится недалеко от среднего, а вот в парке «Бара» — значения масс «разбросаны» широко.

Разброс данных помогает оценить новая статистическая характеристика — дисперсия.

Что такое дисперсия
Дисперсия Var(X) — это статистический показатель, который описывает разброс значений в наборе данных X относительно среднего значения. Она показывает, насколько похожи или, наоборот, — разнообразны между собой значения в наборе данных.

Как вычислить дисперсию
1) Вычисляем среднее арифметическое.
2) Находим разность между средним арифметическим и каждым отдельным значением. Эту разность называют отклонением. Возводим каждое отклонение в квадрат.
3) Складываем все квадраты отклонений.
4) Делим сумму на n-1, где n — количество наблюдений.

Пример
Для простоты вычислений представим, что в парках всего по 4 особи, а средняя масса и там, и там равна 50 кг. В парке «Капи» массы равны 45, 50, 51, 54 кг, а в парке «Бара» — 20, 30, 70, 80 кг.

Посчитаем дисперсию для «Капи»:
Var(B)=((45-50)²+(50-50)²+(51-50)²+(54-50)²)/3=(25+0+1+16)/3=14.

А теперь дисперсия для «Бары»:
Var(K)=((20-50)²+(30-50)²+(70-50)²+(80-50)²)/3=(900+400+400+900)/3≈866.7.

Дисперсия массы капибар в парке «Капи» меньше, то есть в нём результаты более стабильны, чем в парке «Бара».

Особенности интерпретации дисперсии
Дисперсия измеряется в квадрате единиц исходных данных, и это может затруднить интерпретацию результатов. Например, дисперсия массы капибар измеряется в квадратных килограммах. Сложно представить, что такое квадратный килограмм. 😅

Выход есть — извлечь корень. Так мы получим ещё одну статистическую характеристику.

Стандартное отклонение
Обозначается Sₓ. Это квадратный корень из дисперсии.

Для парка «Капи» Sₖ≈3.7, то есть большинство масс капибар отклоняется примерно на 3.7 кг в большую или меньшую сторону от среднего значения. Понятная интерпретация!

Для парка «Бара» Sᵦ≈29.4, то есть большинство масс капибар отклоняется от среднего значения примерно на 29.4 кг.

Стандартное отклонение позволяет оценить разнообразие данных и сравнить наборы по этому показателю. В примере с капибарами зоологи могут поизучать причины, почему особи в одном парке более разнообразны, а в другом — более похожи по массе.

А если бы мы, например, сравнивали погоду в течение недели в двух разных городах, то большее стандартное отклонение означало бы, что для поездки в этот город нужно взять больше вариантов одежды.

Задача для вас: откройте приложение погоды и вычислите стандартное отклонение недельной погоды в вашем городе. Делитесь результатами в комментариях! 😎

Выбираем лучшую квартиру
Денис планирует поездку в Суздаль на Праздник огурца и хочет арендовать квартиру на несколько дней.
Денис оценивает жильё по нескольким параметрам: близость к центру, свежесть ремонта, рейтинг на сайте. Каждый параметр он оценивает баллами от 1 до 5, где 1 — плохо, а 5 — отлично. На иллюстрации к посту — таблица с баллами квартир, которые понравились Денису по фотографиям.

Какая квартира будет лучшей и почему? Ждём ваши версии и обоснования в комментариях под скрытым текстом.

Разберём пятничную задачу про подбор лучшей квартиры в Суздале для Дениса.
Мы рады вашему активному отклику!

Сразу уточним, что названия квартир вымышлены, все совпадения с реальностью случайны. 😅

Поехали!

Про веса
Иногда какие-то параметры более важны, чем другие, и тогда каждый признак имеет свой вес. Об этом много говорили в комментариях, и это верно. В нашей задаче ничего неизвестно про приоритеты Дениса — в таких случаях можно считать все параметры равнозначными.

Простой способ решения
Самое простое — посчитать для каждой квартиры среднее арифметическое её баллов и сравнить значения. Можно сравнивать и суммы баллов, это примерно то же самое. Такой критерий обычно приходит в голову первым, и он вполне валидный!

Посчитаем средний балл для каждой квартиры.

Cozy Suzdal (3.7+4.6+4.1)/3=12.4/3=4.1(3).
Best квартира в городе! (4.7+4.3+4.2)/3=13.2/3=4.4.
Домашний уют (4.4+3.8+4.5)/3=12.7/3=4.2(3).
Лакшери Апарт (4.2+4.1+4.9)/3=13.2/3=4.4.

Две квартиры имеют одинаковый средний балл.
Уже не плохо, определили финалистов. 😊

Анализируем дальше
Используем векторы! Каждую квартиру характеризует вектор с тремя координатами. Нужно выбрать самый большой вектор, ведь чем выше баллы — тем лучше. Сделать это поможет норма!

Считать нормы можно разными способами, у нас про это была целая статья. В ней мы разбирали популярные нормы — L₁ и L₂.

Норма L₁ — это просто сумма модулей всех координат, именно её мы и посчитали выше (до того, как делить каждый результат на 3). Вторая и четвёртая квартиры имеют одинаковый суммарный балл, так что посчитаем и норму L₂.

Норма L₂
Это классика, именно её изучают в школе — так в геометрии считают длину вектора.

Её формула — корень из суммы квадратов всех координат. Квадраты очень чувствительны к изменениям, то есть большие слагаемые вносят больший вклад. В этом есть смысл, ведь получить очень высокий балл (выше 4.5) — сложно.

Вычислим нормы L₂ для всех квартир.

Cozy Suzdal √(3.7²+4.6²+4.1²)≈7.19.
Best квартира в городе! √(4.7²+4.3²+4.2²)≈7.63.
Домашний уют √(4.4²+3.8²+4.5²)≈7.35.
Лакшери Апарт √(4.2²+4.1²+4.9²)≈7.65.

В упорной борьбе победила Лакшери Апарт.
Пожалуй, пора принимать решение, до праздника огурца осталось три недели!