Поступающим в Школу анализа данных

Вы наверняка слышали про ШАД — это интенсивная двухгодичная программа с передовыми знаниями по ML, системам хранения/ обработки больших данных и анализу данных.

Один из треков поступления называется «альтернативным» — он подходит для специалистов с опытом в анализе данных и аспирантов.

Что проверяют на вступительном экзамене

По информации с сайта школы, при поступлении проверяют:
- знания в рамках общей программы: базовые разделы высшей алгебры, математического анализа, комбинаторики, теории вероятностей,
- умение программировать.

Один из способов подготовиться

Подтянуть математику можно на нашем курсе «Математика для анализа данных». Например, наши выпускники могут решить большинство заданий из экзамена прошлых лет.

Кроме того, на курсе вы сможете освоить Python и разобраться, как решать задачи аналитика данных с помощью этого языка программирования.

Когда начать подготовку

Экзамены в ШАД начинаются весной. Обучение на курсе «Математика для анализа данных» занимает около 6 месяцев. Если начать сейчас, вы обстоятельно и спокойно успеете подготовиться к поступлению в 2025 году.

Ближайшие когорты стартуют 23 и 30 мая. Приходите, ждём вас!

➡️«Математика для анализа данных»

Сегодня покайфуем с листов А4.

Классное свойство
Если сложить лист пополам, то соотношение сторон сохранится. Длины сторон А4 относятся так же, как длины сторон А5 или А6 и так далее.

Это отношение выражается иррациональным числом — длинная сторона всегда в √2 раз больше короткой. Оно даже имеет имя — соотношение Лихтенберга.

Польза
Его предложил ещё в 1786 году немецкий учёный Георг Кристоф Лихтенберг. С конца 18 века листы такого формата стали применять во Франции. Сейчас формат распространён по всему миру, кроме США и Канады.

Подобные листы удобны тем, что изображение легко перенести/распечатать на любые размеры. Если есть картинка формата А0, то она легко масштабируется и на А1, и на А8. Пропорции сохранятся и ничего нигде не поедет. Типография в восторге!

Почему √2
Пойдём с конца: пусть мы хотим, чтобы сгибание листа не меняло его пропорций — какие тогда нужны параметры листа?

Пусть длина короткой стороны равна x, а длинной — y. При сгибании пополам уже длинная сторона будет равна x, а короткая — 0.5y. Факт неизменности соотношения запишем как пропорцию:
y : x = x : 0.5y.

Применим основное свойство пропорции и получим: 0.5y² = x².
То есть y² = 2x², откуда y = √2⋅x (отриц. корень здесь не имеет физического смысла).

Значит, если нам нужен лист, у которого при складывании сохраняются пропорции, то одна его сторона должна быть в √2 длиннее другой.

Почему именно 210x297 мм
Почему бы вместо 297 не взять 300? Хоть одна сторона была бы красивой длины. :)
Дело в том, что А4 хоть и самый распространённый сейчас формат, но началось всё с А0.

Площадь листа А0 — ровно 1 кв. метр. И уже для этой площади вычисляли нужные длины сторон.
Смотрите: x√2⋅x=1.
Отсюда x≈0.841 м — длина меньшей стороны листа А0. А большей — 1.189 м.

Размеры остальных листов получились делением пополам А0 и далее.
Поделим стороны на 4 — получим размеры формата А4:
841:4≈210 мм — меньшая сторона;
1189:4≈297  мм — большая сторона.
Как раз фактические размеры!

Ну что за кайф этот лист А4 — всё в нём красиво и продуманно!

Привет!
Мы в Практикуме проводим исследование в области обучения анализу данных.

Если вы хотите освоить профессию аналитика данных или уже запланировали обучение, приглашаем принять участие в интервью! Оно пройдёт в зуме и займёт около 30-40 минут.

Для участия, пожалуйста, заполните форму. Мы свяжемся с вами и подберём удобное время. В благодарность за участие подарим промокод на Яндекс Плюс или электронные книги МИФа.

Задача про мраморные столешницы

В мастерской натурального камня есть квадратный мраморный слэб со стороной 4 метра.
- Сначала из него вырезали квадратную столешницу размером 2 на 2 метра.
- Следующий заказ — круглая столешница.

Какого максимального радиуса может быть этот круг? Схема, по которой его будут вырезать, — на иллюстрации к посту.

Разберём пятничную задачу про столешницы.

Решение носит кодовое название «Много диагоналей». 😁

Дополнительные построения
Проведём диагональ большого квадрата. Обозначим её длину за D.
На иллюстрации к посту видно, что: D = d + r + k, где
d — диагональ левого квадрата;
r — радиус круга;
k — оставшийся кусочек.
В правом углу можно достроить квадрат из радиусов круга и становится видно, что k — диагональ этого маленького квадрата.

Найдём длины всех диагоналей
По теореме Пифагора:
• У самого большого квадрата: D²=4²+4²=32, поэтому D=4√2.
• У левого квадрата: d=2√2.
• У верхнего малыша: k=r√2.

Составим и решим уравнение
D = d + r + k, значит, 4√2=2√2+r+r√2, 2√2=r(1+√2),
r=2√2/(1+√2).

Это и есть ответ!
Математическим гурманам предлагаем заглянуть в комментарии и познакомиться со вторым решением задачи.

Компьютер из домино

Все знают, что компьютеры работают на основе двоичной логики. Но как именно это происходит? Как нечто механическое может что-то вычислить?

Именно про это и рассказывает наш любимый популяризатор математики Мэтт Паркер. Для демонстрации он смастерил простую модель компьютера — из доминошек.

Как это работает
На вход подаются сигналы: ноль — это не трогаем костяшки, а единица — это «тык» пальчиком. Интерпретация выходов: ноль — доминошки стоят, а единица — упали.

Если выстроить доминошки особым образом, то получатся «цепи» для разных задач. Например, для сложения:
- Сначала Мэтт сделал «цепи» для логических операций И и исключающее ИЛИ.
- А потом вместе с командой энтузиастов создал компьютер, который смог сложить два небольших числа. Очень скромных — каждое не больше 15 😅 

На создание компьютера ушло 10 тысяч доминошек. Они не только красиво падали, но главное — наглядно визуализировали идею работы компьютера.

Подробности
Смотрите в видео на ютубе:
➡ Как это работает
➡ Захватывающая история строительства домино-компьютера и его тестирования

Квантиль

Продолжаем изучать статистику! Мы уже рассказывали про среднее и медиану. Эти характеристики помогают понять, как данные ведут себя «в среднем».

Но бывает нужен и другой взгляд. Например, социологи исследуют, в какой стране проблема разницы в доходах бедных и богатых ощущается острее. Исследователи хотят понять, сколько зарабатывают 10% самых бедных, а сколько — 10% самых богатых жителей каждой страны. Проанализировать это поможет новое понятие — квантиль.

Определение
Квантиль — это значение, которое случайная величина не превышает с фиксированной вероятностью.
Например, фраза «0.9-квантиль длины песни у группы „Ноги вниз” составляет 3.5 минуты» означает, что у 0.9 (то есть у 90%) всех песен этой группы длина меньше или равна 3.5 минутам, а длина оставшихся 0.1 всех песен — больше либо равна 3.5 минутам.

Как вычислить квантиль
Есть несколько подходов к вычислению квантиля, мы предлагаем такой:

1) отсортировать набор данных по возрастанию,

2) найти номер элемента по формуле: n·k, где n — количество элементов в наборе, k — та доля, которая нас интересует.

Пример
Пусть у нас есть данные: 5, 15, 25, 35, 45, 55, 65, 75, 85, 95.
Здесь n=10 элементов.

Найдём 0.3-квантиль. Вычисляем n·k = 10·0.3 = 3 — это номер нужного элемента. В данном случае третий элемент — это 25.

Поэтому 0.3-квантиль данного набора равен 25. Это значит, что 30% наблюдений меньше или равны 25, а оставшиеся 70% наблюдений больше или равны 25.

Пример посложнее

Добавим в набор ещё несколько элементов: 1, 5, 13, 15, 25, 35, 45, 55, 65, 75, 85, 95, 105. И вычислим 0.3-квантиль.

Элементов 13, 0.3·13=3.9, это нецелое число.

Договоримся, что если при умножении n·k получается дробное число, то мы будем брать среднее значение двух ближайших соседей. Третий элемент равен 13, четвёртый — 15. Их среднее равно 14.

Значит, 30% наблюдений меньше, чем 14, а 70% — больше.

Аналог квантиля

Квантиль всегда является долей от единицы. Если удобнее считать в процентах, то характеристика называется перцентиль, или процентиль. Например, 0.7-квантиль равен 70-перцентилю. Алгоритм вычисления тот же.

Популярные квантили
Но чаще всего используют квартили — они делят набор данных на 4 равных части:

Q₁ (первый квартиль) — 0.25-квантиль.
Q₂ (второй квартиль) — 0.5-квантиль, он отсекает 50% данных, это уже знакомая вам медиана!
Q₃ (третий квартиль) — 0.75-квантиль.

Квартили формируют ядро данных. Обратите внимание: левее Q₁ находятся 25% всех значений и правее Q₃ тоже 25% значений. А значит, между Q₁ и Q₃ лежит ровно половина всех наблюдений. Считается, что это наиболее стабильная часть выборки.

Задача
Пришла пора немножко порешать!
Аналитик Марина взяла из приюта котёнка 15 недель назад и подсчитывает число его милейших фотографий по неделям:
117, 148, 210, 50, 78, 205, 61, 99, 104, 213, 72, 68, 156, 85, 101.

Найдите Q₁ и Q₃.
Решения и ответы ждём в комментах под скрытым текстом.

Почему нельзя делить на ноль

Возможно, ответ на этот вопрос интересует вас ещё со школы.
А может быть, вы уже знаете ответ — тогда можете познакомиться с другими.

Ответить можно на нескольких уровнях:
1) через общее понимание операции деления,
2) через понятие дроби,
3) алгебраически через связь деления и умножения,
4) через понятие предела и с помощью графика,
5) с помощью теории групп и полей через обратный элемент.

Эти пункты можно использовать как подсказки и подумать над доказательством самостоятельно 😉

А можно пойти коротким путём — посмотреть видео, в котором подробно объясняют все пять уровней ответов.

Продолжим разговор о статистике!

Статистика помогает проанализировать большие наборы данных. Для этого можно описать данные одним числом — например, средним. Но не всегда одного показателя достаточно. Рассмотрим пример.

Когда среднего недостаточно
Пусть мы исследуем массы капибар, живущих в двух национальных парках. Средняя масса особи в обоих парках одинакова. Значит ли это, что наборы данных похожи? Иллюстрация к посту показывает, что нет.

В парке «Капи» большинство значений держится недалеко от среднего, а вот в парке «Бара» — значения масс «разбросаны» широко.

Разброс данных помогает оценить новая статистическая характеристика — дисперсия.

Что такое дисперсия
Дисперсия Var(X) — это статистический показатель, который описывает разброс значений в наборе данных X относительно среднего значения. Она показывает, насколько похожи или, наоборот, — разнообразны между собой значения в наборе данных.

Как вычислить дисперсию
1) Вычисляем среднее арифметическое.
2) Находим разность между средним арифметическим и каждым отдельным значением. Эту разность называют отклонением. Возводим каждое отклонение в квадрат.
3) Складываем все квадраты отклонений.
4) Делим сумму на n-1, где n — количество наблюдений.

Пример
Для простоты вычислений представим, что в парках всего по 4 особи, а средняя масса и там, и там равна 50 кг. В парке «Капи» массы равны 45, 50, 51, 54 кг, а в парке «Бара» — 20, 30, 70, 80 кг.

Посчитаем дисперсию для «Капи»:
Var(B)=((45-50)²+(50-50)²+(51-50)²+(54-50)²)/3=(25+0+1+16)/3=14.

А теперь дисперсия для «Бары»:
Var(K)=((20-50)²+(30-50)²+(70-50)²+(80-50)²)/3=(900+400+400+900)/3≈866.7.

Дисперсия массы капибар в парке «Капи» меньше, то есть в нём результаты более стабильны, чем в парке «Бара».

Особенности интерпретации дисперсии
Дисперсия измеряется в квадрате единиц исходных данных, и это может затруднить интерпретацию результатов. Например, дисперсия массы капибар измеряется в квадратных килограммах. Сложно представить, что такое квадратный килограмм. 😅