Forwarded from Связано!
Какая боль, какая боль Аргентина-Ямайка 5:0
Сегодня футбол если не обрушил, то сильно потрепал интернет по всей стране. Уже звучат привычные обвинения в адрес операторов, ищут виновных. Про ироничные сравнения с Токио молчу.
Смотрим, что было по факту.
1. Как работает интернет в обычные дни.
Мы привыкли к маркетинговым тарифам в сотни Мбит/с. Но в реальности среднее потребление одной квартиры вечером всего 3-4 Мбит/с. Половина трафика идёт через Google и FNA (читай Instagram), часть через ТОИТ и пиринги, оставшееся через внешние каналы. Поэтому оператор резервирует на аплинке на абонента около 2 Мбит/с, и этого обычно хватает.
Сегодня всё было иначе. Ютубы и Инстаграмы отошли на второй план, а всем нужен был один футбол. Каналы, рассчитанные на «обычный вечер», массово не выдержали.
2. CDN как спасение… и их пределы.
CDN нужны, чтобы не тянуть один и тот же поток из-за границы. Локальный сервер получает одну копию, а дальше раздаёт её тысячам абонентов. Сегодня эти сервера работали на 100% мощности, но запросов оказалось столько, что пошёл трафик из-за рубежа (так работают CDN: если один сервер не выдерживает, ему помогают другие). По оценкам, зарубежного cdn-трафика было в 3–4 раза больше казахстанского. В итоге, похоже, «захлебнулись» и внешние каналы.
3. Наши внутренние вещатели и онлайн-сервисы.
Тоже не справились: ресурсов, которых хватало в штатном режиме, сегодня не хватило. Плюс ошибки в архитектуре, и использование тех же перегруженных CDN.
4. Закрытая пиринговая политика.
Некоторые операторы держат свои CDN только для своих абонентов. Для других операторов они не предоставляют ни пиринга, ни доступа. Локально это понятное бизнес-решение, но глобально это минус для всего рынка. Сегодня, похоже, такие сети тоже захлебнулись.
5. Что реально помогало.
Нас очень спас наш замечательный ТОИТ, который выстрелил до 400 Гбит/с, обеспечив операторам дополнительную «широкую» связанность. Очень сильно помогли операторы, которые отдавали свой CDN-трафик безвозмездно другим операторам (через ТОИТ и пиринги). Тут хочется отметить трёх героев дня:
• TNS Plus
• NLS Kazakhstan
• Optinet
Причём две последние это региональные компании. Им отдельное уважение. Я буду ходатайствовать, чтобы их наградили хотя бы благодарственными письмами от министерства.
Итог. Сегодня у нас случился «DDOS наоборот»: нестандартное и не запланированное поведение пользователей. Виновных искать бессмысленно, потому что операторы не могут держать резервы «на всякий случай», иначе интернет стоил бы совсем других денег. А под одно событие инфраструктуру не перестроишь.
Это урок для всей отрасли. Ирония в том, что на CAPIF мы буквально недавно обсуждали пиринг, интерконнект и CDN. Кто считал это скучной говорильнёй, вот вам реальный пример и быстрая карма 🙂
Когда эмоции улягутся, напишу, как быть готовыми к таким кейсам в будущем. Как минимум, подстраховаться.
Сегодня футбол если не обрушил, то сильно потрепал интернет по всей стране. Уже звучат привычные обвинения в адрес операторов, ищут виновных. Про ироничные сравнения с Токио молчу.
Смотрим, что было по факту.
1. Как работает интернет в обычные дни.
Мы привыкли к маркетинговым тарифам в сотни Мбит/с. Но в реальности среднее потребление одной квартиры вечером всего 3-4 Мбит/с. Половина трафика идёт через Google и FNA (читай Instagram), часть через ТОИТ и пиринги, оставшееся через внешние каналы. Поэтому оператор резервирует на аплинке на абонента около 2 Мбит/с, и этого обычно хватает.
Сегодня всё было иначе. Ютубы и Инстаграмы отошли на второй план, а всем нужен был один футбол. Каналы, рассчитанные на «обычный вечер», массово не выдержали.
2. CDN как спасение… и их пределы.
CDN нужны, чтобы не тянуть один и тот же поток из-за границы. Локальный сервер получает одну копию, а дальше раздаёт её тысячам абонентов. Сегодня эти сервера работали на 100% мощности, но запросов оказалось столько, что пошёл трафик из-за рубежа (так работают CDN: если один сервер не выдерживает, ему помогают другие). По оценкам, зарубежного cdn-трафика было в 3–4 раза больше казахстанского. В итоге, похоже, «захлебнулись» и внешние каналы.
3. Наши внутренние вещатели и онлайн-сервисы.
Тоже не справились: ресурсов, которых хватало в штатном режиме, сегодня не хватило. Плюс ошибки в архитектуре, и использование тех же перегруженных CDN.
4. Закрытая пиринговая политика.
Некоторые операторы держат свои CDN только для своих абонентов. Для других операторов они не предоставляют ни пиринга, ни доступа. Локально это понятное бизнес-решение, но глобально это минус для всего рынка. Сегодня, похоже, такие сети тоже захлебнулись.
5. Что реально помогало.
Нас очень спас наш замечательный ТОИТ, который выстрелил до 400 Гбит/с, обеспечив операторам дополнительную «широкую» связанность. Очень сильно помогли операторы, которые отдавали свой CDN-трафик безвозмездно другим операторам (через ТОИТ и пиринги). Тут хочется отметить трёх героев дня:
• TNS Plus
• NLS Kazakhstan
• Optinet
Причём две последние это региональные компании. Им отдельное уважение. Я буду ходатайствовать, чтобы их наградили хотя бы благодарственными письмами от министерства.
Итог. Сегодня у нас случился «DDOS наоборот»: нестандартное и не запланированное поведение пользователей. Виновных искать бессмысленно, потому что операторы не могут держать резервы «на всякий случай», иначе интернет стоил бы совсем других денег. А под одно событие инфраструктуру не перестроишь.
Это урок для всей отрасли. Ирония в том, что на CAPIF мы буквально недавно обсуждали пиринг, интерконнект и CDN. Кто считал это скучной говорильнёй, вот вам реальный пример и быстрая карма 🙂
Когда эмоции улягутся, напишу, как быть готовыми к таким кейсам в будущем. Как минимум, подстраховаться.
👍11👎1
Forwarded from Связано!
Вчера я писал про интернет и «DDOS наоборот». Но не упомянул про сервисы вещания операторов, такие как BeeTV, TV+, AlmaTV и другие.
Принцип их работы несколько отличается от обычных ТВ-сайтов в интернете. Если включить любой канал, кроме футбольного, всё работало стабильно (локальные проблемы не в счёт). То есть сама вещательная инфраструктура операторов связи отрабатывала штатно. Значит, дело было не в перегрузе их платформ, а именно во входящем потоке, где шёл матч «Кайрат - Реал Мадрид».
Я знаю, что операторы активно локализуют кэши и CDN популярных ресурсов. И вчера это было видно: например, Кинопоиск от Яндекса через локальные сервера отдавал контент без сбоев, несмотря на нагрузку. Коллеги из крупных операторов подтвердили это статистикой. Вывод: работа по локализации сделана правильно.
В то же время, раз у всех операторов картинка ломалась одинаково, значит, на стороне BeeTV или TV+ что-то «сломаться локально» не могло. Это выглядело как некорректный входящий поток.
Параллельно очевидно, что серверные мощности вещателя не выдержали: платформа ТРК «Казахстан» не была готова к такому наплыву. Когда количество пользователей резко превысило предел, серверы начали отдавать 500-е ошибки, сайты и приложения перестали отвечать. По постам пользователей сбои наблюдались у всех локальных ОТТ-провайдеров, потому что они получали уже деградированный контент от телевизионщиков.
На этом фоне пользователи начали массово перезапускать приставки и приложения, создавая лавину повторных запросов. Это фактически перегрузило платформы ОТТ-провайдеров и усугубило ситуацию.
📌 При этом сама сетевая часть выдержала нагрузку: локальные CDN и кэши работали. Но для вещания «на весь мир» этого оказалось недостаточно. Здесь нельзя всю вину перекладывать на операторов связи. Проблема скорее в телевизионной инфраструктуре, которая, похоже, сильно устарела и до сих пор может работать на гигабитных линках, тогда как вчерашний трафик переваливал за терабиты.
Вероятнее всего, сервисы вещания операторов тоже пострадали, но не по своей вине. Их инфраструктура работала нормально, и «неспортивные» каналы это подтверждали. Главная проблема была в источнике сигнала и серверной архитектуре ТВ-компаний.
P.S. Это мой личный анализ на основе технических наблюдений и данных коллег. Дождёмся официальных новостей.
Принцип их работы несколько отличается от обычных ТВ-сайтов в интернете. Если включить любой канал, кроме футбольного, всё работало стабильно (локальные проблемы не в счёт). То есть сама вещательная инфраструктура операторов связи отрабатывала штатно. Значит, дело было не в перегрузе их платформ, а именно во входящем потоке, где шёл матч «Кайрат - Реал Мадрид».
Я знаю, что операторы активно локализуют кэши и CDN популярных ресурсов. И вчера это было видно: например, Кинопоиск от Яндекса через локальные сервера отдавал контент без сбоев, несмотря на нагрузку. Коллеги из крупных операторов подтвердили это статистикой. Вывод: работа по локализации сделана правильно.
В то же время, раз у всех операторов картинка ломалась одинаково, значит, на стороне BeeTV или TV+ что-то «сломаться локально» не могло. Это выглядело как некорректный входящий поток.
Параллельно очевидно, что серверные мощности вещателя не выдержали: платформа ТРК «Казахстан» не была готова к такому наплыву. Когда количество пользователей резко превысило предел, серверы начали отдавать 500-е ошибки, сайты и приложения перестали отвечать. По постам пользователей сбои наблюдались у всех локальных ОТТ-провайдеров, потому что они получали уже деградированный контент от телевизионщиков.
На этом фоне пользователи начали массово перезапускать приставки и приложения, создавая лавину повторных запросов. Это фактически перегрузило платформы ОТТ-провайдеров и усугубило ситуацию.
📌 При этом сама сетевая часть выдержала нагрузку: локальные CDN и кэши работали. Но для вещания «на весь мир» этого оказалось недостаточно. Здесь нельзя всю вину перекладывать на операторов связи. Проблема скорее в телевизионной инфраструктуре, которая, похоже, сильно устарела и до сих пор может работать на гигабитных линках, тогда как вчерашний трафик переваливал за терабиты.
Вероятнее всего, сервисы вещания операторов тоже пострадали, но не по своей вине. Их инфраструктура работала нормально, и «неспортивные» каналы это подтверждали. Главная проблема была в источнике сигнала и серверной архитектуре ТВ-компаний.
P.S. Это мой личный анализ на основе технических наблюдений и данных коллег. Дождёмся официальных новостей.
👍5