Практика распила монолита

Несколько лет в индустрии шли жаркие споры "микросервисы против монолитов". У каждой из сторон было множество адептов. Однозначного решения нет.

Нам, как разработчикам, интересна статья про переход от монолитной архитектуры к микросервисной. Своё повествование автор ведет в разрезе высокоуровневых задач, которые приходится решать при использовании микросервисной архитектуры:
— оркестрация, управление множеством сервисов, их масштабированием и распределением нагрузки между разными серверами

— контейнеризация и хранение контейнеров

— применение API Gateway, настоящего швейцарского ножа в мире микросервисов для решения сотни инфраструктурных задач

— организация межсервисного взаимодействия. Вопрос организации остро встаёт с ростом числа команд, занимающихся разными сервисами. Без выстроенного взаимодействия уровень энтропии быстро нарастает, а проект превращается в хаос

— tracing, прослеживание пути запроса среди множества сервисов. Предлагаемое решение jaeger мы уже упоминали в отдельном посте про разухабистое логгирование

— шаблоны сервисов — не совсем очевидный пункт, но очень важный. Всё, что приведено выше, обычно решается в процессе расширения системы. Шаблонами же следует заняться с самого начала. В будущем сэкономит много времени и позволит избежать зоопарка таких похожих, но таких разных сервисов :)

В статье приводятся не только теоретические выкладки, но и конкретные инструменты. Отдельно можно порекомендовать сервис, которым пользуется автор для выбора инструментов — Cloud Native Computing Foundation. Очень классная интерактивная и наглядная карта, где для различных задач собраны сервисы, решающие эти задачи.

В заключении автор напоминает: прежде чем внедрять — подумайте, какие задачи и проблемы вы этим решаете. Эта истина применима к любой технологии
#skills

Представляем PivotTableJS,которыйпозволяет интерактивно анализировать данные в Jupyter 🚀

https://shly.link/ghM2PV

#interview #ml #systemdesign
По описанию показалось, что там много материала. Но пробежаться достаточно

Как говорил Сократ: "Я знаю только то, что ничего не знаю". Словил сегодня вечером это чувство, когда блуждал по репе Тинькоф.

В секции подготовки к мл интервью много всякой годноты. Тут помимо прочего прилично ссылок на рускоязычные курсы, а тут по дизайну мл систем.

Ех, вот и как развиваться, когда глаза разбегаются 🥲

Покоряем большие CSV

Классная практическая статья Working with large CSV files in Python from Scratch рассказывает о хитростях работы с большими CSV-файлами.

В статье рассматриваются примеры:
— подсчёт строк в большом файле. Для этого применяется mmap, который использует низкоуровневое API операционной системы. Это позволяет ускорить чтение большого файла. Сам mmap заслуживает отдельной статьи. В ней с примерами на питоне объясняется, откуда берётся ускорение, плюс другие интересности, в том числе уровня системных вызовов ядра

— разбиение большого файла на части, с которыми дальше удобнее работать

— перемешивание строк в файле. Такое бывает нужно, когда данные используются для обучения модельки машинного обучения

— хранение в виде столбцов ускорит выполнение запросов путём ограничения данных, среди которых идет поиск. Этот пункт достаточно хардкорный, рекомендуем пройтись отладчиком по коду — иначе не разобраться в нюансах

Мы на практике неоднократно сталкивались с гигабайтными CSV, которые иногда даже не умещались в оперативную память.

Например, вы знаете, что линуксовый sort --unique читает файл целиком в оперативную память? А для работы ему надо примерно в 2,5 раза больше памяти, чем весит исходный файл. То есть для сортировки файла в 10 гигов нужно около 25 гигов оперативной памяти. Решение этой проблемы заслуживает отдельного поста.
#python

#ml #finance
Цикл статей про ML в банках

Redis: основы и практическое использование

Redis — база данных типа «ключ-значение». Она невероятно простая, но хорошо себя зарекомендовала как хранилище временных данных.

Сейчас эта NoSQL'ка используется почти в каждом проекте или для хранения временных данных (сессии пользователей), или для кеширования запросов. Знать её просто необходимо.

Подробнее: 👉тут

#видео #теория

Еще такой есть

https://www.crunchydata.com/developers/playground

#dl #nlp

Всем привет! Сегодня хочу с вами поделиться документом, которым я пользовался на протяжение всего Feedback Prize 3.0 соревнования, где мы получили серебро. Там какую-ту часть информации я удалил, потому что оно было связано больше с данными из соревнования, но все названия статей и соответственно к ним ссылки приложены.
Пусть это для вас будет как методичка или шпаргалка! Удачи на будущих NLP соревнованиях!

https://docs.google.com/document/d/11Kq3XbYCgYKB3sgHlntNDyF6pCD_Smn6pMbfQl-vuAU

#ml #dl #courses

End to End Machine Learning (FREE Courses)

The best way to learn new concepts is to use them to build something. These courses are structured to build foundational knowledge (100 series), provide in-depth applied machine learning case studies (200 series), and embark on project-driven deep-dives (300 series).

- 111. Getting ready to learn Python, Mac edition
- 112. Getting ready to learn Python, Windows edition
- 201. Intro to Python
- 211. Decision Trees with Python and Pandas
- 212. Time-Series Analysis
- 213. Nonlinear Modelling and Optimization
- 221. The k-nearest neighbours algorithm
- 311. Neural Network Visualization
- 312. Build a Neural Network Framework
- 313. Advanced Neural Network Methods
- 314. Neural Network Optimization
- 321. Convolutional Neural Networks in One Dimension
- 322. Convolutional neural networks in two dimensions

Come have a look around and try one out today!

Navigational hashtags: #armknowledgesharing #armcourses
General hashtags: #machinelearning #ml #algorithms #learning #course #python #decisiontrees #pandas #timeseries #nonlinear #knn #neuralnetworks #neuralnetwork #convolutionalneuralnetworks #optimization #analysis #visualization