Нахождение минимального расстояния между словами это одна из самых популярных задач на собеседованиях. Любителям щёлкать алгоритмические задачки понравится.
https://t.iss.one/unilecs/78

Если вы также как и я "плаваете" в океане инструментов JS и фронтенд-разработки, то вот эта замечательная статья на русском языке поможет навести порядок в том хаосе, который творится в наших головах при изучении JS в 2017 году. 100% концентрат полезной информации.

Разработчики VueJS выпустили доклад на 80 страниц под названием State Of Vue.JS 2017. Что из себя представляет этот документ? История развития и будущее фреймвореа Vue в экосистеме JavaScript. Я активно использую vue в своих проектах и пока мне всё нравится. С каждым днём количество новых компонентов растёт, а вместе с тем и сообщество. Интерес со стороны крупных игроков также есть, что свидетельствует о зрелости технологии.

Ребята из frameworks days организовывают тематические митапы/конференции. На этот раз затронули тему высоконагруженных систем, доклады можно посмотреть тут

#highload

Не так давно на канале я публиковал видео, где автор наглядно объясняет что из себя представляет нейронная сеть. А вот вам такое же видео на тему глубокого обучения. Смотрим.

Что такое нейронная сеть?
Что такое глубокое обучение?

#datascience

В сети стали доступны видео-доклады с прошедшей в Москве конференции Moscow Python Conf 2017. Вот список докладов, которые могут вас заинтересовать:

Построение распределённых Django систем
Блокчейн и Python
Работа с изображениями на Python в 2017 году, Александр работает разработчиком в Uploadcare (когда-то собеседовался туда) и развивает Pillow, поэтому знает о чем говорит.

Все видео доступны в 2-х плейлистах:

Поток 1
Поток 2

#python #video

Занятная статья про упорство и трудолюбие, которое может привести к получению офферов от крупнейших IT компаний мира. Читаем на "Хабре" - https://goo.gl/gbfAzN

Около месяца назад начал проходить сразу 2 специализации на платформе Coursera:

- Машинное обучение и анализ данных от МФТИ
- Big Data for Data Engineers от Яндекса

Последняя специализация, к слову, была запущена чуть больше месяца назад. На сегодня закончил по 1 курсу из каждой специализации, а именно вот эти:

- Математика и Python для анализа данных (мой сертификат)
- Big Data Essentials: HDFS, MapReduce and Spark RDD (мой сертификат)

Хочу поделиться мыслями о курсах. Начнём с первого.

Цель курса "Математика и Python для анализа данных" — обозначить необходимый набор навыков для успешного прохождения всей специализации. Здесь вы найдёте небольшое введение в язык Python и его инструменты для анализа данных: pandas, numpy, scipy, остальная же часть курса посвящена математическому аппарату, а именно темам из линейной алгебры (матрицы, векторы, векторное пространство), теории вероятностей и немного затронут математический анализ — предел и производная. Особенно понравился упор на прикладные задачи, т.е. изучая, например, матрицы или векторы, понимаешь как их применять для решения прикладных задач. Но курс всё таки требует некоторой предварительной подготовки по обозначенным мною темам.

Эти материалы возможно помогут при прохождении курса:
- Essence of linear algebra
- Введение в pandas

Big Data Essentials это первый из 5 курсов, посвященных "горячей" нынче теме про построение инфраструктуры для эффективного анализа данных. Анонс специализации я делал у себя в Telegram канале в первой половине октября. Тогда я только присматривался, в итоге решил проходить. Что из себя представляет первый курс? Это плавное введение в основные инструменты анализа больших данных — Apache Hadoop и Apache Spark. Из 6 недель курса, 2 недели исключительно практические, вообще практических заданий тут хватает. Материалы курса предполагают некоторый опыт программирования, от себя добавлю, что большим плюсом будет наличие навыка в функциональном программировании. К сожалению, есть и ряд минусов. Так как материал появился относительно недавно, в нём есть ошибки из-за которых я терял время. Во-первых, встречаются задания с ошибками в формулах и коде, частенько "валился" удалённый hadoop/spark кластер. Мой совет перед выполнением заданий — активно читайте форум, тестируейте код локально на небольших кусках данных, по возможности поднимите свой docker-контейнер с hadoop или spark (в материалах есть ссылка на контейнер, а на форуме инструкция по настройке). Ещё смущает дичайший русский акцент, иногда в речи встречаются неверно составленные предложения, но к этому можно привыкнуть.

Изучение продолжается. На очереди у меня "Обучение на размеченных данных" и "Big Data Analysis: Hive, Spark SQL, DataFrames and GraphFrames". Скучно точно не будет :)

13 декабря пройдет бесплатный вебинар «Создай свою первую модель машинного обучения».

Вы соберете и проанализируете данные с сайта hh.ru, на основе которых создадите модель регрессии и оцените результаты. Также вы узнаете секреты работы с категориальными и текстовыми данными.

Ведущий — Петр Ермаков, руководитель отдела аналитики Mail.Ru Group.

Регистрация — https://goo.gl/EkXxwo.

Сегодня я подготовил небольшой дайджет свежих материалов, которые могут вас заинтересовать. Пожалуйста, поделитесь мнением, нравится ли вам такой формат? https://telegra.ph/Interesnoe-v-IT-1-12-12

Внимание! Подъехала годнота в виде докладов с прошедшего Highload++ 2017. Качаем, смотрим, комментируем. Для просмотра кликайте по ссылке https://goo.gl/X2UDRn

Ребят, соскучились?) Месяц сюда ничего не постил в связи с сильной занятостью, да и событий после праздников интересных пока не происходило. Сегодня хочу поделиться с вами книгой, которую заканчиваю читать и она, пожалуй, лучшая из тех, что я прочитал в 2017 году. Называется она Designing Data-Intensive Applications, на русском языке пока не издавалась. Чем же примечательна эта книга? Ранее я упоминал, что интересуюсь темой Data Engineering, и даже взял специализацию в Яндексе. Материала по теме очень мало в сети, поэтому собирать приходится по крупицам. Книга Designing Data-Intensive Applications поможет вам влиться в тему разработки распределённых систем, расскажет как работают транзакции, в чем отличия между Thrift, Avro и Protobuf. Особенно полезно будет тем, кто только начинает свой путь в разработке сложных бекендов, интересуется как работает репликация, что такое CAP-теорема да и вообще какие проблемы могут возникнуть при взаимодействие распределённых систем между собой.

Примечательной особенностью книги является простота с которой написан текст. Здесь вы не найдёте сложных математически формул или академического стиля повествования. Всё просто и доступно. Эта книга настоящий кладезь знаний для современного разработчика! В сети можно найти электронную версию книги, я же заказал её с Amazon в бумажном виде (это того стоит).

На днях были опубликованы видео с проходившей в ноябре конференции PiterPy № 4 — посмотреть. Каждый год PiterPy понемногу эволюционирует в международную конференцию, учитывая интересы иностранных докладчиков и гостей, поэтому в этот раз можно увидеть переводы англоязычных докладов на русский и обратно. Также в сети стали доступны доклады с конференции Highload++ Junior 2017 (HLj) — смотреть. Доклады будут интересны в первую очередь начинающих "хайлоудерам", помогут систематизировать знания.

​​​​С 13 по 15 февраля на ВДНХ пройдет MentorHack – хакатон по созданию IT-решений для развития движения наставничества в корпоративной среде, предпринимательстве и образовании.
К участию приглашаются все желающие с опытом в разработке, анализе данных и машинном обучении, product-менеджменте или HR. В рамках хакатона командам предлагается разработать решения по двум направлениям:
- Поиск и подбор наставников для специалистов и проектов, сборка команд и подбор сотрудников под проекты.
- Автоматизация процессов в рамках наставничества — менеджмент, обучение, рекрутинг и HR, трекинг и экспертиза.
Организаторы приветствуют самые разные идеи: от сервисов для подбора ментора начинающему специалисту и стартапу по его описанию или программиста по стилю кода до ассистентов по адаптации новых сотрудников или для генерации резюме встречи и рабочей переписки.
Непосредственно на работу отводится 48 часов в режиме нон-стоп с двумя чек-поинтами, во время которых участники демонстрируют прототипы и получают от них обратную связь. Команды, которые успешно пройдут оба чек-пойнта, представят проекты жюри и смогут побороться за призовой фонд в размере 500 тысяч рублей, за призы в отдельных спецноминациях с призами от партнеров и инвестиции.

Статья на Хабре: https://habrahabr.ru/company/goto/blog/347772/

Подробности: mentorhack.ru

Нашел в сети шедевральный awesome-список — awesome-scalability. Кладезь для тех, кто хочет погрузиться в тему масштабирования приложений и data engineering. Советую добавить к себе в watch-лист на гитхабе и поставить звезду, чтобы следить за обновлениями.

А ещё, Brandon Rhodes у себя в твиттере объявил о том, что каждую неделю он будет писать на сайте https://python-patterns.guide/ про новый дизайн-паттерн на Python. Уже есть 1 пост про Decorator Pattern.

Также в сети стали доступны доклады с прошедшего митапа San Francisco Python. Из всех стоит отметить основательную презентацию новой фичи в предстоящем релизе Python 3.7 — Data Classes от Raymond Hettinger. Смотрим.

​​Открыт набор на профессиональный курс разработчик Python от OTUS запускается третья группа!
Изучайте программу, сдавайте вступительное тестирование, присоединяйтесь к группе! https://otus.pw/u7s9/
Программа профессионального курса включает в себя изучение прикладных задач и освоение инструментов применяемых при разработке инфраструктурных решений, веб-приложений, систем контроля качества и аналитических систем, а также освоения искусства написания прагматичного и идеоматичного кода, который не стыдно не только запустить но и показать.
Успешным выпускникам будет предложено пройти собеседования на релевантные позиции в компаниях - партнерах проекта, топовых IT компаниях страны, а компания Avito готова предоставить специальные условия - компенсировать стоимость обучения в случае трудоустройства по окончании курса.

Внятных материалов по теме Data Engineering нынче днём с огнём не сыщешь, поэтому любая информация на вес золота. Не так давно наткнулся на статью с захватывающим названием A Beginner’s Guide to Data Engineering. Автор некий Robert Chang, работающий в Airbnb на позиции Data Scientist. Сейчас у него в блоге опубликована первая часть материала из 3 частей. В ней неплохо раскрыта суть професии, а также необходимый багаж знаний для погружения в область.

Образовательная платформа DataCamp не так давно анонсировала запуск подкаста DataFramed, где в одном из выпусков гостем был этот самый Robert Chang. Подкаст получился полезным, предлагаю послушать самим.

Ребят, хотел немного рассказать про второй курс специализации Машинное обучение и анализ данных от МФТИ и Яндекса. В отличие от первого курса, второй полностью посвящен непосредственно машинному обучению, а в частности обучению на размеченных данных (т.н. Supervised Learning), т.е. классическое обучение с учителем. Курс состоит из 5 недель, где вас ждёт обильное количество практических заданий в которых вас попросят реализовать алгоритм градиентного спуска, запрограммировать дерево решений, случайный лес и покажут как работает градиентный бустинг (и многое другое). Не обойдут стороной и популярную библиотеку scikit-learn, незаменимый инструмент для специалиста, использующего Python.

Помимо практической составляющей, курс также богат на теорию, а именно математический аппарат. Желательно иметь интуитивное понимание производной. По мере прохождения специализации мне очень помогает книга Введение в машинное обучение на Python от одного из авторов scikit-learn. В ней авторы постарались собрать как можно больше практических примеров при этом не вдаваясь глубоко в теорию работы алгоритмов. Книга служит неплохим дополнением к теоритическому материалу курса, а также руководством по работе с библиотекой scikit-learn (в курсе материал не настолько глубокий по ней). Советую её, если вы вдруг задумались об изучении ML.

Ну и по традиции ссылка на сертификат о прохождении.

Всем доброго дня!

Сегодняшний пост посвящаю распределённым системам. Сейчас эта тема как никогда актуальна, учитывая сложность современных приложений.

Итак, на моём горизонте появились 2 новые книги, одна из которых по праву может считаться христоматийной в своей области - Distributed Systems (уже 3-е по счёту издание) от Maarten van Steen и Andrew Tanenbaum. Для тех, кто в танке, Эндрю Таненбаум был научным руководителем у Werner Vogels, который сейчас занимает должность технического директора в Amazon и чьё детище мы знаем как Amazon Web Services. Эту книгу можно абсолютно бесплатно скачать на сайте автора, оставив заявку. Я пошел дальше и заказал бумажную копию на Amazon, обязательно после прочтения напишу рецензию. Книга объемная и легко может претендовать на справочник.

Вторая называется Designing Distributed Systems, автор один из главных архитекторов и разработчиков Microsoft Azure - Brendan Burns. Книга получилась небольшой (160+ страниц) и скорее является best practices по построению распределённых систем, описывая лучшие паттерны проектирования. Электронную версию можно скачать бесплатно на сайте Microsoft или заказать на Амазоне бумажную версию.

Обе книги достойны внимания и могу дать серьёзный толчок в продвижении в теме распределённых систем.

Желаю вам приятного чтения и отличных выходных!

Нашёл топовый гайд по AWS. Наша команда сейчас активно переносит всю инфраструктуру в облако, и приходится в режиме нон-стоп разбираться что да как. Одним словом - AWS это отдельная вселенная. Также планирую написать небольшой пост в блоге про работу с данными в Amazon Redshift. Вот материал для тех у кого нет времени читать доки.