В сети появился отличный ускоренный курс по Firebase и BigQuery с примерами SQL запросов: https://bit.ly/2Ir7Hdd

Сегодня проходит первый в России MeasureCamp - большая антиконференция. В этом формате нет четкой программы и любой слушатель может брать слово и наоборот.

Если у вас есть свободное время, то вот трансляция и по этой ссылке будет доступна запись:

https://youtu.be/5rgaHZg6de8

Несколько слов о ситуации с Telegram и об угрозах блокировки.

Всю прошлую неделю я отвечал на звонки и вопросы многих СМИ о том, что может быть с Telegram в России, как это отразится на пользователях в целом и этом канале в частности.

Моё резюме сводится к следующему: заблокировать при желании можно всё, но в случае Telegram, процедура блокировки довольно трудна - несколько официальных приложений, версии для desktop, множество реплик, возможность установки вне магазинов приложений затруднят блокировку по нажатию "одной кнопки"; скорее всего, будет применена процедура замедления доступа- в этом случае, операторы связи пропускают трафик к ресурсу со скоростью 8-16 кбит/с, что делает использование невозможным. Для блокировки необходима документация, постановление и прочая бюрократия. Так что "закрывать" будут долго.

Важно понимать, что мы движемся к 1 июля, когда начнет действовать "закон Яровой", который подразумевает доступ спецслужб к Вашей личной переписке в случае необходимости без вашего ведома. К сожалению, этот доступ, де-факто, у спецслужб есть. Протокол сигнализации SS7, использующийся в сотовой связи, позволяет перехватить sms-сообщение или, вместе с системой анализа пакетного трафика, расшифровать данные, которые проходят через то или иное устройство. Если в вашем устройстве есть sim-карта, купленная по паспорту - про вас почти все знают. Протокол SS7 исправить нельзя. Таков стандарт.

Шифрование в Telegram включается только для секретных чатов. Они (секретные чаты) хранятся на вашем конкретном смартфоне. Вся прочая переписка хранится на сервере. Именно поэтому, когда вы логинитесь в Telegram, например, с десктопа, в клиент моментально подгружаются все диалоги с вашего клиента на смартфоне, а сообщение, которое Вы начали набирать на смартфоне, появляется драфтом на десктопе.

Таким образом, требования Роскомнадзора, который выполняет приказы спецслужб, касаются только этих секретных чатов, ключи шифрования к которым хранятся на наших смартфонах и telegram никак не может их передать. Поэтому, дальнейшим шагом государства будет решение задачи по обеспечению постоянного доступа к вашему смартфону. Я не хочу сейчас вводить кого-бы то ни было в заблуждение или компрометировать, но почему бы не задуматься о том, что у вас уже установлено какое-либо приложение-"шпион", которое отгружает на сторону весь ваш трафик?
Более того, почему все так уверены в том, что ваш трафик не проверяет Apple, Google или производитель процессора?

Уровень знаний в сфере информационной безопасности в России очень низок. Послушайте, что говорят депутаты в ответ на вопрос, что такое ключи шифрования.

https://www.facebook.com/bbcrussian/videos/10155513811888325/

Иллюзия знания вместо фундаментальной или хотя бы элементарной экспертизы - бич современного общества. Это касается всех сфер. Но особенно инновационных.

В Telegram-клиенты с прошлого года встроен коннект по протоколу socks5. По сути, это VPN-тоннель, который позволит вам быть в сети даже при блокировке. Если же будете использовать VPN, то всегда помните о том, что если что-то пропускает через себя весь трафик, то оно умеет его читать и расшифровывать.

Касаемо канала @internetanalytics - я никуда не буду переезжать. Никаких ТамТутов, Фейсбуков и прочего. Канал читают умные люди, которые, понимая всю абсурдность блокировки и обладая желанием пользоваться удобным сервисом для личной переписки и потребления контента, без проблем останутся в режиме "онлайн".

Дуров умный человек и понимает что хорошо, а что плохо. Террористические каналы и чаты регулярно блокируются и это хорошо; ситуации, когда государство ставит себя намного выше личности и бизнеса и нарушает тайну вашей личной переписки - плохо. В ХХI веке Государствам пора начать считаться с Человеком и Бизнесом и соблюдать пределы допустимого. Разве не этому нас учит Telegram?

Пояснение к сообщению выше:

Фраза "Если же будете использовать VPN, то всегда помните о том, что если что-то пропускает через себя весь трафик, то оно умеет его читать и расшифровывать" не имеет цели создать неверное впечатление.

"Может ли недобросовестный прокси-сервер видеть мои сообщения?" - ответ нет, не может.

Телеграм передаёт по прокси уже зашифрованные данные. Прокси видит, когда вы передаёте что-то (то есть видит и такую сопутствующую информацию, как "вы онлайн, так как что-то скачивается"). Но у него данные в зашифрованном виде. Конечно, 2048-bit RSA, 256-bit AES когда-нибудь можно будет взломать. На данный момент - это 13 миллиардов лет на взлом каждого сообщения, если ломать обычным компьютером.

Если у кого-то есть ресурсы, чтобы взламывать такое шифрование, то на этом этапе ему не нужны прокси - можно уверенно взламывать 99% всего интернета, так как это количество битов достаточно широко принято в качестве "безопасного".

Так что фраза "что если что-то пропускает через себя весь трафик, то оно умеет его расшифровывать" технически верна, но за безопасность переписки в Телеграм именно из-за недобросовестных прокси-серверов / VPN можно не переживать.

Сообщения шифруются при отправке все, независимо от вида. В секретных чатах вся суть немного в другом - там упор на то, что ключей нет у даже у Telegram, то есть "Дуров" не сможет их прочитать.

При отправке любых сообщений используется шифрование, то есть если перехватить трафик, то обычные сообщения именно "Дуров" смог бы прочитать, так как у него есть ключи. Но никто другой - 2048 бит слишком сложно.

Kaggle выложил мини-курсы "Hands-On Data Science Education": Pandas, ML, SQL, R, Data Visualization.
Вроде бы это не видеокурсы, а текстовые с примерами.

https://www.kaggle.com/learn/overview

Объем российского виртуальных АТС в 2017 году, по оценкам «ТМТ Консалтинг», составил 5,9 млрд руб., увеличившись на 41% по отношению к 2016 году.

via @internetanalytics

AppsFlyer выпустили отчет по фроду за первый квартал 2018 года. Ситуация разнонаправленная, в феврале ботов стало больше, Install Hijacking используют смелее.
Вот полный отчет https://goo.gl/ZVZ4cS

Елена Краузова, associate фонда Speedinvest Digital East рассказывает о данных отчета
Pitchbook и NVCA по VC за первый квартал 2018 года в США.

1) Праздник жизни продолжается: больше 1600 компаний подняли $28,2 млрд за Q1 2018 - это больше, например, чем за целый 2009 год. Power overwhelming.
2) Cдвиг в сторону late stage никуда не уходит - за первые месяцы венчурные раунды закрыли 17 "единорогов" - на сделки с ними приходится $7,2 млрд - это 21% всего объема финансирования. Для сравнения: seed/angel stage - только $1,5 млрд, early stage - $9 млрд
3) Стартапы научились хвастаться recurring revenue, быстро становятся cashflow positive - можно брать деньги не у VC, а у PE, сделки с которыми по объему за этот квартал оказались рекордными аж с 2012 года.

Приход к инвестициям в стартапы нетрадиционных инвесторов ставит перед основателями проектов необходимость продумывать с самого первого раунда финансирования то, как будет составлен микс инвестиций от семейных офисов, стратегов-корпоратов и "старых добрых VC" (и это еще составители репорта не включают интеграцию в раунд ICO).

Авторы Pitchbook и NVCA, кажется, и сами смотрят на этот тренд противоречиво. С одной стороны, разнородность участников раунда дает больше возможностей для будущего стабильного роста и ликвидности, с меньшим риском обнаружить себя с пустым баком на полдороге. С другой - сбалансировать интересы всех участников, зачастую с очень разнородными (а иногда противоположно направленными) реальными интересами и видами на стартап, - та еще задачка. Поживем-увидим.

Отличная статистика по сaptable американских компаний - по темпам размытия, по типичным option pools и по founder waterfall values (см графики)

Первоисточник: https://files.pitchbook.com/website/files/pdf/1Q_2018_PitchBook_NVCA_Venture_Monitor.pdf

Пост Елены в Facebook: https://www.facebook.com/elena.krauzova/posts/1675595162537457

Яндекс.Директ - региональная аналитика. Какие категории где растут, как распределены деньги и тд и тп.

via @internetanalytics

Мессенджеры, популярные в разных регионах. Данные от Yota, то есть собираются на уровне сети, а не опросами. Можно верить.

via @internetanalytics

Avito собрал самые популярные поисковые запросы по городам-миллионникам. Обратите внимание на Казань - там все ищут iPhone с рук. И во всех городах - ищут диваны. Документ ниже

@internetanalytics

Avito: Что искали в 2017 году.

И в продолжение про Казань. Напокупали айфонов и постят с них фотки в Instagram. Самое высокое проникновение Instagram по России.

Источник: https://goo.gl/qo5hYt

Региональные музыкальные предпочтения исследованы Яндекс.Музыкой. Можно "потыкаться" и посмотреть кто где популярен.

https://yandex.ru/company/researches/2017/music_regional

via @internetanalytics

Я сейчас расскажу о математике. О своем университетском преподавателе, который вложил в наши головы множество смыслов.

Я учился в Самаре в университете связи (ПГУТИ). Первой парой первого сентября у был матанализ. Мы молча сидели в ожидании нового. Познакомиться еще не успели. В аудиторию вошли два человека - почтенного возраста мужчина и женщина.

"Здравствуйте, господа студенты!" - сказал мужчина.

Мы - 120 человек - были обескуражены и обеспокоены. Александр Михайлович Ежов - так звали преподавателя - был слепым.

Три года он вёл у нашего потока матанализ, теорвер и матстат. Он стоял, касавшись рукой, первой парты и наизусть диктовал курс высшей математики. Он влёгкую перемножал четырехзначные числа, складывал матрицы и решал системы дифференциальных уравнений в уме. Все время ему помогала его жена- Светлана Николаевна. Она записывала на доске то, о чем рассказывал Александр Михайлович.

На его уроках стояла тишина и царила дисциплина. Он заходил в аудиторию и безошибочно называл фамилии отсутствующих. Каждого студента узнавал по голосу и никогда не повышал своего.

Когда-то на сайте университета была размещена информация об АэМ. Александр Михайлович родился в деревне Березовка Ульяновской области в 1940 году. В детском возрасте попал в песчаную бурю и потерял зрение. Несмотря на это, с отличием закончил школу и поступил в Куйбышевский педагогический институт. Был награжден стипендий им. Ленина. Диплом - с отличием. Аспирантура в СССР. Степень кандидата наук. Невероятный математический дар был ниспослан на человека, который никогда не видел как выглядят цифры.

АэМ рисовал руками графики в пространстве и очень точно описывал как они выглядят. Он всегда знал, какое задание из домашних задач я не решил и спрашивал именно о нем. Мы делали его домашние задания до окончания третьего курса. Ничьи не делали, а его делали.

Он говорил, что учиться нужно не переставая, что нужно проверять знания самым сложным способом и убеждаться, что не знаешь почти ничего, но то, что знаешь, знаешь настолько крепко, что чувствуешь как это устроено.


Экзамен у АэМ проходил в виде беседы. Ты брал билет, писал теорию и решал задачи. После этого приходил к нему и рассказывал и объяснял.

"Кто ясно мыслит, тот ясно излагает" - эта его фраза уже десять лет сопутствует мне. "Нет цели уличить в неправоте, есть цель научить тому как нужно".
Экзамен превращался в лекцию, на которой каждый закрывал те пробелы, которые у него были.


Оценку нельзя было получить просто так, единственный способ не сдавать экзамен - выиграть у АэМ в шахматы.

2 раза в год АэМ устраивал сеанс одновременной игры. Я однажды наблюдал за его игрой на 27 досках. Он подходил, здоровался со студентом, запоминал по голосу и называл комбинацию. 26 побед и 1 ничья. Тот парень получил 4 "автоматом" и это было событие университетского масштаба.

Еще у АэМ были личные шахматы. Большие и тяжелые с отверстиями в доске для фигур. Однажды мы играли с ним и разговаривали. Все экзамены были сданы, наступало лето. Я, разумеется, проиграл. АэМ поблагодарил за игру, пожал мне руку своей теплой рукой и велел "проживать свою жизнь" и "не позволять себе списывать".

Я вышел с кафедры словно бы повзрослевший и грустный. АэМа тем летом не стало. Университет "стал мешать моему образованию" и я ушел работать после 3 курса.

Те тетради по математике до сих пор использую как главный учебник. Биографию АэМ сняли с сайта, в шахматы в университете теперь никто не играет.

Каждый раз, когда я сажусь за формулы или уравнения, я вспоминаю человека, который не обладая способностью видеть, видел насквозь не только людей, но и самую сложную науку и умел сделать ее интересной.

И ведь если бы все мы ясно излагали и ясно мыслили, не было бы всей той ерунды, которая не выходит из моей головы в ночь на пятницу тринадцатое.

Распределение версий операционных систем iOS и Android. Только 1% "андроидов" используют последнюю версию.

via @internetanalytics

Для тех, кто учит Python - "чит-листы" (лайфхаки) для Pandas. Сохраняйте себе

via @internetanalytics

JupiterHub: лекция Яндекса о том, как прививать аналитическую культуру в компании с помощью Jupiter.

https://www.youtube.com/watch?v=EMZpCpN-3jo

Статья-стенограмма: https://u.tmtm.ru/s41ia

via @internetanalytics

Мысли перед сном о Telegram.

Telegram и, главным, образом, контент в нём стал глотком свежего воздуха и чистым сиянием светлого разума. Я пришел сюда за контентом каналов Андрея Себранта, Бобука, за каналом Антирабства, за тем, чтобы общаться с людьми, которые понимают в том, что происходит в Рунете.

Стал пользоваться мессенджером в августе 2015 года с подачи Сергея Плуготаенко (РАЭК). На моё третье сообщение в почте он ответил коротко:
- Переходим в telegram. Там все быстро, удобно и со всех устройств.

Я как раз в то время устраивался в РАЭК. Видел как ежедневно вся коммуникация происходит в telegram. В fb начинались редкие посты о каналах. Начал понимать, что эти люди видят дальше меня. Завел канал через 4 месяца активного пользования.

Сегодня мой круг общения на 100% состоит из людей, с которыми я познакомился благодаря каналу и сопутствующей деятельности. Работа, связи, даже личная жизнь. Помнится, я в конце 2015 года зависал поздней осенью в Tinder и моим главным убеждением был тот факт, что общаться в реальности можно только с теми девушками, кто использует Telegram, как средство коммуникации. Не жалею в выборе этого критерия отсева.

Контент. Telegram - средство почти гарантированной доставки сообщений. Никакая алгоритмическая лента не даст такой охват при таком же количестве подписчиков, никакая рассылка не обладает таким опенрейтом.

Здесь писали и пишут о технологиях, политике, о новом мире и новом интеллекте. Я не читаю новостей на сайтах и не смотрю телевизор. Мой информационный пузырь - более 250 каналов. Абсолютное большинство из них обновляется примерно раз в неделю, но это информация высочайшего уровня. Удалось познакомиться с большей частью авторов этих каналов и это умнейшие люди.

Да, они прямолинейны, свободолюбивы и знают, что говорят. Их интересно читать, это личности, а не безымянные профили.

Попытка заблокировать Telegram - это стремление пресечь самый развивающий канал коммуникаций. Это попытка лишить нас знаний. Это желание заставить нас прекратить мыслить.

13 часов прошло с момента начала блокировки. Я пишу этот текст с обычного смартфона, из России, без прокси и vpn, а вы это читаете. Значит разум снова одержал маленькую победу над глупостью и манией величия.

И снова про python. Три ссылки, которые обязательно нужно сохранить в закладки.

Библиотека для предварительной обработки данных
Библиотека для визуализации данных
Туториал на русском языке по работе с Jupyter

Для специалистов начального уровня.