Сравнение и пояснение методов градиентного спуска от fast.ai:
- Видео - https://youtu.be/V2h3IOBDvrA?t=688
- Файл в экселе с пояснениями - https://goo.gl/XdlGbN
- Статья в блоге с подобными и более подробными пояснениями - https://goo.gl/twWZyv

#data_science

Spark-in.me - рассылка 1
https://tinyletter.com/snakers41/letters/spark-in-me-1

Дайджест за неделю.

Instacart, онлайн сервис заказа и доставки еды на дом опубликовал датасет из 3 миллионов заказов за 2017 год . Подробнее в блоге Jeremy Stanley [1]

В наборе данных информация о времени заказа, его идентификатор и купленный продукт плюс дополнительная информация. Структуру данных можно посмотреть тут [2], а сами данные выгрузить тут [3].

В очередной раз привожу это как пример того что открытые данные публикует не только государство. Для исследовательских целей их предоставляют многие крупные интернет компании заинтересованные в том чтобы наиболее талантливые разработчики использовали их данные.

Ссылки:
[1] https://tech.instacart.com/3-million-instacart-orders-open-sourced-d40d29ead6f2
[2] https://gist.github.com/jeremystan/c3b39d947d9b88b3ccff3147dbcf6c6b
[3] https://tech.instacart.com/3-million-instacart-orders-open-sourced-d40d29ead6f2

#opendata #instacart

Свежие данные по Facebook из отчета за Q1 2017:

— DAUs (активных пользователей в день), март: 1,28 млрд (+18% за год)
— MAUs (активных пользователей в месяц), март: 1,94 млрд (+17% за год)
— Рост прибыли по сравнению с Q1 2016: 66%
— Доля мобильной рекламы в выручке — 85%

Отчет здесь: https://investor.fb.com/investor-news/press-release-details/2017/Facebook-Reports-First-Quarter-2017-Results/default.aspx

P.S. WhatsApp — 1,2 млрд. MAUs, Messenger — 1,2 млрд. Такие дела.

Статья ушла на хабр
https://habrahabr.ru/post/328138/

Вдруг кому пригодится:
Cheatsheet Matplotlib: https://drive.google.com/open?id=0ByIrJAE4KMTtT1FqTzdOekg2RUU

Cheatsheet Pandas: https://drive.google.com/open?id=0ByIrJAE4KMTtWXd4ZXh6aFIwZlE

Cheatsheet Python: https://drive.google.com/open?id=0ByIrJAE4KMTtWGZmQXBPai1NQWM

Отличные материалы, чтобы быстро ознакомиться с популярным функционалом.

отлично, я убила все терминалы в курятник, процесс работает все равно, ура!

это уже из бекграунда пришло

Тут простыми словами поясняется почему нейросети тяжело тренировать, если использовать 'обычные' методы градиентного спуска (без модификаций для ускорения их тренировки)
- https://neuralnetworksanddeeplearning.com/chap5.html

А тут и тут пояснения почему другие методы работают быстрее
-- xls - https://goo.gl/XdlGbN
-- Видео - https://youtu.be/V2h3IOBDvrA?t=688

Подписчик нашел в интернете cheat-sheet'ы по основным библиотекам для работы с данными. Первый из них - про pandas.
- https://goo.gl/tgnXST

Как правило у таких библиотек не очень подробная документация с малым количеством примеров + очень много неструктурированных вопросов на stack overflow. Если для вас это новый инструмент - то это сразу боль.

Забавно увидеть знакомые ответы на такие тематики, которые приходилось "выковыривать" из документации / ответов / курсов:
- Базовое описание модели данных
- Загрузка, выгрузка, преобразования из листов и словарей
- Описательные методы сгруппированные в одном месте
- Бинарные маски, выборки данных, работа с колонками и описательными метриками для колонок
- Сводные таблицы и аналоги join-ов, union
- Работа с датами (каждый инструмент имеет свой геморрой, что немало бесит)
- Работа со строками (не сразу можно догадаться, что надо использовать .str плюс apply)

В общем, если вы хотите сделать что-то очень тупое, но не знаете как, то сначала заходите в pdf, потом в документацию, потом на Stack Overflow =)

#data_science

Добавил на сайт RSS
- прямая ссылка - https://spark-in.me/main.rss
- как найти на самом сайте https://prntscr.com/f5x40t

Внезапно нашел еще пару более менее живых рассылок про новости в релевантных сферах
- Nathan Benaich https://goo.gl/QQrclX
- Data Science Digest https://goo.gl/xqo5O0

Естественно они умирают и не weekly, но подписаться ничего не стоит.

#data_science

Интересное в мире интернета / технологий:
- Benedict Evans - https://goo.gl/wwBByq
-- Многобукв про проблемы монетизации Ютуба - https://goo.gl/G6NbjF - которые сводятся к тому, что
--- Эффективный CPM был несколько долларов, стал ближе к доллару
--- Со стороны политика Ютуба выглядит очень странно
-- Как взламывают аналоги 3D-secure в Германии -https://goo.gl/U4ikzf
-- Больной безумный мир - 46% пользователей Snapchat не используют Facebook - https://goo.gl/eYpLsY - по мне оба этих приложения отвратительны
-- Баян - недавняя эпидемия трояна в гугл-документах - https://goo.gl/DiyjyY
-- Фейсбук хочет покупать спродюсированный уникальные контент для своей соцсети - https://goo.gl/WZjAjP - вот откуда у ВК такие же идеи, вероятно
-- Телек из 1984 за 300 баксов от Амазона - https://goo.gl/poVTSi
-- 50% Непала использует мобильный интернет - https://goo.gl/nbtAMV
-- Более 50% населения США не использует обычные телефоны - https://goo.gl/f2Chp3 - процесс занял 34 года
- Очередные спекуляции про дорогие электровелосипеды - https://goo.gl/KdpFSw

<======================>

Интересное в мире DS / ML:
- Гугл применяет распознавание знаков в гугл-картах (https://goo.gl/8xw4Ra) и естественно размечают такое люди через reCaptcha - еще одно занятие для "после кур"
- Открыт датасет из 25,000 HD картинок размеченных до уровня полигона с пикселями (!!!) - https://goo.gl/8frZRX - после кур надо коптиться сюда
- Instacart открыл свою базу из 3м строк для исследователей - https://goo.gl/JFv6od
- Для крупных компаний (и платных подписчиков) Slack запилил фичу, которая подсказывает эксперта внутри компании по заданной теме - https://goo.gl/w7Qx4h - все, чтобы не строить нормальные процессы с ответственностью)
- Кто-то выложил датасет из лиц из Tinder на Kaggle - https://goo.gl/Yj6J06 - но все удалили. "Политкорректность"
- Видео про бакалаврскую диссертацию человека, который сделал RL систему из машинки, которая учится избегать движущиеся препятствия - https://goo.gl/ADISyQ

#internet
#statistics
#data_science

Внесены новые ссылки и рассылки в файл
- https://goo.gl/5VGU5A

#data_science

Сделать ли также цикл статей, про то как писался сайт и бекенд spark-in.me?'

1 Да – 45
👍👍👍👍👍👍👍 92%

2 Нет – 4
👍 8%

3 Свое (в личку)
▫️ 0%

👥 49 people voted so far.

Выложить ли ссылку на канал в телеграме, где выкладываются все фото кур (пока без распознавания) по детекции движения?

3 Я курица, мне кажется это вторжение в мое личное пространство – 33
👍👍👍👍👍👍👍 46%

1 Да, несмотря на то, что там явно будет спам - можно поставить на mute – 25
👍👍👍👍👍 35%

2 Нет, слишком много шума – 14
👍👍👍 19%

4 Свое (в личку)
▫️ 0%

👥 72 people voted so far.

Постгрес умеет в регрессии, стандартные отклонения и подобное
- https://www.postgresql.org/docs/9.1/static/functions-aggregate.html

Одна из самых интересных новостей последнего времени: парламент Великобритании принял закон, который обязывает правительство обеспечить всем жителям подключение к интернету со скоростью не менее 10 мегабит в секунду.

Фактически, Великобритания признала доступ в интернет неотъемлемым правом.

Кому интересно почитать, вот ссылка на дайджест закона на официальном сайте: https://www.gov.uk/government/news/digital-economy-bill-receives-royal-assent

Кратко у нас: https://apparat.cc/news/uk-broadband-low/