Типичный программист
81.4K subscribers
2.66K photos
891 videos
8 files
7.44K links
Всё самое интересное по программированию

Разместить рекламу: @tproger_sales_bot

Правила общения: https://tprg.ru/rules

Другие каналы: @tproger_channels

Сайт: https://tprg.ru/site

VK: vk.com/tproger

Регистрация в перечне РКН: https://tprg.ru/mJwo
Download Telegram
7 советов для новичков в Data Science

Большая часть курсов и учебников по Data Science описывает базовые алгоритмы и навыки. Но когда дело доходит до настоящих проектов, оказывается, что эти знания далеки от реальности.

Как получить максимум практического опыта и подготовиться к работе Data Scientist’ом? Вот несколько рекомендаций:

https://tprg.ru/Dspm

#datascience
5 неожиданных мест работы дата-сайентиста: от йоги до борьбы с deepfakes

На первый взгляд, дата-сайентисты востребованны в основном в финансовом секторе и IT-компаниях. Однако хорошие дата-сайентисты давно нужны и не только в этих отраслях.

В этой статье читатель Tproger рассказал о 5 неожиданных местах работы дата-сайентистов: https://tprg.ru/TWrn

#datascience
Для анализа данных и машинного обучения требуется много данных. Но где их взять? Рассказываем

Конечно же, можно было бы собрать их самостоятельно. Но это долго, дорого, а иногда и вообще невозможно. А тем временем, есть огромное количество открытых датасетов по самым разным категориям, о которых вы могли не знать. Некоторыми из них открыто делятся госструктуры, банки, международные организации и крупные компании. Более того, для их поиска уже давно разработали удобные инструменты.

В статье рассказываем о лучших местах для поиска качественных датасетов: tproger.ru/translations/the-best-datasets-for-machine-learning-and-data-science/

#datascience #ml
Зачем аналитикам данных знать SQL?

SQL — мощный инструмент для анализа и преобразования данных, который позволяет разработчикам обращаться к различным базам данных. И чтобы аналитику не приходилось просить помощи у кого-то ещё, полезно знать и уметь применять SQL.

О том, как это делать правильно, рассказываем в статье:

https://tprg.ru/LzRB

#sql #datascience
This media is not supported in your browser
VIEW IN TELEGRAM
Кстати о Wordle, тут один дата-сайентист рассчитал самое оптимальное слово для начала игры

Наконец-то действительно достойное применение Data Science!

Уже ни для кого не секрет, что первое слово, которое напишет игрок, может иметь решающее значение для всей игры. И один из самых больших вопросов с момента запуска игры — с какого слова лучше начинать.

И у этого выбора есть вполне логичное математическое объяснение. Разработчик с ником crvlwanek доказал это, написав скрипт, который проанализировал словарь игры и оценил частоту и порядок появления букв в словах. Так, лучшим словом для старта оказалось слово «later». В топ-10 также вошли «alter», «alert», «arose», «stare», «arise», «raise», «learn» «renal» и «irate».

Кому интересно, свою реализацию кода crvlwanek выложил на гитхаб: https://github.com/crvlwanek/wordle

#datascience #кек
​​Поиск наборов данных с Google Data Search

На платформе доступно более 25 миллионов датасетов. Их количество и разнообразие постоянно растет за счет хранилищ, использующих schema.org. Найти нужные данные максимально просто с помощью ключевых слов. Пригодится студентам, исследователям и дата-сайентистам для обучения моделей.

https://datasetsearch.research.google.com/

#datascience #google
Веб-парсер на Python всего за 5 минут

Интернет — огромный источник ценной информации для дата-сайентиста. Конечно, если уметь её правильно добывать. И этот небольшой гайд в этом вам поможет. В нём подробно рассмотрели создание парсера сайтов с использованием BeautifulSoup и Pandas:

https://www.kdnuggets.com/2022/02/build-web-scraper-python-5-minutes.html

#python #веб #datascience
Сегодня новости о прорывах ИИ, нейросетей и машинного обучения появляются чуть ли не каждый день. И их стало уже столько много, что сложно выцепить главное. Чтобы вам было легче сориентировться, собрали топ-5 самых важных новостей из мира Data Science с комментариями эксперта: https://tproger.ru/articles/top-5-novostej-iz-mira-data-science-dajdzhest-mts/

Картинку, кстати, сгенерировала нейросеть ruDALL-E Malevich по запросу «Иллюстрация для поста Типичный программист» — писали о ней раньше.

#datascience #нейросети #ml #эксперты
Что почитать на выходных: «Data Science. Наука о данных с нуля», 2-е издание

Эта книга с очень увлекательной подачей позволяет познакомиться Data Science сразу на практике. Она содержит краткий курс языка Python и основ машинного обучения с элементами линейной алгебры, статистики, теории вероятностей, методов обработки данных и множеством других важных тем.

#datascience #python #sql #книги
Машинный перевод с двухсот языков, генерация бесконечных изображений от Microsoft и рефлексия нейросети о самой себе.

Подробнее о ярких новостях из мира Data Science можно прочитать в дайджесте от МТС Диджитал:
https://tprg.ru/kwAT

#datascience
Делимся крутой шпаргалкой по DataFrame

DataFrame — ключевая структура данных Python-библиотеки pandas. В шпаргалке есть всё про основные операции с DataFrame. Акцент сделан на Data Wrangling — этапе работы с данными, когда данные преобразовываются из «сырого» формата в пригодный для аналитики. Если вы инженер данных, аналитик или датасаентист — эта шпаргалка точно для вас.

А если нужно погрузиться в тему глубже, здесь вы найдёте версии в PDF и с дополнениями по Pandas, Numpy, SciPy и т.д.: https://www.utc.fr/~jlaforet/Suppl/python-cheatsheets.pdf

#python #datascience
Чего компании ждут от специалистов по Data Science в 2023 году

IT-рынок очень подвижен, а требования к джунам меняются регулярно. В статье проанализировали несколько десятков актуальных вакансий по Data Science, а также реальный опыт прохождения собеседований в последние месяцы. И на их примере показали, как к 2023 году изменились ожидания от начинающих дата-сайентистов:

https://tprg.ru/DYlX

#datascience
В чём разница между дата-аналитиком и ML-инженером?

Разбираем обязанности вместе с реальными специалистами: https://tprg.ru/KmMS

#datascience #ml
5 признаков, что вам пора в Data Science

Очевидные (и не очень) признаки, которые подскажут, нужно ли вам двигаться в науку о данных и какое направление Data Science выбрать: https://tprg.ru/7lZu

#datascience
Обновлённый роадмап по Data Science 2023

Если вы только подступились к Data Science, роадмап – хорошее средство сэкономить время. Так что представляю карту навыков Data Science глазами практикующего специалиста. На диаграмме Исикавы вы найдёте самые распространённые понятия и инструменты.

А подробнее — в статье: https://tproger.ru/articles/roadmap-data-science-2023/

#datascience
Обновили пошаговый план для тех, кто хочет вдумчиво подойти к изучению Data Science

Здесь главное быть готовым, что Data Science — раздел информатики на стыке статистики и программирования, поэтому знать надо много.

А чтобы было проще, структурировали информацию от выбора языка и библиотек до практики в машинном обучении: https://tproger.ru/curriculum/data-science-expert-plan

#datascience
​​Как войти в сотню лучших на Kaggle и стать востребованным дата-сайентистом

Это не так-то просто: нужно не только иметь мощный бэкграунд в математике и программировании, но и неугасаемый азарт, дающий мотивацию программировать 24/7.

Автор статьи — человек, занявший 68-е место в мировом рейтинге Kaggle, и в этом материале он делится своим опытом участия в соревнованиях, а также рассказывает, какие возможности открылись ему после.

#datascience #советы