Big data world
2.35K subscribers
412 photos
64 videos
18 files
1.25K links
Интересные статьи Data Science : Big Data : Machine Learning : Deep Learning

По вопросам сотрудничества- @Daily_admin_info

По иным темам @un_ixtime
Download Telegram
23 распространенных вопроса на собеседовании по науке о данных для начинающих Во время интервью интервьюер может задавать вопросы по различным темам науки о данных, таким как статистика, программирование, анализ данных, предварительная обработка данных и моделирование. Ваши навыки будут проверены, и вам нужно подготовиться, если вы хотите сделать карьеру в области науки о данных. https://clck.ru/WWpwq
🖥Нежное введение в частные производные и векторы градиента Частные производные и векторы градиента очень часто используются в алгоритмах машинного обучения для поиска минимума или максимума функции. https://clck.ru/WYnHV 🖥 Использование графических процессоров для обработки и анализа данных. Как графические процессоры ускоряют науку о данных и аналитику данных https://clck.ru/WYfqG
🖥Визуальное понимание модели глубокого обучения. JittorVis - это библиотека с открытым исходным кодом для понимания внутренней работы моделей
https://clck.ru/WYfqz
🖥10 ошибок при обучении модели машинного обучения. В этой статье я расскажу о десяти смертных грехах во время обучения модели машинного обучения - это самые распространенные, а также их легче всего упустить из виду.
https://clck.ru/WXsZH
🖥 Как наука о данных и машинное обучение работают для противодействия кибератакам Все мы знаем об ужасной кибератаке, в результате которой всего за несколько дней в мае 2017 года было уничтожено более 200 000 систем в 150 странах. Оно было обнаружено Агентством национальной безопасности (АНБ) и получило прозвище «WannaCry», использовавшее уязвимость и кража важных ресурсов перед распространением в сети.

После успешного доступа к компьютеру он зашифровал содержимое машины и сделал его нечитаемым. Затем жертвы нападения были проинформированы, что им необходимо приобрести специальное программное обеспечение для дешифрования, чтобы вернуть украденные материалы. Кроме того, злоумышленники продавали это программное обеспечение. https://clck.ru/WavLk 🖥 10 лучших статей по большим данным за июнь '21, которые стоит прочитать сейчас Просмотрите 10 самых популярных статей из области Big Data, посвященными Kafka, полезным запросам в Elasticsearch, объединениям PySpark, командам оболочки Hadoop и многому другому! https://clck.ru/Wamb8
🖥Ответы на 30 наиболее часто задаваемых вопросов по машинному обучению.
В машинном обучении всегда есть чему поучиться. Независимо от того, являетесь ли вы новичком в этой области или опытным специалистом и готовы к переподготовке, понимание этих ключевых концепций поможет вам отточить свои навыки в правильном направлении. https://clck.ru/WchVY
🖥10 ключевых алгоритмов глубокого обучения, за которыми нужно следить в 2021 году Алгоритмы глубокого обучения обучают машины выполнять сложные вычисления с огромным объемом данных. Вот список 10 лучших алгоритмов глубокого обучения на 2021 год. https://clck.ru/WdfPw 🖥Как стать внештатным специалистом по данным - 4 практических совета Если вы хотите начать работать в качестве независимого (удаленного) внештатного специалиста по данным, то эти четыре практических совета помогут вам перейти от традиционной работы с 9 до 5 к динамичной работе в качестве удаленного подрядчика. , как и автор три года назад. https://clck.ru/WdfTs
Нежное введение в матрицы Гессе Матрицы Гессе принадлежат к классу математических структур, которые включают производные второго порядка. Они часто используются в алгоритмах машинного обучения и анализа данных для оптимизации интересующей функции. https://clck.ru/Wdo8C
🖥Введение в матрицы и матричную арифметику для машинного обучения Матрицы являются основополагающим элементом линейной алгебры.

Матрицы используются во всей области машинного обучения при описании алгоритмов и процессов, таких как переменная входных данных (X) при обучении алгоритма.

В этом руководстве вы откроете для себя матрицы в линейной алгебре и научитесь управлять ими в Python. https://clck.ru/Wh8cX 🖥Распознавание жестов рук на основе глубокого обучения с использованием LSTM и MediaPipie Python 3
TensorFlow 2.4
sklearn
numpy
OpenCV
MediaPipe https://clck.ru/Wh8d4 🖥Обнаружение спама в электронной почте - сравнительный анализ 4 моделей машинного обучения В этой статье сравниваются четыре различных алгоритма глубокого обучения и машинного обучения для создания детектора спама и оценки их производительности. Набор данных, который мы использовали, был взят из перемешанной выборки тем и тел писем, содержащих как спам, так и любительские письма в различных пропорциях, которые мы преобразовали в леммы. Обнаружение спама в электронной почте - один из самых эффективных проектов глубокого обучения, но часто это также тот проект, в котором люди теряют уверенность в поиске простейшей модели для обеспечения точности. В этой статье мы собираемся обнаруживать спам в почте, используя четыре различных метода, и сравнивать их, чтобы получить наиболее точную модель. https://clck.ru/Wh8dn
🖥Пикарет: более быстрый способ создания моделей машинного обучения Построение модели машинного обучения требует ряда шагов, от подготовки данных, очистки данных, проектирования функций, построения модели до развертывания модели. Таким образом, специалисту по анализу данных может потребоваться много времени, чтобы создать решение, которое решит бизнес-проблему.

Чтобы ускорить процесс, вы можете использовать Pycaret, библиотеку с открытым исходным кодом. Pycaret может помочь вам быстрее выполнять все сквозные процессы машинного обучения с помощью нескольких строк кода. https://clck.ru/WiYfF
🖥Моделирование 101: как это работает и почему это важно Модель - это особый тип алгоритма. В программном обеспечении алгоритм - это жестко запрограммированный набор инструкций для вычисления детерминированного ответа. Модели - это алгоритмы, инструкции которых создаются из набора данных и затем используются для прогнозирования, рекомендаций или предписания действий на основе вероятностной оценки. Модель использует алгоритмы для выявления закономерностей в данных, которые образуют связь с выходными данными. Модели могут предсказывать вещи до того, как они произойдут, более точно, чем люди, например, катастрофические погодные явления или риск неминуемой смерти в больнице. https://clck.ru/WkgXF 🖥Руководство для начинающих по статистике машинного обучения! Важность статистики в науке о данных и аналитике данных нельзя недооценивать. Статистика предоставляет инструменты и методы для поиска структуры и более глубокого анализа данных. Хорошее знание статистики позволит вам мыслить критически и проявлять творческий подход при использовании информации для решения бизнес-проблем и принятия решений на основе данных. https://clck.ru/WkfkM 🖥Предварительная обработка данных в интеллектуальном анализе данных - практическое руководство. Предварительная обработка данных - это процесс преобразования необработанных данных в понятный формат. Это также важный шаг в интеллектуальном анализе данных, поскольку мы не можем работать с необработанными данными. Перед применением алгоритмов машинного обучения или интеллектуального анализа данных необходимо проверить качество данных.
https://clck.ru/Wkfdi 🖥Ваш первый проект глубокого обучения на Python с пошаговыми инструкциями Keras Keras - это мощная и простая в использовании бесплатная библиотека Python с открытым исходным кодом для разработки и оценки моделей глубокого обучения .
Он включает в себя библиотеки эффективных численных вычислений Theano и TensorFlow и позволяет определять и обучать модели нейронных сетей всего в нескольких строках кода.
В этом руководстве вы узнаете, как создать свою первую модель нейронной сети с глубоким обучением на Python с помощью Keras. https://clck.ru/WkgAc 🖥Кодекс OpenAI Мы создали улучшенную версию OpenAI Codex, нашей системы искусственного интеллекта, которая переводит естественный язык в код, и мы выпускаем ее через наш API в частной бета-версии, начиная с сегодняшнего дня. Кодекс - это модель, на которой работает GitHub Copilot , которую мы создали и запустили в партнерстве с GitHub месяц назад. Владея более чем дюжиной языков программирования, Codex теперь может интерпретировать простые команды на естественном языке и выполнять их от имени пользователя, что позволяет создавать интерфейс на естественном языке для существующих приложений. https://clck.ru/WkgN4
На Архипелаге 2121 прошла ежегодная встреча «Точек кипения». Участники трека поделились наработанными практиками взаимодействия с региональными сообществами, технологическими командами и опытом перехода в онлайн-среду. В результате была сформирована стратегия развития сети на ближайшие несколько лет.

В рамках трека прошли:
образовательная лаборатория «Точек кипения»,
погружение в повестку НТИ и встречи с представителями рынков и Центров компетенций,
мастер-классы акселератов-партнеров по поддержке и развитию технологических команд,
обучение основным принципам data-аналитики и управлению на основе данных.

🧑‍🎓 Участниками трека стали команды городских и университетских «Точек кипения».

Неформальная программа включила практики ресурсных состояний, деловые игры, нетворкинг и консультации с экспертами экосистемы НТИ, антиконференцию, демо-день для партнеров, а также презентацию нового формата резидентуры НТИ в сети «Точек кипения».

📲 Подробнее об Архипелаге 2121 читайте на нашем канале.

🎓Лекция открытие Архипелага.

#а2121 #Архипелаг2121 #Edu2035 #Стартап2121
🖥Нежное введение в метод множителей Лагранжа Метод множителей Лагранжа - это простой и элегантный метод нахождения локальных минимумов или локальных максимумов функции, на которую распространяются ограничения равенства или неравенства. Множители Лагранжа также называют неопределенными множителями. В этом руководстве мы поговорим об этом методе, когда заданы ограничения равенства. https://clck.ru/WnsgM 🖥Развитие Big Data и ценность для мира По прогнозам, к 2027 году сфера развития больших данных будет расти. Мы обсуждаем, как работает разработка Big Data и какие реальные преимущества она приносит. https://clck.ru/WnYPs 🖥Практическое руководство по созданию вашей первой модели сверточной нейронной сети В этой статье мы кратко обсудим CNN, специальный вариант нейронных сетей, разработанный специально для задач, связанных с изображениями. В статье основное внимание будет уделено реализации части CNN. Было приложено максимум усилий, чтобы сделать эту статью интерактивной и простой. Надеюсь, вам понравится. Удачного обучения! https://clck.ru/WnsjW
Отношения человечества с природой, климатический вызов и разрушение биологического разнообразия – одни из главных вызовов, с которыми человечество сталкивается сегодня. Это необходимо учитывать предпринимателям. Представляем вам несколько проектов участников Архипелага 2121 на стадии масштабирования, связанных с экологией.

🌱 Green point

Пункты экопереработки полного цикла: от точек сбора и первичной сортировки до пунктов рециклинга. Проект позволит любой компании или муниципалитету внедрить собственную сеть переработки отходов пластика, приобрести статус IMPACT и преимущества стандартов ESG.

🌳 NextGIS Лес

Веб-приложение для ведения базы и подготовки отчетной документации по лесосекам (участкам леса, отведенным для рубок спелых и перестойных насаждений, лесовосстановительных рубок, рубок ухода за лесом и санитарных). Сервис предлагает собранные в одном месте карты и таблицы, многопользовательский режим, понятный интерфейс и автоматизированную отчетность. Проект помогает создавать, редактировать и учитывать лесосеки, объекты инфраструктуры и неэксплуатационные площади и многое другое.

🎋 Внедрение инновационной технологии по повторному применению синтетического каучука (Рециклизат)

Организация инновационного производства по повторному применению каучуко-содержащих продуктов путем переработки отходов РТИ для получения повторных каучуковых смесей (резиновых смесей). Проект отвечает требованиям по предотвращению изменения климата (снижение углеродных выбросов), сохранению природных ресурсов, снижению уровня загрязнения.

📲 Другие проекты участников Архипелага 2121.

📲 Смотрите трансляции с Архипелага 2121.
🖥Экскурсия по методам подготовки данных для машинного обучения Проекты машинного обучения прогнозного моделирования, такие как классификация и регрессия, всегда включают в себя некоторую форму подготовки данных.

Конкретная подготовка данных, необходимая для набора данных, зависит от специфики данных, таких как типы переменных, а также от алгоритмов, которые будут использоваться для их моделирования, что может налагать ожидания или требования к данным. https://clck.ru/WpEW4 🖥Платформа обучающих данных для machine learning в одном приложении https://clck.ru/Wp5nT
🖥Создайте свою первую искусственную нейронную сеть с помощью Pytorch Мы все хотим погрузиться в глубокое обучение и изучить различные задачи, которые мы можем выполнить, например, создание робота или перевод с испанского на английский, чтобы насладиться любимым сериалом Netflix. Чтобы углубиться, мы должны начать с основ. Базовый строительный блок нейронной сети поможет нам понять, как мы обрабатываем данные, как это происходит в нашем мозгу. В этой статье мы расскажем о нейронных сетях с нуля и о том, как их построить с помощью Pytorch. https://clck.ru/WrpQi
🖥4 типа классификационных задач в машинном обучении Машинное обучение - это область изучения, и она связана с алгоритмами, которые учатся на примерах.

Классификация - это задача, которая требует использования алгоритмов машинного обучения, которые учатся назначать метку класса примерам из предметной области. Легкий для понимания пример - это классификация электронных писем как « спам » или « не спам ».

Существует множество различных типов задач классификации, с которыми вы можете столкнуться в машинном обучении, и специальные подходы к моделированию, которые можно использовать для каждой из них. https://clck.ru/WtFvj 🖥Модель машинного обучения, которая прогнозирует наличие диабета у пациентов. https://clck.ru/WtG9X
🖥Руководство Data Scientist по эффективному кодированию на Python Прочтите этот фантастический сборник советов и приемов, которые автор использует для ежедневного написания чистого кода. https://clck.ru/WuuYA 🖥Разработка модели классификации изображений с использованием CNN Одна из моих последних статей была посвящена сверточной сети, ее работе и компонентам . Мы также видели простую реализацию CNN на Python. В этой статье мы проведем классификацию изображений с помощью сверточной нейронной сети и подробно узнаем обо всех шагах. Так что, если вы новичок в этом, продолжайте читать. https://clck.ru/WuTby 🖥Схема обучения «Науке о данных с R» - Часть I За последние два с половиной года я написал более ста сообщений для своего блога «Learning Machines» на темы науки о данных, то есть статистики, искусственного интеллекта, машинного обучения и глубокого обучения.

Я использую многие из них на занятиях в университете, и в этом посте я дам вам первую часть пути изучения знаний, которые были накоплены в этом блоге за эти годы, чтобы стать всесторонним специалистом по данным, так что читайте дальше! https://clck.ru/WuTec
🖥Прогнозирование оттока с помощью PySpark Задача
Ожидается, что будет разработана модель машинного обучения, которая сможет предсказать уход клиентов из компании. https://clck.ru/WuutW 🖥Использование контейнера для приложения машинного обучения В прошлой статье мы обсудили среду развертывания и производственную среду , которая состоит из двух основных программ, самого приложения и модели, взаимодействующей друг с другом с помощью интерфейса, который мы называем конечной точкой. Сегодня мы узнаем о контейнерах и о том, как приложения машинного обучения могут извлечь из них пользу. Мы вкратце узнаем о модели, приложении, а затем погрузимся в контейнеры, в частности, в Docker, и изучим его структуру и преимущества. https://clck.ru/Wuuw7 🖥Обзор алгоритмов машинного обучения В этом посте мы познакомимся с наиболее популярными алгоритмами машинного обучения .

Полезно изучить основные алгоритмы в этой области, чтобы понять, какие методы доступны.

Существует так много алгоритмов, что может показаться подавляющим, когда имена алгоритмов всплывают, и вы должны просто знать, что они из себя представляют и где они подходят.

Я хочу дать вам два способа обдумать и классифицировать алгоритмы, с которыми вы можете столкнуться в этой области. https://clck.ru/WuvCV
Программирование, математика и статистика, которые необходимо знать для науки о данных и машинного обучения В начале этого года я опубликовал интеллектуальную карту по плану обучения Data Science. Многие люди сочли дорожную карту полезной, мою статью перевели на разные языки, и большое количество людей поблагодарили меня за ее публикацию.

Все было хорошо, пока несколько разработчиков не указали, что ресурсов слишком много и многие из них дороги. Итак, в этой статье я расскажу о некоторых из первых шагов, которые вам следует предпринять, чтобы изучить Data Science или машинное обучение. https://clck.ru/WwrsQ
🖥Введение в вероятности и статистику

Этот интерактивный веб-сайт познакомит вас с концепциями машинного обучения . Университет Брауна. Бесплатно. https://clck.ru/Wyia5 👍🔥
🖥Машинное обучение, объяснение Эта широко распространенная и мощная форма искусственного интеллекта меняет каждую отрасль. Вот что вам нужно знать о возможностях и ограничениях машинного обучения и о том, как его использовать. https://clck.ru/WuvWf 🖥Наборы данных с открытым исходным кодом для компьютерного зрения Доступ к высококачественным, бесшумным, крупномасштабным наборам данных имеет решающее значение для обучения сложных глубоких моделей нейронных сетей для приложений компьютерного зрения. Многие наборы данных с открытым исходным кодом разработаны для использования при классификации изображений, оценке позы, автономном вождении и сегментации объектов. Эти наборы данных должны сочетаться с соответствующим оборудованием и стратегиями тестирования для оптимизации производительности. https://clck.ru/WvCu9