Excel: https://excel-practice-online.com
SQL: https://sqlbolt.com
Tableau: https://tableau.com/learn/starter-kits
Power BI: https://powerbi.microsoft.com/en-us/learning/
Python: https://freecodecamp.org/news/learn-data-analysis-with-python-course/
AI и ML: https://freecodecamp.org/news/machine-learning-with-python-and-scikit-learn/
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍16❤4🔥2
This media is not supported in your browser
VIEW IN TELEGRAM
Что такое MLX?
MLX - это фреймворк, выпущенный компанией Apple для эффективного обучения и вывода ML-моделей. MLX имеет Python API, который очень похож на NumPy.
Фреймворк нем поддерживает Mixtral MoE, Llama, Whisper, Stable Diffusion и многое другое!
В видео запускаем его локально на M2 MBP Pro (24 ГБ).
Краткое руководство:
1. Создайте виртуальную среду
2. активируйте виртуальную среду
3. клонируйте репозиторий mlx-examples
git clone https://github.com/ml-explore/mlx-examples/
4. установите все
5. Используйте whisper в бэкенде mlx ✨
@bigdatai
MLX - это фреймворк, выпущенный компанией Apple для эффективного обучения и вывода ML-моделей. MLX имеет Python API, который очень похож на NumPy.
pip install mlx
- это все, что вам нужно! ✨Фреймворк нем поддерживает Mixtral MoE, Llama, Whisper, Stable Diffusion и многое другое!
В видео запускаем его локально на M2 MBP Pro (24 ГБ).
Краткое руководство:
1. Создайте виртуальную среду
python -m venv mlx_experiments
2. активируйте виртуальную среду
source mlx_experiments/bin/activate
3. клонируйте репозиторий mlx-examples
git clone https://github.com/ml-explore/mlx-examples/
4. установите все
requirements
pip install -r mlx-examples/whisper/requirements.txt
5. Используйте whisper в бэкенде mlx ✨
import whisper
whisper.transcribe(<file_name>, model="large-v2")
Код: Github@bigdatai
👍7❤2🔥2
⚡️ Production Machine Learning
Этот репозиторий содержит список замечательных библиотек с открытым исходным кодом, которые помогут вам развертывать, отслеживать, версионировать, масштабировать и защищать производственное машинное обучение.
🔗 https://github.com/EthicalML/awesome-production-machine-learning
@bigdatai
Этот репозиторий содержит список замечательных библиотек с открытым исходным кодом, которые помогут вам развертывать, отслеживать, версионировать, масштабировать и защищать производственное машинное обучение.
🔗 https://github.com/EthicalML/awesome-production-machine-learning
@bigdatai
👍7❤2🔥2
В этом репозитории вы найдете ценные ресурсы, которые помогут вам начать работу в области
Аналитика данных, наука о данных, инженерия данных, машинное обучение и компьютерные науки.
https://github.com/meri-nova/breaking-into-data-handbook
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
GitHub
GitHub - break-into-data/break-into-data-handbook: Breaking Into Data Handbook
Breaking Into Data Handbook. Contribute to break-into-data/break-into-data-handbook development by creating an account on GitHub.
👍3🔥2❤1
🤗 Diffusers benchmarks - очень простой способ отслеживать производительность самых популярных и важных пайплайнов.
https://huggingface.co/datasets/diffusers/benchmarks
@bigdatai
https://huggingface.co/datasets/diffusers/benchmarks
@bigdatai
❤3👍2🔥1
🔥 Дайджест полезных материалов из мира Больших данных за неделю
Почитать:
— Разметка данных: неочевидные затраты на голосовые технологии
— Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц
— Наиболее часто используемые команды Linux
— 79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:
— Бесплатные сертификационные курсы для специалистов по данным
— RFM-сегментация в оптимизации CRM-стратегий
— MDM и CDP: различия систем. Как сделать выбор
— Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных
— Как мы наводим порядок с данными в столичном транспортном институте
— Survey: Retrieving Supporting Evidence for Generative Question Answering
— Introduction to NannyML: Model Evaluation without labels
— Revolutionizing Data Integration: The Role of AI and ML
— How to Use Pandas for Data Analysis
— Open Source Advent
— Bulk Text Analytics with Azure AI Language
— Top 10 Benefits of Artificial Intelligence (AI)
— Deciphering the EU's AI Act - A Technical Perspective
— Harness the power of multiple LLMs 🤝
— Google Gemini and Face Recognition
Посмотреть:
🌐 Mixtral 8x7B - это сет из 8 нейронок, которые работают вместе
🌐 How to use Llama2 locally (⏱ 09:00)
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно. (⏱ 07:40)
🌐 Shutil: лучший инструмент для управления файлами Python. (⏱ 17:05)
🌐 Как использовать API ChatGpt. Работа с Api c нуля (⏱ 12:42)
🌐 💡Задача Python: Максимальное среднее подмассива (⏱ 01:00)
🌐 Нахождение позиций в отсортированном массиве #python #array #shorts #сортировка (⏱ 00:40)
🌐 Lightning Interview "Catastrophic AI Risks" (⏱ 01:04:57)
🌐 Finetuning, Serving, and Evaluating LLMs in the Wild - Hao Zhang, PhD (⏱ 29:20)
🌐 New AI: 6,000,000,000 Steps In 24 Hours! (⏱ 08:28)
🌐 NVIDIA’s New AI: Virtual Worlds From Nothing! + Gemini Update! (⏱ 09:40)
Хорошего дня!
@bigdatai
Почитать:
— Разметка данных: неочевидные затраты на голосовые технологии
— Используем MLOps-конвейер: пример работы с Cloud ML Platform для построения сервиса распознавания лиц
— Наиболее часто используемые команды Linux
— 79 Ресурсов, которые следует прочитать, чтобы улучшить свои навыки в области проектирования систем:
— Бесплатные сертификационные курсы для специалистов по данным
— RFM-сегментация в оптимизации CRM-стратегий
— MDM и CDP: различия систем. Как сделать выбор
— Бесконечные проверки – к успешному развитию: как мы обеспечиваем качество данных
— Как мы наводим порядок с данными в столичном транспортном институте
— Survey: Retrieving Supporting Evidence for Generative Question Answering
— Introduction to NannyML: Model Evaluation without labels
— Revolutionizing Data Integration: The Role of AI and ML
— How to Use Pandas for Data Analysis
— Open Source Advent
— Bulk Text Analytics with Azure AI Language
— Top 10 Benefits of Artificial Intelligence (AI)
— Deciphering the EU's AI Act - A Technical Perspective
— Harness the power of multiple LLMs 🤝
— Google Gemini and Face Recognition
Посмотреть:
🌐 Mixtral 8x7B - это сет из 8 нейронок, которые работают вместе
🌐 How to use Llama2 locally (⏱ 09:00)
🌐 Ollama — модель уровня GPT. Используй GPT без ограничений и абсолютно бесплатно. (⏱ 07:40)
🌐 Shutil: лучший инструмент для управления файлами Python. (⏱ 17:05)
🌐 Как использовать API ChatGpt. Работа с Api c нуля (⏱ 12:42)
🌐 💡Задача Python: Максимальное среднее подмассива (⏱ 01:00)
🌐 Нахождение позиций в отсортированном массиве #python #array #shorts #сортировка (⏱ 00:40)
🌐 Lightning Interview "Catastrophic AI Risks" (⏱ 01:04:57)
🌐 Finetuning, Serving, and Evaluating LLMs in the Wild - Hao Zhang, PhD (⏱ 29:20)
🌐 New AI: 6,000,000,000 Steps In 24 Hours! (⏱ 08:28)
🌐 NVIDIA’s New AI: Virtual Worlds From Nothing! + Gemini Update! (⏱ 09:40)
Хорошего дня!
@bigdatai
❤6👍3🔥2
Учёным и преподавателям в области Machine Learning вручили премию Yandex ML Prize
Это пятая премия Яндекса, направленная на развитие области машинного обучения. В этом году лауреатами стали 11 исследователей, среди их научных работ — разработка новых алгоритмов для решения задачи Шрёдингера, генеративные модели для компьютерного зрения и синтеза речи и решение проблемы архитектуры глубоких нейронных сетей. Исследования лауреатов расширяют возможности для прикладного применения ML-технологий.
Это пятая премия Яндекса, направленная на развитие области машинного обучения. В этом году лауреатами стали 11 исследователей, среди их научных работ — разработка новых алгоритмов для решения задачи Шрёдингера, генеративные модели для компьютерного зрения и синтеза речи и решение проблемы архитектуры глубоких нейронных сетей. Исследования лауреатов расширяют возможности для прикладного применения ML-технологий.
Коммерсантъ
Петербуржец стал лауреатом международной премии Yandex ML Prize
Подробнее на сайте
👍6❤2🔥1
https://nodownload.org/image/ib/bTSIyMYgcz
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍4🔥2
Как построить собственный эффективный ИТ-конвейер?
Крупные компании с 2018 года переходят на отечественное программное обеспечение. И если раньше это делали неохотно, потому что не было адекватной замены, то сегодня все иначе. Более того, сейчас реально выстроить сквозной процесс управления производством ПО на всех этапах жизненного цикла DevSecOps и импортозаместить продукты Atlassian, Microfocus, Microsoft Azure, JetBrains, Informatica.
Платформа Сфера — это более 40 различных инструментов для всех этапов жизненного цикла ПО. В Telegram-канале «Сфера IT» рассказывают об удобных инструментах для бизнеса, делятся новостями мира технологий и дают анонсы полезных вебинаров.
Подписывайтесь на «Сфера IT» !
Реклама. Информация о рекламодателе
Крупные компании с 2018 года переходят на отечественное программное обеспечение. И если раньше это делали неохотно, потому что не было адекватной замены, то сегодня все иначе. Более того, сейчас реально выстроить сквозной процесс управления производством ПО на всех этапах жизненного цикла DevSecOps и импортозаместить продукты Atlassian, Microfocus, Microsoft Azure, JetBrains, Informatica.
Платформа Сфера — это более 40 различных инструментов для всех этапов жизненного цикла ПО. В Telegram-канале «Сфера IT» рассказывают об удобных инструментах для бизнеса, делятся новостями мира технологий и дают анонсы полезных вебинаров.
Подписывайтесь на «Сфера IT» !
Реклама. Информация о рекламодателе
👍3
This media is not supported in your browser
VIEW IN TELEGRAM
📝 Путешествие данных. От источника к потребителю.
#BigData #Analytics #BI #DataScience #DataCleaning #DataProfiling #DataStrategy #SQL #MachineLearning #DataScientists #DataLake #DataWarehouse #CDO
@bigdatai
#BigData #Analytics #BI #DataScience #DataCleaning #DataProfiling #DataStrategy #SQL #MachineLearning #DataScientists #DataLake #DataWarehouse #CDO
@bigdatai
👍5🔥4❤2
🔥 Дайджест полезных материалов из мира Больших данных за неделю
Почитать:
— Разметка данных в 2023 году: текущие тренды и требования будущего
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— 10 лучших библиотек Python для графического интерфейса в 2024 году
— fsspec и вообще зачем оно нам нужно
— Заблуждения о семантической сегментации
— Расчетная архитектура платформы для A/B-тестов Mail.Ru
— Фреймворк для дизайна A/B-теста
— Методы балансировки в А/Б тестировании
— Зачем Программисту Микроконтроллеров Математическая Статистика? (или так ли хороши UWB трансиверы?)
— Automate the boring stuff with Julia
— Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке
— АБ тесты и подводные камни при их автоматизации
— A Beginner’s Guide to Neural Networks
— How many stages are there for Amazon’s SQL interview?
— Unleashing Generative AI Capabilities: The Power of Large Language Models Explained
— Removing comments from code-based data source
— Revolutionizing Healthcare: Expanding Ultrasound Access with the Power of AI
— Data Scientist turned Dev Advocate
— AWS Reinvent 2023: Unleashing the Power of ML and Generative AI
— Adaptive Traffic Signal Control System
— Understanding Neuromorphic Chips: Revolutionizing Machine Learning
— Microsoft PHI-2 + Huggine Face + Langchain = Super Tiny Chatbot
Посмотреть:
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 ODSC Webinar | Preparing for your First Enterprise Large Language Model (LLM) Application (⏱ 48:16)
🌐 Adversarial Validation and Training in Stock Market Price Prediction (⏱ 28:09)
🌐 NVIDIA’s New AI Is 20x Faster…But How? (⏱ 08:16)
🌐 Here’s How ChatGPT is Changing The World! (⏱ 08:33)
Хорошего дня!
@bigdatai
Почитать:
— Разметка данных в 2023 году: текущие тренды и требования будущего
— Полный отчет Github за 2023 о состоянии проектов.
— 100 вопросов для подготовки к собесу Python
— 10 лучших библиотек Python для графического интерфейса в 2024 году
— fsspec и вообще зачем оно нам нужно
— Заблуждения о семантической сегментации
— Расчетная архитектура платформы для A/B-тестов Mail.Ru
— Фреймворк для дизайна A/B-теста
— Методы балансировки в А/Б тестировании
— Зачем Программисту Микроконтроллеров Математическая Статистика? (или так ли хороши UWB трансиверы?)
— Automate the boring stuff with Julia
— Как выпустить ML-сервис в прод малыми силами: кейс работы в облаке
— АБ тесты и подводные камни при их автоматизации
— A Beginner’s Guide to Neural Networks
— How many stages are there for Amazon’s SQL interview?
— Unleashing Generative AI Capabilities: The Power of Large Language Models Explained
— Removing comments from code-based data source
— Revolutionizing Healthcare: Expanding Ultrasound Access with the Power of AI
— Data Scientist turned Dev Advocate
— AWS Reinvent 2023: Unleashing the Power of ML and Generative AI
— Adaptive Traffic Signal Control System
— Understanding Neuromorphic Chips: Revolutionizing Machine Learning
— Microsoft PHI-2 + Huggine Face + Langchain = Super Tiny Chatbot
Посмотреть:
🌐 Mixtral 8x7B - новый ИИ. Нейросети, которые ДОМИНИРУЮТ на другими моделями (⏱ 08:04)
🌐 100 вопросов с собеседований Python. Полный разбор реальных вопросов. (⏱ 34:27)
🌐 💡Крутая задача #Python: #python #программирование #код #yotube #youtube #питон (⏱ 00:49)
🌐 💡Задача #Python:Комбинация сумм II #python #программирование #код #yotube #youtube #пито (⏱ 00:54)
🌐 ODSC Webinar | Preparing for your First Enterprise Large Language Model (LLM) Application (⏱ 48:16)
🌐 Adversarial Validation and Training in Stock Market Price Prediction (⏱ 28:09)
🌐 NVIDIA’s New AI Is 20x Faster…But How? (⏱ 08:16)
🌐 Here’s How ChatGPT is Changing The World! (⏱ 08:33)
Хорошего дня!
@bigdatai
❤9👍1
This media is not supported in your browser
VIEW IN TELEGRAM
📱 Inpaint-iOS
Бесплатное приложение для рисования с открытым исходным кодом на базе coreml для iPhone / iPad / MacBook с процессором M.
https://github.com/wudijimao/Inpaint-iOS
@bigdatai
Бесплатное приложение для рисования с открытым исходным кодом на базе coreml для iPhone / iPad / MacBook с процессором M.
https://github.com/wudijimao/Inpaint-iOS
@bigdatai
❤5👍2👎1🔥1
Набор данных состоит из конкурсных задач по программированию, которые являются довольно сложными и приближенными к реальным сценариям программирования. В нем особое внимание уделяется улучшению или оценке способностей модели к пониманию и рассуждению в практических сценариях применения, а не просто реализации предопределенных функций.
▪Github
▪HF
▪Paper
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
❤8👍4
Прокачай свой скилл!🧠
🧑💻Бывший специалист Яндекса - эксперт в области аналитики и машинного обучения, создал каналы о жизни Data Science, где разбирает сложные концепции простым языком.
- Без занудства, научитесь автоматизировать и оптимизировать процессы
- Сможете прокачать свои навыки до уровня, когда работодатели будут бороться за вас
- Перестанете сомневаться в своей компетенции
Подписывайся, здесь нет места нудным теориям — только живые кейсы, интересные проекты и честные советы⚡.
🧑💻Бывший специалист Яндекса - эксперт в области аналитики и машинного обучения, создал каналы о жизни Data Science, где разбирает сложные концепции простым языком.
- Без занудства, научитесь автоматизировать и оптимизировать процессы
- Сможете прокачать свои навыки до уровня, когда работодатели будут бороться за вас
- Перестанете сомневаться в своей компетенции
Подписывайся, здесь нет места нудным теориям — только живые кейсы, интересные проекты и честные советы⚡.
💩3👍2👎1
👉 Машинное обучение - станьте экспертом бесплатно!
Полное руководство, позволяющее учиться и развиваться в области машинного обучения без какого-либо опыта в этой области и быть в курсе последних новостей и методик!
🔗 https://github.com/louisfb01/start-machine-learning
@bigdatai
Полное руководство, позволяющее учиться и развиваться в области машинного обучения без какого-либо опыта в этой области и быть в курсе последних новостей и методик!
🔗 https://github.com/louisfb01/start-machine-learning
@bigdatai
❤5🔥2👍1
⚡️Как технологии увеличивают скорость городов и экономят наше время?
Снижение процессорного времени с помощью оптимизации становится всё более важной задачей. На главной конференции для разработчиков YaTalks специалисты из Яндекса рассказали, как создавали собственную модификацию «перфа». Благодаря ней можно зайти на любую машину из облака, посмотреть на любой бинар и его статистику.
Такая оптимизация экономит время пользователей каждый день в сервисах вроде суммаризации видео, Алисы или Яндекс Клавиатуры. Когда команда разработки каждой из них вносит изменения, буст получают сразу все сервисы, которые применяют технологию.
Всё это — далеко не предел. Смотрите записи выступлений с YaTalks 2023 и узнайте, на что ещё способна компьютерная инженерия и технологии искусственного интеллекта.
Снижение процессорного времени с помощью оптимизации становится всё более важной задачей. На главной конференции для разработчиков YaTalks специалисты из Яндекса рассказали, как создавали собственную модификацию «перфа». Благодаря ней можно зайти на любую машину из облака, посмотреть на любой бинар и его статистику.
Такая оптимизация экономит время пользователей каждый день в сервисах вроде суммаризации видео, Алисы или Яндекс Клавиатуры. Когда команда разработки каждой из них вносит изменения, буст получают сразу все сервисы, которые применяют технологию.
Всё это — далеко не предел. Смотрите записи выступлений с YaTalks 2023 и узнайте, на что ещё способна компьютерная инженерия и технологии искусственного интеллекта.
❤4👍2🔥1
🦜🔗 Исчерпывающее руководство по реализации моделей HuggingFace с помощью Langchain
Только что опубликована статья о различных способах использования Open Source Large Language Models от HuggingFace с помощью Langchain
Реализация и объяснение кода:
https://analyticsvidhya.com/blog/2023/12/implement-huggingface-models-using-langchain/
@bigdatai
Только что опубликована статья о различных способах использования Open Source Large Language Models от HuggingFace с помощью Langchain
Реализация и объяснение кода:
https://analyticsvidhya.com/blog/2023/12/implement-huggingface-models-using-langchain/
@bigdatai
❤10👍2🔥2
👉 Machine Learning Glossary
Краткие визуальные объяснения концепций машинного обучения с диаграммами, примерами кода и ссылками на ресурсы для получения дополнительной информации.
🔗 https://github.com/bfortuner/ml-glossary
@bigdatai
Краткие визуальные объяснения концепций машинного обучения с диаграммами, примерами кода и ссылками на ресурсы для получения дополнительной информации.
🔗 https://github.com/bfortuner/ml-glossary
@bigdatai
❤9👍3🔥1
Если бы JavaScript (или любой другой язык) разрабатывался в первую очередь для использования искусственным интеллектом, а не человеком-разработчиком, он существенно отличался бы от привычного нам языка. Вот основные отличия, которые мы могли бы наблюдать.
1. Сокращение синтаксического сахара. Языки, удобные для человека, содержат синтаксический сахар, чтобы сделать код более читабельным для разработчиков. Для ИИ в этом нет необходимости. Язык, скорее всего, был бы более упрощенным и использовал бы минимальный набор примитивов, необходимых для выражения вычислений (объяснение этого приводится ниже).
2. Отсутствие комментариев и документации. В отличие от человека, ИИ не нуждается в комментариях и документации. Единственным источником истины для него является сам код. ИИ способен понять назначение и действие любого фрагмента кода без внешних аннотаций.
3. Более высокие уровни абстракции. ИИ может работать с гораздо более высокими уровнями абстракции, чем человек. Вместо подробных пошаговых инструкций, оптимизированный для ИИ код мог бы включать в себя более сложные операции, заданные на высоком уровне, а ИИ заполнил бы детали более низкого уровня.
4. Математическая точность. Язык мог бы быть более тесно связанным с математическим формализмом. Это облегчило бы формальную верификацию и обоснование кода, которые ИИ способен выполнять более эффективно, чем человек.
5. Включение внешних баз знаний. Оптимизированный для ИИ язык мог бы напрямую ссылаться на внешние базы знаний или базы данных, позволяя ИИ при необходимости использовать контекст.
6. Оптимизация для параллелизма. ИИ может справиться с параллелизмом и многопоточным выполнением с гораздо меньшими усилиями, чем человек. Язык, скорее всего, изначально поддерживал бы высокопараллельные операции без удобных для разработчика абстракций, используемых в настоящее время.
7. Расширенное управление памятью. Возможно, отпала бы необходимость в привычных парадигмах управления памятью, таких как сборка мусора. Вместо этого, ИИ мог бы освоить передовые алгоритмы, предсказывающие характер использования памяти и оптимизирующие его соответствующим образом.
8. Менее модульный код. Хотя модульность часто оказывается полезной для понимания и сопровождения, ИИ мог бы предпочесть генерировать и управлять более монолитными структурами кода, оптимизируя его для выполнения, а не для чтения.
9. Генерация кода. Язык мог бы иметь встроенные функции для генерации больших объемов кода на основе высокоуровневых характеристик, абстрагируясь от повторяющегося или шаблонного кода, который обычно пишут разработчики.
10. Самостоятельная модификация кода. ИИ мог бы создавать и управлять кодом, который сам изменяется в процессе выполнения, что обычно считается сложной задачей, приводящей к ошибкам разработчиков-людей.
11. Глубокая интеграция с аппаратным обеспечением. Язык мог бы быть глубоко связан с аппаратным обеспечением, что позволило бы ИИ выполнять микрооптимизацию на основе знаний о состоянии оборудования в реальном времени.
Что такое синтаксический сахар?
@bigdatai
Please open Telegram to view this post
VIEW IN TELEGRAM
👍11❤3🔥2🤩2🗿1