Big data world
2.39K subscribers
412 photos
64 videos
18 files
1.25K links
Интересные статьи Data Science : Big Data : Machine Learning : Deep Learning

По вопросам сотрудничества- @Daily_admin_info

По иным темам @un_ixtime
Download Telegram
Прогнозирование диабета 1 типа у детей с использованием электронных медицинских карт в первичной медико-санитарной помощи в Великобритании: разработка и проверка алгоритма машинного обучения
Детей, поступающих в первичную медицинскую помощь с подозрением на диабет 1 типа, следует немедленно направлять в вторичную помощь, чтобы избежать опасного для жизни диабетического кетоацидоза . Однако раннее выявление детей с диабетом 1 типа является сложной задачей. У детей могут отсутствовать классические симптомы, или симптомы могут быть связаны с более распространенными заболеваниями. У четверти детей наблюдается диабетический кетоацидоз, причем эта пропорция не меняется в течение 25 лет. Нашей целью было выяснить, может ли алгоритм машинного обучения привести к более раннему выявлению диабета 1 типа в учреждениях первичной медико-санитарной помощи…

https://www.thelancet.com/journals/landig/article/PIIS2589-7500(24)00050-5/fulltext
Создание помощника по искусственному интеллекту для частных медицинских учреждений с использованием гибридного облака Qdrant (JWT-RBAC), DSPy и Groq — Llama3

https://ai.gopubby.com/building-private-healthcare-ai-assistant-for-clinics-using-qdrant-hybrid-cloud-jwt-rbac-dspy-and-089a772e08ae
Сети Колмогорова-Арнольда (KAN) собираются навсегда изменить мир искусственного интеллекта
Забудьте все, что вы знали о нейронных сетях, KAN здесь, чтобы переписать правила

https://medium.com/international-school-of-ai-data-science/kolmogorov-arnold-networks-kan-are-about-to-change-the-ai-world-forever-687f6d0b4d93
Лучшие SQL-запросы для специалистов по данным
SQL кажется аутсайдером в области науки о данных по сравнению с Python и R. Однако это далеко не так. Я покажу вам здесь, как вы можете использовать его в качестве специалиста по данным. https://www.kdnuggets.com/top-sql-queries-for-data-scientists
🤡2👍1
AutoCoder: улучшение модели большого языка кода с помощью \textsc{AIEV-Instruct}

Мы представили новую модель, предназначенную для задачи генерации кода. Точность его испытаний на базовом наборе данных HumanEval превосходит точность GPT-4 Turbo (апрель 2024 г.) и GPT-4o. https://github.com/bin123apple/autocoder
Точная настройка моделей трансформаторов меньшего размера: текстовая классификация
Использование Microsoft Phi-3 для генерации синтетических данных

https://towardsdatascience.com/fine-tune-smaller-transformer-models-text-classification-77cbbd3bf02b
Опасная зона в науке о данных

Почему посредственное машинное обучение так опасно для бизнеса
https://delphinaai.substack.com/p/the-danger-zone-in-data-science
This media is not supported in your browser
VIEW IN TELEGRAM
Gaussian: Фотореалистичная 3D-реконструкция уличных сцен — важнейший метод разработки реальных симуляторов автономного вождения. Несмотря на эффективность Neural Radiance Fields (NeRF) для сцен вождения, 3D Gaussian Splatting (3DGS) становится многообещающим направлением из-за его более высокой скорости и более четкого представления.

https://github.com/nnanhuang/s3gaussian
2
Создание универсальных агентов, способных выполнять разнообразные задачи и развиваться в различных средах, является долгосрочной целью сообщества ИИ. Большие языковые модели (LLM) считаются многообещающей основой для создания таких агентов из-за их обобщенных возможностей.

AgentGym — это новая платформа, включающая множество сред и задач для широкого, унифицированного и одновременного исследования агентов в режиме реального времени.

https://github.com/woooodyy/agentgym
Анализ главных компонентов стал проще: пошаговое руководство
Реализуйте алгоритм PCA с нуля с помощью Python

https://towardsdatascience.com/principal-component-analysis-made-easy-a-step-by-step-tutorial-184f295e97fe
Яндекс разработал и выложил в опенсорс YaFSDP — инструмент для ускорения обучения LLM и сокращения расходов на GPU

Сегодня мы выкладываем в опенсорс наш новый инструмент — алгоритм YaFSDP, который помогает существенно ускорить процесс обучения больших языковых моделей.

В этой статье мы расскажем о том, как можно организовать обучение больших языковых моделей на кластере и какие проблемы при этом возникают. Рассмотрим альтернативные методы ZeRo и FSDP, которые помогают организовать этот процесс. И объясним, чем YaFSDP отличается от них. https://habr.com/ru/companies/yandex/articles/817509/
Бесплатная книга по байесовскому анализу данных


Одна из лучших книг по байесовскому анализу данных доступна бесплатно и охватывает такие ключевые основы, как вероятность и вывод, одно- и многопараметрические модели, а также иерархические модели. Это отличный ресурс, позволяющий перейти от основ к более сложным нюансам

https://stat.columbia.edu/~gelman/book/
Создание приложений LLM: четкое пошаговое руководство
Комплексные шаги по созданию собственных приложений LLM: от первоначальной идеи до экспериментов, оценки и производства

https://towardsdatascience.com/building-llm-apps-a-clear-step-by-step-guide-1fe1e6ef60fd
Масштабируемое языковое моделирование без MatMul

Наши эксперименты показывают, что предлагаемые нами модели без MatMul достигают производительности на уровне современных трансформаторов, которым требуется гораздо больше памяти во время вывода в масштабе как минимум до 2,7B параметров.

https://github.com/ridgerchu/matmulfreellm
Практическое руководство по масштабированию обучения модели машинного обучения

https://blog.dailydoseofds.com/p/a-practical-guide-to-scaling-ml-model