🌟 Introduction to Granite Code Models
IBM выпустили Granite Code Models: семейство моделей Open Foundation для интеллектуального анализа и генерации кода
Все модели Granite Code выпущены под лицензией Apache 2.0.
Модели Granite превосходят модели с открытым исходным кодом по всем параметрам. На рисунке показано, как Granite-8B-CodeBase превосходит Mistral-7B, LLama-3-8B и другие модели с открытым исходным кодом в трех задачах кодинга. Полные оценки можно найти здесь.
Модели отлично справляются с задачами генерации кода, исправления багов объяснения кода, генерации документации к кода.
- Размер моделей варьируется от 3B до 34B параметров
- Обученных на 3-4 триллионах токенах, полученных из 116 языков программирования
▪Github: https://github.com/ibm-granite/granite-code-models
▪Paper: https://arxiv.org/abs/2405.04324
▪HF: https://huggingface.co/collections/ibm-granite/granite-code-models-6624c5cec322e4c148c8b330
#llm #codegeneration
@ai_machinelearning_big_data
IBM выпустили Granite Code Models: семейство моделей Open Foundation для интеллектуального анализа и генерации кода
Все модели Granite Code выпущены под лицензией Apache 2.0.
Модели Granite превосходят модели с открытым исходным кодом по всем параметрам. На рисунке показано, как Granite-8B-CodeBase превосходит Mistral-7B, LLama-3-8B и другие модели с открытым исходным кодом в трех задачах кодинга. Полные оценки можно найти здесь.
Модели отлично справляются с задачами генерации кода, исправления багов объяснения кода, генерации документации к кода.
- Размер моделей варьируется от 3B до 34B параметров
- Обученных на 3-4 триллионах токенах, полученных из 116 языков программирования
▪Github: https://github.com/ibm-granite/granite-code-models
▪Paper: https://arxiv.org/abs/2405.04324
▪HF: https://huggingface.co/collections/ibm-granite/granite-code-models-6624c5cec322e4c148c8b330
#llm #codegeneration
@ai_machinelearning_big_data
👍31🔥10❤7🆒1
This media is not supported in your browser
VIEW IN TELEGRAM
После файнтюнинга демонстрирует значительное улучшение результатов на бенчмарке LiveCodeBench, увеличивая точность с 21,9% до 32,9% по сравнению с базовой моделью.
GemmaCoder3-12B принимает текстовые запросы, связанные с программированием, и генерирует готовый код.
▪ В 8 бит отлично работает на 32 ГБ
▪Длина контекста 128k
В целом, проект подчёркивает простую истин - дообучение моделей на специализированных датасетах может значительно повысить их эффективность в узкоспециализированных задачах.
Подхходит для:
@ai_machinelearning_big_data
#codegeneration #ml #gemma
Please open Telegram to view this post
VIEW IN TELEGRAM
1👍37❤18🔥9