Supervised Fine-Tuning: как настроить LLM под конкретную задачу?
Пожалуй, для адаптации больших языковых моделей (large language model, LLM) под чётко очерченные задачи обработки естественного языка (natural language processing, NLP) нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра текстов.
Но можно ли после одного лишь предварительного обучения использовать модель в различных типах задач? Да, но ей всё равно будет не хватать совершенствования при помощи SFT, чтобы она действительно могла выполнять требуемые действия и стала опытной в определённой сфере знаний.
Читать: https://habr.com/ru/articles/829936/
#ru
@big_data_analysis | Другие наши каналы
Пожалуй, для адаптации больших языковых моделей (large language model, LLM) под чётко очерченные задачи обработки естественного языка (natural language processing, NLP) нет технологии лучше, чем SFT (supervised fine-tuning). Для дообучения модели её необходимо предварительно обучить, а это означает, что она уже многому научилась из широкого спектра текстов.
Но можно ли после одного лишь предварительного обучения использовать модель в различных типах задач? Да, но ей всё равно будет не хватать совершенствования при помощи SFT, чтобы она действительно могла выполнять требуемые действия и стала опытной в определённой сфере знаний.
Читать: https://habr.com/ru/articles/829936/
#ru
@big_data_analysis | Другие наши каналы
Как мы построили сервис по поиску видеоконтента с помощью текста
Всем привет!
Меня зовут Дима Савелко, я лид команды нейро-сети.рф.
В мире, где короткие видеоролики становятся все более популярными, создателям видео контента все сложнее находить релевантные видео для своих целей. Мы решили эту проблему, создав сервис по поиску видеоконтента с помощью текста.
В статье мы расскажем, как мы использовали современные AI-технологии, чтобы сделать поиск видео быстрым и точным. Узнайте, какие решения мы приняли на каждом этапе разработки, и как наш сервис может улучшить вашу работу с видеоконтентом. Мы поделимся практическими советами и опытом, чтобы помочь вам избежать ошибок и максимально эффективно использовать возможности AI. Читайте нашу статью и узнайте, как сделать поиск видео проще и эффективнее!
Читать: https://habr.com/ru/articles/830834/
#ru
@big_data_analysis | Другие наши каналы
Всем привет!
Меня зовут Дима Савелко, я лид команды нейро-сети.рф.
В мире, где короткие видеоролики становятся все более популярными, создателям видео контента все сложнее находить релевантные видео для своих целей. Мы решили эту проблему, создав сервис по поиску видеоконтента с помощью текста.
В статье мы расскажем, как мы использовали современные AI-технологии, чтобы сделать поиск видео быстрым и точным. Узнайте, какие решения мы приняли на каждом этапе разработки, и как наш сервис может улучшить вашу работу с видеоконтентом. Мы поделимся практическими советами и опытом, чтобы помочь вам избежать ошибок и максимально эффективно использовать возможности AI. Читайте нашу статью и узнайте, как сделать поиск видео проще и эффективнее!
Читать: https://habr.com/ru/articles/830834/
#ru
@big_data_analysis | Другие наши каналы
Как мы построили сервис по поиску видеоконтента с помощью текста
Всем привет!
Меня зовут Дима Савелко, я лид команды нейро-сети.рф.
В мире, где короткие видеоролики становятся все более популярными, создателям видео контента все сложнее находить релевантные видео для своих целей. Мы решили эту проблему, создав сервис по поиску видеоконтента с помощью текста.
В статье мы расскажем, как мы использовали современные AI-технологии, чтобы сделать поиск видео быстрым и точным. Узнайте, какие решения мы приняли на каждом этапе разработки, и как наш сервис может улучшить вашу работу с видеоконтентом. Мы поделимся практическими советами и опытом, чтобы помочь вам избежать ошибок и максимально эффективно использовать возможности AI. Читайте нашу статью и узнайте, как сделать поиск видео проще и эффективнее!
Читать: https://habr.com/ru/articles/830838/
#ru
@big_data_analysis | Другие наши каналы
Всем привет!
Меня зовут Дима Савелко, я лид команды нейро-сети.рф.
В мире, где короткие видеоролики становятся все более популярными, создателям видео контента все сложнее находить релевантные видео для своих целей. Мы решили эту проблему, создав сервис по поиску видеоконтента с помощью текста.
В статье мы расскажем, как мы использовали современные AI-технологии, чтобы сделать поиск видео быстрым и точным. Узнайте, какие решения мы приняли на каждом этапе разработки, и как наш сервис может улучшить вашу работу с видеоконтентом. Мы поделимся практическими советами и опытом, чтобы помочь вам избежать ошибок и максимально эффективно использовать возможности AI. Читайте нашу статью и узнайте, как сделать поиск видео проще и эффективнее!
Читать: https://habr.com/ru/articles/830838/
#ru
@big_data_analysis | Другие наши каналы
❤2
Кто такой Data Engineer | Дата Инженер
В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии
Читать: https://habr.com/ru/articles/830376/
#ru
@big_data_analysis | Другие наши каналы
В статье вы узнаете кто такой Data Engineer | Дата Инженер. Какие бывают направления и куда можно посмотреть, чтобы развиваться в дата-инженерии
Читать: https://habr.com/ru/articles/830376/
#ru
@big_data_analysis | Другие наши каналы
Как установить Apache Spark за 10 минут
Установка Apache Spark займет немного времени и позволит изучить этот инструмент еще глубже прямо на своем компьютере!
Читать: https://habr.com/ru/articles/831180/
#ru
@big_data_analysis | Другие наши каналы
Установка Apache Spark займет немного времени и позволит изучить этот инструмент еще глубже прямо на своем компьютере!
Читать: https://habr.com/ru/articles/831180/
#ru
@big_data_analysis | Другие наши каналы
Используем LLM, чтобы найти «бриллианты» в тексте
Привет всем! Меня зовут Александр Григорьев и я продуктовый аналитик в Innovative People.
Год назад я писал про то, как с помощью современных LLM извлечь из множества текстовых данных эмбеддинги, и на их основе сделать аналитику того, какие темы есть в тексте.
Спустя время у меня и моих коллег накопилось несколько вопросов:
Читать: https://habr.com/ru/companies/inpglobal/articles/831760/
#ru
@big_data_analysis | Другие наши каналы
Привет всем! Меня зовут Александр Григорьев и я продуктовый аналитик в Innovative People.
Год назад я писал про то, как с помощью современных LLM извлечь из множества текстовых данных эмбеддинги, и на их основе сделать аналитику того, какие темы есть в тексте.
Спустя время у меня и моих коллег накопилось несколько вопросов:
Читать: https://habr.com/ru/companies/inpglobal/articles/831760/
#ru
@big_data_analysis | Другие наши каналы
Colud Native vs Cloud Agnostic в Data Engineering'е: выбираем подход
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Читать: https://habr.com/ru/articles/829620/
#ru
@big_data_analysis | Другие наши каналы
Сейчас развертывание дата платформ и решений для аналитки в облаке - явление повсеместное. Кажется, что так было (и будет?) всегда. При этом существует постоянное (но не всегда очевидное) противостояние между подходами Cloud Native и Cloud Agnostic. Cloud Native поддерживает использование специфических сервисов конкретного облачного провайдера, в то время как Cloud Agnostic нацелен на создание приложений, которые могут работать на различных облачных платформах без изменений.
Важно осознавать различия между этими подходами и принимать обоснованные решения при выборе одного из них для своего проекта. Этот выбор может существенно повлиять на архитектуру, масштабируемость вашей дата платформы и стоимость разработки и поддержки.
Однако важно помнить, что не следует впадать в крайности и быть абсолютно приверженным только одному из подходов (вспомним акисому Эскобара). Иногда оптимальным решением может быть комбинация обоих подходов, чтобы достичь оптимального баланса между гибкостью и эффективностью.
В данной статье я попытаюсь описать подход, который в итоге я внедрил в своей команде для построения дата-инфраструктуры.
Читать: https://habr.com/ru/articles/829620/
#ru
@big_data_analysis | Другие наши каналы
Реконсиляция в иерархическом прогнозировании временных рядов
Всем привет! Меня зовут Ян, я ведущий специалист по анализу данных в компании Cinimex Data Lab. Не так давно мы столкнулись с задачей иерархического прогнозирования временных рядов для заказчика из фармацевтической области, откуда и родилась идея для этого материала. В статье коснемся особенностей иерархического прогнозирования (форекастинга), разберем что значит термин реконсиляция, рассмотрим его математическую формализацию а также разные методы реконсиляции.
Читать: https://habr.com/ru/companies/cinimex/articles/817817/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Ян, я ведущий специалист по анализу данных в компании Cinimex Data Lab. Не так давно мы столкнулись с задачей иерархического прогнозирования временных рядов для заказчика из фармацевтической области, откуда и родилась идея для этого материала. В статье коснемся особенностей иерархического прогнозирования (форекастинга), разберем что значит термин реконсиляция, рассмотрим его математическую формализацию а также разные методы реконсиляции.
Читать: https://habr.com/ru/companies/cinimex/articles/817817/
#ru
@big_data_analysis | Другие наши каналы
💡 Готовим сетевые компоненты для доступа к Oracle Fusion Analytics Services
В статье рассматриваются шаги по настройке пользовательских имен хостов и необходимых сетевых компонентов для обеспечения доступа к Oracle Fusion Analytics Services через Интернет. Узнайте, как правильно настроить систему и обеспечить её безопасность.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
В статье рассматриваются шаги по настройке пользовательских имен хостов и необходимых сетевых компонентов для обеспечения доступа к Oracle Fusion Analytics Services через Интернет. Узнайте, как правильно настроить систему и обеспечить её безопасность.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Prepare Custom Hostnames for Oracle Fusion Analytics Service Internet Access
Prepare Custom Hostname Network Components for Internet Access to Oracle Fusion Analytics Services
Настройка сетевых компонентов для доступа к Oracle Fusion Analytics Services
Узнайте, как подготовить пользовательские сетевые компоненты для обеспечения интернет-доступа к Oracle Fusion Analytics Services! Статья подробно разъясняет все шаги, помогающие настроить и оптимизировать вашу сеть для работы с этой платформой.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Узнайте, как подготовить пользовательские сетевые компоненты для обеспечения интернет-доступа к Oracle Fusion Analytics Services! Статья подробно разъясняет все шаги, помогающие настроить и оптимизировать вашу сеть для работы с этой платформой.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Prepare Custom Hostnames for Oracle Fusion Analytics Service Private Access
Prepare Custom Hostname Network Components for Internet Access to Oracle Fusion Analytics Services
Пайплайны, разметка и версионирование — открытые решения для работы с неструктурированными данными
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Читать: https://habr.com/ru/companies/mws/articles/832504/
#ru
@big_data_analysis | Другие наши каналы
Подготовили подборку решений для анализа и обработки неструктурированных данных. Инструменты помогут с разметкой текста, построением соответствующих пайплайнов и версионированием масштабных сводов информации для машинного обучения и не только. Поговорим про Sycamore, Surya, OmniParse, Unstract и Oxen — каждый из этих инструментов имеет открытый исходный код.
Кроме того, организации могут значительно сэкономить на управлении и эксплуатации неструктурированных данных за счет объектного облачного хранилища. Запустили тест-драйв, проверяйте.
Читать: https://habr.com/ru/companies/mws/articles/832504/
#ru
@big_data_analysis | Другие наши каналы
Книга: «Data mesh в действии»
Привет, Хаброжители!
Потребность эффективно хранить большие объемы данных и обращаться к ним стала одной из ключевых потребностей любого бизнеса. Сетка данных (data mesh) — это новый способ децентрализовать управление данными, радикально повышая их безопасность и доступность. Хорошо спроектированная сетка данных позволяет потреблять данные в режиме самообслуживания и помогает избавляться от узких мест, которые свойственны монолитным архитектурам данных.
Пора разобраться с тем, как на практике децентрализовать данные и организовать их в эффективную сетку. Сперва вы создадите простейший жизнеспособный продукт данных, а потом, продвигаясь от главы к главе, преобразуете его в самообслуживаемую платформу данных. Вам наверняка понравятся предложенные в книге «ползунки», с помощью которых можно будет настроить сетку под ваши потребности.
Книга предназначена для профессионалов в области данных и не привязана к конкретным программным стекам или платформам данных.
Читать: https://habr.com/ru/companies/piter/articles/832488/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хаброжители!
Потребность эффективно хранить большие объемы данных и обращаться к ним стала одной из ключевых потребностей любого бизнеса. Сетка данных (data mesh) — это новый способ децентрализовать управление данными, радикально повышая их безопасность и доступность. Хорошо спроектированная сетка данных позволяет потреблять данные в режиме самообслуживания и помогает избавляться от узких мест, которые свойственны монолитным архитектурам данных.
Пора разобраться с тем, как на практике децентрализовать данные и организовать их в эффективную сетку. Сперва вы создадите простейший жизнеспособный продукт данных, а потом, продвигаясь от главы к главе, преобразуете его в самообслуживаемую платформу данных. Вам наверняка понравятся предложенные в книге «ползунки», с помощью которых можно будет настроить сетку под ваши потребности.
Книга предназначена для профессионалов в области данных и не привязана к конкретным программным стекам или платформам данных.
Читать: https://habr.com/ru/companies/piter/articles/832488/
#ru
@big_data_analysis | Другие наши каналы
Как внедрить проверки качества данных с помощью greatexpectations
Обеспечение качества данных критически важно для любой производственной конвейера. В статье рассматривается применение библиотеки greatexpectations для создания проверок. Описываются основные концепции, такие как ожидания, валидации, источники данных, контрольные точки и контексты. Узнайте, как быстро настроить и запускать проверки качества данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Обеспечение качества данных критически важно для любой производственной конвейера. В статье рассматривается применение библиотеки greatexpectations для создания проверок. Описываются основные концепции, такие как ожидания, валидации, источники данных, контрольные точки и контексты. Узнайте, как быстро настроить и запускать проверки качества данных.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Startdataengineering
How to implement data quality checks with greatexpectations
Data quality checks are critical for any production pipeline. While there are many ways to implement data quality checks, the greatexpectations library is one of the popular ones. If you have wondered
1. How can you effectively use the greatexpectations library?…
1. How can you effectively use the greatexpectations library?…
Data Day 2024. Всё по полочкам. Секция 1
Data Day 2024. Всё по полочкам. Секция 1
Данная статья максимально подробно пересказывает информацию первой секции с недавно прошедшего форума Data Day.
Панельная дискуссия. ChatGPT где деньги?
На панельной дискуссии эксперты из ведущих компаний обсудили применение генеративного искусственного интеллекта (ИИ) и его влияние на бизнес-процессы.
Александр Крайнов из Яндекса поделился впечатляющими примерами, включая генерацию речи, которая уже незаметно заменяет человеческие голоса в навигаторах и ассистентах. Валентин Малых из ИТМО рассказал о необходимости безопасности при использовании генеративного ИИ, особенно в программировании. Илья Щиров из Райффайзенбанка отметил, как генерация изображений для профессиональных целей может заменить услуги фотографов. Елизавета Гончарова из AIRI подчеркнула удобство создания датасетов для тренировки моделей, что экономит ресурсы разработчиков.
Доклады отдельных специалистов
Петр Савостин из Т-Банка рассказал о своем опыте улучшения клиентского опыта с помощью анализа данных. Внедрение ИИ в мобильные приложения и мессенджеры Т-Банка улучшило автоматизацию процессов и сократило количество обращений клиентов.
Валентин Малых из ИТМО подчеркнул, что генеративный ИИ не всегда необходим. В большинстве задач можно использовать проверенные методы, что снижает затраты и ресурсы.
Елизавета Гончарова из AIRI рассказала о перспективах мультимодальных моделей, которые могут работать с текстами, изображениями, видео и аудио. Эти модели позволяют решать широкий спектр задач, от бронирования отелей до подбора технических устройств по фотографии.
Михаил Комаров из Ростелекома поделился опытом оптимизации процессов с помощью ИИ. Ростелеком активно использует ИИ для повышения эффективности и качества обслуживания, внедряя инновационные решения для обезличивания данных и их генерации.
В заключение, эксперты отметили, что успешное внедрение генеративного ИИ требует внимательного подхода к безопасности и этике, а также использования данных для улучшения бизнес-процессов и клиентского опыта.
Подробнее
Читать: https://habr.com/ru/articles/832692/
#ru
@big_data_analysis | Другие наши каналы
Data Day 2024. Всё по полочкам. Секция 1
Данная статья максимально подробно пересказывает информацию первой секции с недавно прошедшего форума Data Day.
Панельная дискуссия. ChatGPT где деньги?
На панельной дискуссии эксперты из ведущих компаний обсудили применение генеративного искусственного интеллекта (ИИ) и его влияние на бизнес-процессы.
Александр Крайнов из Яндекса поделился впечатляющими примерами, включая генерацию речи, которая уже незаметно заменяет человеческие голоса в навигаторах и ассистентах. Валентин Малых из ИТМО рассказал о необходимости безопасности при использовании генеративного ИИ, особенно в программировании. Илья Щиров из Райффайзенбанка отметил, как генерация изображений для профессиональных целей может заменить услуги фотографов. Елизавета Гончарова из AIRI подчеркнула удобство создания датасетов для тренировки моделей, что экономит ресурсы разработчиков.
Доклады отдельных специалистов
Петр Савостин из Т-Банка рассказал о своем опыте улучшения клиентского опыта с помощью анализа данных. Внедрение ИИ в мобильные приложения и мессенджеры Т-Банка улучшило автоматизацию процессов и сократило количество обращений клиентов.
Валентин Малых из ИТМО подчеркнул, что генеративный ИИ не всегда необходим. В большинстве задач можно использовать проверенные методы, что снижает затраты и ресурсы.
Елизавета Гончарова из AIRI рассказала о перспективах мультимодальных моделей, которые могут работать с текстами, изображениями, видео и аудио. Эти модели позволяют решать широкий спектр задач, от бронирования отелей до подбора технических устройств по фотографии.
Михаил Комаров из Ростелекома поделился опытом оптимизации процессов с помощью ИИ. Ростелеком активно использует ИИ для повышения эффективности и качества обслуживания, внедряя инновационные решения для обезличивания данных и их генерации.
В заключение, эксперты отметили, что успешное внедрение генеративного ИИ требует внимательного подхода к безопасности и этике, а также использования данных для улучшения бизнес-процессов и клиентского опыта.
Подробнее
Читать: https://habr.com/ru/articles/832692/
#ru
@big_data_analysis | Другие наши каналы
Сколько денег вы теряете на инцидентах
Привет! Меня зовут Женя, я аналитик данных в онлайн-школе Skyeng.
Недавно наши спецы на полтора часа уронили прод, и на этом мы потеряли… Кстати, а сколько?
Давайте разберёмся, зачем и как считать потери на инцидентах, можно ли делать это автоматически и как продать ценность расчётов бизнесу.
Читать: https://habr.com/ru/companies/skyeng/articles/832600/
#ru
@big_data_analysis | Другие наши каналы
Привет! Меня зовут Женя, я аналитик данных в онлайн-школе Skyeng.
Недавно наши спецы на полтора часа уронили прод, и на этом мы потеряли… Кстати, а сколько?
Давайте разберёмся, зачем и как считать потери на инцидентах, можно ли делать это автоматически и как продать ценность расчётов бизнесу.
Читать: https://habr.com/ru/companies/skyeng/articles/832600/
#ru
@big_data_analysis | Другие наши каналы
Потоковая обработка данных: анализ альтернативных решений
Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.
Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональный плагин для Spark, на его основе инженеры могут строить ETL-решения и анализировать данные in-memory.
Изначально мы разработали его, как часть клиентской платформы потоковой обработки данных. Но со временем он прирос одной интересной функциональностью, которая недоступна сейчас в других подобных решениях. В этой статья я хочу сделать краткое сравнение между двумя opensource-продуктами Apache Spark и Flink, а также рассказать об одной интересной особенности Spark, которую мы реализовали в коннекторе.
Читать: https://habr.com/ru/companies/itsumma/articles/767746/
Всем привет! Я Алексей Пономаревский, разработчик решений для платформ сбора и обработки больших данных.
Два года назад мы в ITSumma создали решение для потоковой обработки данных с помощью Apache Spark и базы данных Greenplum — spark-greenplum-connector. Это многофункциональный плагин для Spark, на его основе инженеры могут строить ETL-решения и анализировать данные in-memory.
Изначально мы разработали его, как часть клиентской платформы потоковой обработки данных. Но со временем он прирос одной интересной функциональностью, которая недоступна сейчас в других подобных решениях. В этой статья я хочу сделать краткое сравнение между двумя opensource-продуктами Apache Spark и Flink, а также рассказать об одной интересной особенности Spark, которую мы реализовали в коннекторе.
Читать: https://habr.com/ru/companies/itsumma/articles/767746/
Разбор SAM2 через колено в голову или революция в разметке видео
На днях вышла новая версия модели для сегментации видео - SAM2, которая не только стала быстрее выше сильнее предшественника, но и нацелилась поменять разметку видео также, как с картинками это проделала первая версия модели.
Оригинальную SAM мы используем для разметки в достаточно промышленных масштабах (в том числе и для видео), и потому пройти мимо препарирования SAM2 было невозможно, но так как модель уже по верхам разобрали в тг-каналах, пейпер хорош, а то, что модель феноменальна - понятно без слов, то я постараюсь поглубже разобрать подготовку датасета/разметку и саму модель именно на сложных примерах с моими комментариями.
Легкое чтиво и много гифок — самое то для бодрого старта понедельничка!
Читать: https://habr.com/ru/articles/833692/
#ru
@big_data_analysis | Другие наши каналы
На днях вышла новая версия модели для сегментации видео - SAM2, которая не только стала быстрее выше сильнее предшественника, но и нацелилась поменять разметку видео также, как с картинками это проделала первая версия модели.
Оригинальную SAM мы используем для разметки в достаточно промышленных масштабах (в том числе и для видео), и потому пройти мимо препарирования SAM2 было невозможно, но так как модель уже по верхам разобрали в тг-каналах, пейпер хорош, а то, что модель феноменальна - понятно без слов, то я постараюсь поглубже разобрать подготовку датасета/разметку и саму модель именно на сложных примерах с моими комментариями.
Легкое чтиво и много гифок — самое то для бодрого старта понедельничка!
Читать: https://habr.com/ru/articles/833692/
#ru
@big_data_analysis | Другие наши каналы
👍2
Искусственный интеллект в маркетинге: Революция, которая меняет правила игры
Искусственный интеллект революционизирует мир маркетинга, вводя новые правила игры, которые изменят саму суть взаимодействия с потребителями. Эксперты считают, что маркетологи пока могут обойтись без ИИ, но это лишь вопрос времени, когда он станет неотъемлемой частью их стратегий. Начнем погружение в тему с рассмотрения того, как ИИ применяют крупные компании и что изменится к 2030 году.
Читать: https://habr.com/ru/articles/833996/
#ru
@big_data_analysis | Другие наши каналы
Искусственный интеллект революционизирует мир маркетинга, вводя новые правила игры, которые изменят саму суть взаимодействия с потребителями. Эксперты считают, что маркетологи пока могут обойтись без ИИ, но это лишь вопрос времени, когда он станет неотъемлемой частью их стратегий. Начнем погружение в тему с рассмотрения того, как ИИ применяют крупные компании и что изменится к 2030 году.
Читать: https://habr.com/ru/articles/833996/
#ru
@big_data_analysis | Другие наши каналы
Полезные курсы по ИИ
Лето — прекрасное время для того, чтобы неспешно заниматься тем, что нам нравится. А что нам нравится? Конечно же, ИИ!
Мы хотим поделиться с вами бесплатными курсами по искусственному интеллекту и машинному обучению, которые идеально неспешно проходить летом. В следующий раз, когда будете смотреть очередной видосик на YouTube, подумайте про нашу подборочку!
1. Coursera “Deep Learning Specialization” (Специализация глубокое обучение)
Эта программа поможет понять возможности и проблемы глубокого обучения. Вы узнаете про архитектуры нейронных сетей, LSTM и трансформеры, освоите теоретические концепции и их применение, используя Python и TensorFlow, для решения задач распознавания речи, машинного перевода и др.
2. Coursera “ChatGPT Prompt Engineering for Developers” (Промт инжиниринг ChatGPT для разработчиков)
Маленький урок, в рамках которого вы научитесь быстро и эффективно создавать новые приложения с использованием LLM. Курс охватывает работу LLM, практики инженерии запросов и использование API LLM для различных задач. Знаете, кто ведет этот курс? Лиза Фулфорд (OpenAI) и Эндрю Нг (DeepLearningAI) —неплохой каст, да?
3. edX “HarvardX: Data Science: Machine Learning” (ГарвардХ: Наука о данных: Машинное обучение)
Крутой бесплатный курс от Гарвардского университета по машинному обучению — надо! Здесь вы пройдетесь по основам машинного обучения; узнаете, как выполнять кросс-валидацию; изучите несколько популярных алгоритмов машинного обучения и др.
4. Harvard University “Machine Learning and AI with Python” (Машинное обучение и ИИ на Python)
Читать: https://habr.com/ru/articles/834076/
#ru
@big_data_analysis | Другие наши каналы
Лето — прекрасное время для того, чтобы неспешно заниматься тем, что нам нравится. А что нам нравится? Конечно же, ИИ!
Мы хотим поделиться с вами бесплатными курсами по искусственному интеллекту и машинному обучению, которые идеально неспешно проходить летом. В следующий раз, когда будете смотреть очередной видосик на YouTube, подумайте про нашу подборочку!
1. Coursera “Deep Learning Specialization” (Специализация глубокое обучение)
Эта программа поможет понять возможности и проблемы глубокого обучения. Вы узнаете про архитектуры нейронных сетей, LSTM и трансформеры, освоите теоретические концепции и их применение, используя Python и TensorFlow, для решения задач распознавания речи, машинного перевода и др.
2. Coursera “ChatGPT Prompt Engineering for Developers” (Промт инжиниринг ChatGPT для разработчиков)
Маленький урок, в рамках которого вы научитесь быстро и эффективно создавать новые приложения с использованием LLM. Курс охватывает работу LLM, практики инженерии запросов и использование API LLM для различных задач. Знаете, кто ведет этот курс? Лиза Фулфорд (OpenAI) и Эндрю Нг (DeepLearningAI) —неплохой каст, да?
3. edX “HarvardX: Data Science: Machine Learning” (ГарвардХ: Наука о данных: Машинное обучение)
Крутой бесплатный курс от Гарвардского университета по машинному обучению — надо! Здесь вы пройдетесь по основам машинного обучения; узнаете, как выполнять кросс-валидацию; изучите несколько популярных алгоритмов машинного обучения и др.
4. Harvard University “Machine Learning and AI with Python” (Машинное обучение и ИИ на Python)
Читать: https://habr.com/ru/articles/834076/
#ru
@big_data_analysis | Другие наши каналы
Создание аналога Google Photos на собственном сервере
Создание собственного облачного хранилища с автоматическим менеджером фотографий.
Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.
Читать: https://habr.com/ru/articles/834374/
#ru
@big_data_analysis | Другие наши каналы
Создание собственного облачного хранилища с автоматическим менеджером фотографий.
Изучение опенсорс софта, нацеленного на автоматический менеджинг фотографий, сравнение софта между собой, установка на тестовый сервер, просмотр с разных устройств.
Читать: https://habr.com/ru/articles/834374/
#ru
@big_data_analysis | Другие наши каналы
Анализ больших данных и «умный» компас для выбора локаций магазинов
Совместная магистратура по искусственному интеллекту ИТМО и Napoleon IT – AI Talent Hub в сентябре 2023 года запустила лабораторию по искусственному интеллекту c компанией X5 Tech на базе института. В течение 9 месяцев молодые ML-инженеры работали в одной команде с опытными экспертами X5 Tech и представили несколько новых продуктов для одного из крупнейших ритейлеров страны — X5 Group. По итогам стажировки, лучшие магистранты стали полноценными сотрудниками X5 Tech.
В рамках объединенной AI-лаборатории X5 Tech и AI Talent Hub разработали MVP системы с использованием моделей машинного обучения для внедрения в процессы ритейлера X5 Group.
Первый продукт, который создала команда, стал сервис с RAG (генерация с расширенным поиском). Сервис включает в себя генерацию ответа пользователям с учетом дополнительной релевантной информации из больших текстовых документов. Результат анализа больших данных формируется на основе технологии машинного обучения.
«Специалисты AI-лаборатории улучшили некоторые бизнес-метрики на 40% и встроили алгоритм RAG в нашу систему. Обновленная система позволит ускорить проверку актуальности информации в больших системах и автоматизировать QA-системы», — пояснил руководитель команды по разработке генеративных сетей в Х5 Group Мичил Егоров.
Вторым продуктом, который разработала объединенная команда, стала платформа Shop Placement Platform. Она позволяет прогнозировать выручку в определенной локации на основе геоданных и информации о продажах. Модель, наподобие компаса, помогает определить оптимальное местоположение новых магазинов для X5 Group, эффективно учитывая риски при планировании торговых точек.
Читать: https://habr.com/ru/articles/834504/
#ru
@big_data_analysis | Другие наши каналы
Совместная магистратура по искусственному интеллекту ИТМО и Napoleon IT – AI Talent Hub в сентябре 2023 года запустила лабораторию по искусственному интеллекту c компанией X5 Tech на базе института. В течение 9 месяцев молодые ML-инженеры работали в одной команде с опытными экспертами X5 Tech и представили несколько новых продуктов для одного из крупнейших ритейлеров страны — X5 Group. По итогам стажировки, лучшие магистранты стали полноценными сотрудниками X5 Tech.
В рамках объединенной AI-лаборатории X5 Tech и AI Talent Hub разработали MVP системы с использованием моделей машинного обучения для внедрения в процессы ритейлера X5 Group.
Первый продукт, который создала команда, стал сервис с RAG (генерация с расширенным поиском). Сервис включает в себя генерацию ответа пользователям с учетом дополнительной релевантной информации из больших текстовых документов. Результат анализа больших данных формируется на основе технологии машинного обучения.
«Специалисты AI-лаборатории улучшили некоторые бизнес-метрики на 40% и встроили алгоритм RAG в нашу систему. Обновленная система позволит ускорить проверку актуальности информации в больших системах и автоматизировать QA-системы», — пояснил руководитель команды по разработке генеративных сетей в Х5 Group Мичил Егоров.
Вторым продуктом, который разработала объединенная команда, стала платформа Shop Placement Platform. Она позволяет прогнозировать выручку в определенной локации на основе геоданных и информации о продажах. Модель, наподобие компаса, помогает определить оптимальное местоположение новых магазинов для X5 Group, эффективно учитывая риски при планировании торговых точек.
Читать: https://habr.com/ru/articles/834504/
#ru
@big_data_analysis | Другие наши каналы
👍3