Обучение нейросети YandexGPT пересказу видео

На Хабре поделились рассказом, как Яндекс реализовал пересказ видео любой длины в Браузере.

В статье рассказали:
◾️ Почему для суммаризации видео не подошла дообученная статейная модель YandexGPT,
◾️ Про достоинства и недостатки подходов LoRa и Fine-tune,
◾️ С какими сложностями столкнулись при обработке длинных видео и как нашли решение.

🔗 Ссылка

🧠 Знания — сила! Что должен изучить каждый программист?

Мы запускаем опрос среди наших читателей, чтобы выяснить, какие ключевые компетенции необходимо развивать программисту на текущий момент. Какие направления стоит изучать в первую очередь? Уровень каких знаний влияет на зарплату в отрасли?

Мы проанализируем ваши ответы и составим ТОП-лист навыков, которые не помешает освоить каждому программисту и разработчику для успешного карьерного роста!

👉 Пройти опрос

🧠 Лучше GPT-4? Представлено новое поколение моделей Claude

Компания Anthropic выпустила линейку моделей Claude 3: Claude 3 Haiku, Claude 3 Sonnet и Claude 3 Opus. Opus и Sonnet уже доступны для использования на сайте claude.ai и через Claude API. Haiku добавят чуть позже.

Разработчики утверждают, что лучшая модель Opus превосходит другие LLM в ряде задач и демонстрирует почти человеческий уровень понимания и скорости в сложных задачах. Кроме того, модели Claude 3 могут обрабатывать картинки и графики.

▶️ Напомним, что компанию Anthropic основали бывшие сотрудники OpenAI. Пока неясно, каковы реальные возможности Claude 3. Модели следует тестировать.

🔗 Попробовать модели можно здесь

🍍Подборка лучших статей «Библиотеки программиста» за февраль: сохраняй в заметки, чтобы не пропустить #самыйсок

🧑🏻‍🏫 Менторство в IT: как стать айтишником, найти работу мечты и облегчить себе жизнь
😺🐙💡 Как сделать креативный профиль на GitHub
📈 5 трендов в подборе ИТ-специалистов на 2024 год
🐱🎨🙏🤖 10 самых странных языков программирования, о которых вы никогда не слышали
🧮📐 15 гениев, которые изменили мир математики навсегда

💬📊 Какую библиотеку для построения графиков вы используете чаще всего?

❤️ — Matplotlib
👍 — Seaborn
🔥 — Plotly
👾 — ggplot2

#интерактив

👓 Анализ более 300 соревнований по ML: что люди используют для победы

Реддитор создал сайт со списком соревнований по машинному обучению, собранных с разных платформ, и провёл детальный анализ тех, что проводились в 2023 году. Вот основные выводы автора:

🐍 Большинство победителей соревований использовали Python. Лишь один написал код на C++ для решения оптимизационной проблемы, а другой — на R для анализа временных рядов.
🦾 92% решений по глубокому обучению были написаны на PyTorch. TensorFlow использовали только 8% участников. Около 20% победителей соревнований, применивших PyTorch, выбрали PyTorch Lightning.
👀 В соревнованиях по компьютерному зрению модели на базе CNN (свёрточных нейронок) побеждали чаще, чем модели на базе Transformer.
👅 Люди начали активно использовать генеративные LLM. Их применяют для создания синтетических обучающих данных, классификации и др.
🏆 Одними из самых популярных алгоритмов по-прежнему остаются LightGBM, XGBoost, и CatBoost.

🐍🗺️ Геокодирование для Data Scientists: вводное руководство с примерами

Может возникнуть ситуация, когда набор данных содержит адрес, но широта и долгота отсутствуют. В этом случае первым шагом для дополнения данных будет добавление этой пары координат. Этот процесс преобразования адреса в широту и долготу называется геокодированием.

В новой статье разбираем три различных способа геокодирования с помощью Geopy.

🔗 Читать статью
🔗 Зеркало

🤖🔮 GPT-5: как новый релиз от OpenAI изменит ИИ-технологии

GPT-4 в своё время заворожила весь мир, показав высокий уровень качества генерации текстов. Хоть она вышла и не так давно — в марте 2023-го, люди уже ждут новое поколение модели. CEO OpenAI Сэм Альтман даже подтвердил журналистам, что работа над GPT-5 ведётся. В новой статье мы изучили всю имеющуюся на данный момент информацию об этом и разобрали по пунктам, чего ждать от апгрейда GPT.

🔗 Читать статью
🔗 Зеркало

🧑‍💻 Из грязи в князи: вкатился с нуля в IT за границей

Мы ищем тех, кто начинал карьеру в IT за границей без опыта и специальной подготовки. Хотим услышать ваши истории успеха и препятствий, с которыми вы столкнулись.

Если вы готовы рассказать свою историю — напишите нам на [email protected] 👈

🫣 На Hugging Face и в ИИ-проектах на GitHub нашли вредоносный код

Исследователи JFrog заявили, что код устанавливал на устройства пользователей бэкдоры и другое вредоносное ПО.

Бэкдор — позволяет получить несанкционированный доступ к данным или удалённому управлению устройством.

Одна из моделей, например, открыла обратный шелл, что предоставило удалённому устройству возможность полного контроля над устройством конечного пользователя. Хоть атаки на исследовательский компьютер не произошло, специалисты всё равно считают такие вещи нарушением безопасности и этики.

Исследователи также объяснили подробно, как устроен описанный выше бэкдор.

Похоже, что вредоносный код был внедрён в файл модели PyTorch с помощью метода reduce модуля pickle. Этот метод позволяет атакующим вставлять произвольный код Python в процесс десериализации, что потенциально может привести к вредоносному поведению при загрузке модели.

👀 ИИ-моделям дали подобие периферического зрения

Исследователи из Массачусетского технологического института (MIT) создали набор изображений, который позволил им симулировать периферическое зрение у моделей машинного обучения. Это улучшило способность моделей обнаруживать объекты на зрительной периферии. Впрочем, до уровня людей они так и не добрались.

❓Специалисты использовали такую технику, как тайловое текстурирование (texture tiling), чтобы преобразовать изображения и сымитировать в них потерю информацию, происходящую на периферическом зрении. Технику немного модифицировали и применили для генерации большого датасета.

Исследователи надеются, что их работа поможет, например, в создании систем искусственного интеллекта, которые будут предупреждать водителей о потенциально незаметных опасностях.

🔗 Читать статью

🤔 Что такое извлечение признаков (Feature Extraction)?

Feature Extraction — это процесс преобразования исходных данных в набор признаков, используемых для последующего анализа или моделирования.

👆В основном, целью извлечения признаков является уменьшение размерности исходных данных. Специалист создаёт на базе оригинального датасета новые информативные признаки. Методы здесь применяются разные.

☑️ Для текстов:
Чаще всего здесь идёт речь о преобразовании текстов в векторы. Основные методы такие:
▪️мешок слов (Bag of Words)
▪️TF-IDF
▪️создание эмбеддингов

☑️ Для изображений:
Тут мы тоже будем пытаться извлечь как можно больше информации в как можно более сжатом виде. Можем применять:
▪️фильтры
▪️свёрточные нейронные сети (CNN)
▪️автоэнкодеры.

▶️ Также в контексте извлечения признаков часто говорят о Principal Component Analysis (PCA), методе уменьшения размерности данных.

#вопрос_с_собеседований

👕👚Удобный датасет для сегментации одежды

Автор канала «Надя пробует» улучшила набор данных с Kaggle IMaterialist. Теперь он адаптирован под задачу сегментации. Вот что было сделано:

▪️Была проведена фильтрация изображений;
▪️Улучшена классификация;
▪️Исправлен формат: добавлен простой класс датасета.

🔗 Переработанный датасет лежит на Hugging Face

Самые полезные каналы для программистов в одной подборке!

Сохраняйте себе, чтобы не потерять 💾

🔥Для всех

Библиотека программиста — новости, статьи, досуг, фундаментальные темы
Книги для программистов
IT-мемы
Proglib Academy — тут мы рассказываем про обучение и курсы

#️⃣C#

Книги для шарпистов | C#, .NET, F#
Библиотека шарписта — полезные статьи, новости и обучающие материалы по C#
Библиотека задач по C# — код, квизы и тесты
Библиотека собеса по C# — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Вакансии по C#, .NET, Unity Вакансии по PHP, Symfony, Laravel

☁️DevOps

Библиотека devops’а — полезные статьи, новости и обучающие материалы по DevOps
Вакансии по DevOps & SRE
Библиотека задач по DevOps — код, квизы и тесты
Библиотека собеса по DevOps — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования

🐘PHP

Библиотека пхпшника — полезные статьи, новости и обучающие материалы по PHP
Вакансии по PHP, Symfony, Laravel
Библиотека PHP для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по PHP — код, квизы и тесты

🐍Python

Библиотека питониста — полезные статьи, новости и обучающие материалы по Python
Вакансии по питону, Django, Flask
Библиотека Python для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Python — код, квизы и тесты

☕Java

Библиотека джависта — полезные статьи по Java, новости и обучающие материалы
Библиотека Java для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Java — код, квизы и тесты
Вакансии для java-разработчиков

👾Data Science

Книги для дата сайентистов | Data Science
Библиотека Data Science — полезные статьи, новости и обучающие материалы по Data Science
Библиотека Data Science для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Data Science — код, квизы и тесты
Вакансии по Data Science, анализу данных, аналитике, искусственному интеллекту

🦫Go

Книги для Go разработчиков
Библиотека Go разработчика — полезные статьи, новости и обучающие материалы по Go
Библиотека Go для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по Go — код, квизы и тесты
Вакансии по Go

🧠C++

Книги для C/C++ разработчиков
Библиотека C/C++ разработчика — полезные статьи, новости и обучающие материалы по C++
Библиотека C++ для собеса — тренируемся отвечать на каверзные вопросы во время интервью и технического собеседования
Библиотека задач по C++ — код, квизы и тесты
Вакансии по C++

💻Другие профильные каналы

Библиотека фронтендера
Библиотека мобильного разработчика
Библиотека хакера
Библиотека тестировщика

💼Каналы с вакансиями

Вакансии по фронтенду, джаваскрипт, React, Angular, Vue
Вакансии для мобильных разработчиков
Вакансии по QA тестированию
InfoSec Jobs — вакансии по информационной безопасности

📁Чтобы добавить папку с нашими каналами, нажмите 👉сюда👈

🤖Также у нас есть боты:
Бот с IT-вакансиями
Бот с мероприятиями в сфере IT

Мы в других соцсетях:
🔸VK
🔸YouTube
🔸Дзен
🔸Facebook *
🔸Instagram *

* Организация Meta запрещена на территории РФ