От комиксов до нейросетей: 5 книг, которые помогут начинающему Data Scientist'у
Привет! Меня зовут Марк Паненко. Я Chief Data Science в Ozon Банке и большой любитель технической литературы. Этой статьёй я хочу открыть серию публикаций, в которых поделюсь лучшими, на мой взгляд, книгами, необходимыми Data Scientist-у на разных этапах его профессионального развития.
Дисклеймер: эта публикация написана на основе одного из выпусков моего подкаста — если хочется получше погрузиться в тему, приятного прослушивания.
Почему книги? И при чем тут комиксы?
Когда я начинал свой путь в Data Science, мне казалось, что все вокруг уже разобрались в моделировании и работе с данными, и лишь я отстаю. Спасение пришло неожиданно — в виде комиксов. Да-да, вы не ослышались. Однажды я наткнулся на книгу Ларри Гоника «Статистика. Краткий курс в комиксах», и это изменило всё.
С тех пор я убедился: хорошая книга — это не просто источник знаний, а тренажёр для мышления. Она помогает не утонуть в абстракциях и сохранить интерес к профессии. Сегодня я расскажу о пяти книгах, которые станут вашим «спасательным кругом» на старте.
Читать: https://habr.com/ru/companies/ozonbank/articles/879798/
#ru
@big_data_analysis | Другие наши каналы
Привет! Меня зовут Марк Паненко. Я Chief Data Science в Ozon Банке и большой любитель технической литературы. Этой статьёй я хочу открыть серию публикаций, в которых поделюсь лучшими, на мой взгляд, книгами, необходимыми Data Scientist-у на разных этапах его профессионального развития.
Дисклеймер: эта публикация написана на основе одного из выпусков моего подкаста — если хочется получше погрузиться в тему, приятного прослушивания.
Почему книги? И при чем тут комиксы?
Когда я начинал свой путь в Data Science, мне казалось, что все вокруг уже разобрались в моделировании и работе с данными, и лишь я отстаю. Спасение пришло неожиданно — в виде комиксов. Да-да, вы не ослышались. Однажды я наткнулся на книгу Ларри Гоника «Статистика. Краткий курс в комиксах», и это изменило всё.
С тех пор я убедился: хорошая книга — это не просто источник знаний, а тренажёр для мышления. Она помогает не утонуть в абстракциях и сохранить интерес к профессии. Сегодня я расскажу о пяти книгах, которые станут вашим «спасательным кругом» на старте.
Читать: https://habr.com/ru/companies/ozonbank/articles/879798/
#ru
@big_data_analysis | Другие наши каналы
Удивительный мир хакатонов: как я придумал для студентов задачку и что они с ней натворили
Привет, Хабр! Меня зовут Владимир Казаков, я руковожу продуктом «Обучение» в МТС Линк. А еще я с удовольствием помогаю организовывать и проводить хакатоны — это всегда десятки свежих идей, передающийся от участников драйв, новые контакты и море опыта для будущих разработчиков. Полгода назад в наш рабочий чат внезапно прилетело сообщение: «Ребят, срочно! МИФИ организуют хакатон, нужна задача, желательно отправить сегодня!». Вызов был принят, и мы подготовили задание по работе с большими данными. В этом посте расскажу, чем студенты могут удивить разработчика с 15-летним стажем, в чем их сильные стороны, а что еще надо подтянуть.
Читать: https://habr.com/ru/companies/ru_mts/articles/879600/
#ru
@big_data_analysis | Другие наши каналы
Привет, Хабр! Меня зовут Владимир Казаков, я руковожу продуктом «Обучение» в МТС Линк. А еще я с удовольствием помогаю организовывать и проводить хакатоны — это всегда десятки свежих идей, передающийся от участников драйв, новые контакты и море опыта для будущих разработчиков. Полгода назад в наш рабочий чат внезапно прилетело сообщение: «Ребят, срочно! МИФИ организуют хакатон, нужна задача, желательно отправить сегодня!». Вызов был принят, и мы подготовили задание по работе с большими данными. В этом посте расскажу, чем студенты могут удивить разработчика с 15-летним стажем, в чем их сильные стороны, а что еще надо подтянуть.
Читать: https://habr.com/ru/companies/ru_mts/articles/879600/
#ru
@big_data_analysis | Другие наши каналы
Топ-10 малоизвестных языков программирования, которые могут выстрелить в будущем
Языки программирования будущего. Показываем, какие языки наиболее перспективны. Рассматриваем плюсы и минусы каждого Tproger
Читать: «Топ-10 малоизвестных языков программирования, которые могут выстрелить в будущем»
#ru
@big_data_analysis | Другие наши каналы
Языки программирования будущего. Показываем, какие языки наиболее перспективны. Рассматриваем плюсы и минусы каждого Tproger
Читать: «Топ-10 малоизвестных языков программирования, которые могут выстрелить в будущем»
#ru
@big_data_analysis | Другие наши каналы
Как собрать ETL-процессы в Apache Airflow и перестать страдать
Оркестрация процессов в Apache Airflow — мощный инструмент для управления данными. Но как внедрить его так, чтобы процессы стали прозрачными, гибкими и удобными для команд? Как организовать ETL-пайплайны, чтобы они легко масштабировались и адаптировались под нужды аналитиков, ML-инженеров и других специалистов?
Меня зовут Любовь Марисева, я инженер дата-платформы в Циан. Мы разрабатываем десятки ETL-процессов, обеспечиваем данными разные команды и постоянно ищем способы сделать работу с Airflow эффективнее. В этой статье я расскажу, как мы решили ключевые проблемы, сделали расчёты более управляемыми и упростили взаимодействие между командами.
Если вы только начинаете работать с Airflow или хотите улучшить свои подходы, присоединяйтесь! Эта статья поможет взглянуть на оркестрацию процессов под новым углом.
Читать: https://habr.com/ru/companies/cian/articles/880382/
#ru
@big_data_analysis | Другие наши каналы
Оркестрация процессов в Apache Airflow — мощный инструмент для управления данными. Но как внедрить его так, чтобы процессы стали прозрачными, гибкими и удобными для команд? Как организовать ETL-пайплайны, чтобы они легко масштабировались и адаптировались под нужды аналитиков, ML-инженеров и других специалистов?
Меня зовут Любовь Марисева, я инженер дата-платформы в Циан. Мы разрабатываем десятки ETL-процессов, обеспечиваем данными разные команды и постоянно ищем способы сделать работу с Airflow эффективнее. В этой статье я расскажу, как мы решили ключевые проблемы, сделали расчёты более управляемыми и упростили взаимодействие между командами.
Если вы только начинаете работать с Airflow или хотите улучшить свои подходы, присоединяйтесь! Эта статья поможет взглянуть на оркестрацию процессов под новым углом.
Читать: https://habr.com/ru/companies/cian/articles/880382/
#ru
@big_data_analysis | Другие наши каналы
Федеративное обучение: учимся вместе, не раскрывая секретов
Как обучать ML-модели на большом объеме данных из разных источников, сохраняя их конфиденциальность? Ответ — федеративное машинное обучение (Federated Learning, или FL). Эксперт простыми словами на примерах рассказывает, что это такое, как работает и в каких областях применяется
Читать: https://habr.com/ru/companies/skillfactory/articles/880416/
#ru
@big_data_analysis | Другие наши каналы
Как обучать ML-модели на большом объеме данных из разных источников, сохраняя их конфиденциальность? Ответ — федеративное машинное обучение (Federated Learning, или FL). Эксперт простыми словами на примерах рассказывает, что это такое, как работает и в каких областях применяется
Читать: https://habr.com/ru/companies/skillfactory/articles/880416/
#ru
@big_data_analysis | Другие наши каналы
Как знание о покупателе становится центром управленческих решений: история инструмента BIRD в «Ленте»
Привет, Habr!
Меня зовут Яна, я продакт-менеджер BigData в Lenta Tech, отвечаю за развитие цифровых продуктов блоков «Монетизация» и «Клиентская аналитика». Вместе с командой мы создали инструмент BIRD, который помогает превратить данные о покупателях в мощный рычаг для управления ассортиментом. Сегодня я расскажу, как мы используем аналитику поведения клиентов, чтобы принимать решения, которые действительно работают.
Читать: https://habr.com/ru/companies/lentatech/articles/880360/
#ru
@big_data_analysis | Другие наши каналы
Привет, Habr!
Меня зовут Яна, я продакт-менеджер BigData в Lenta Tech, отвечаю за развитие цифровых продуктов блоков «Монетизация» и «Клиентская аналитика». Вместе с командой мы создали инструмент BIRD, который помогает превратить данные о покупателях в мощный рычаг для управления ассортиментом. Сегодня я расскажу, как мы используем аналитику поведения клиентов, чтобы принимать решения, которые действительно работают.
Читать: https://habr.com/ru/companies/lentatech/articles/880360/
#ru
@big_data_analysis | Другие наши каналы
Настройка Fusion Data Intelligence для Fusion Applications
Краткое содержание: Узнайте, как эффективно настроить интегрированную среду Fusion Data Intelligence для работы с Fusion Applications. В статье представлены шаги от экспертов Oracle, включая практические советы и рекомендации от ведущих специалистов.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Краткое содержание: Узнайте, как эффективно настроить интегрированную среду Fusion Data Intelligence для работы с Fusion Applications. В статье представлены шаги от экспертов Oracle, включая практические советы и рекомендации от ведущих специалистов.
Читать подробнее
#en
@big_data_analysis | Другие наши каналы
Oracle
Set up an Integrated Fusion Data Intelligence instance for use with a Fusion Application
Set up an Integrated Fusion Data Intelligence instance for use with a Fusion Application
Authors
Jaydeep Puranik - Principal Solutions Architect
Bindu Goparaju – Manager Oracle Analytics Service Excellence
With inputs from:
Venkata Anil Kumar Motamarry…
Authors
Jaydeep Puranik - Principal Solutions Architect
Bindu Goparaju – Manager Oracle Analytics Service Excellence
With inputs from:
Venkata Anil Kumar Motamarry…
Жизнь Data Community в Магните
Меня зовут Олег, и я всё еще занимаюсь управлением данными в сети «Магнит». Статья будет полезна всем, кто делает то же, развивает data-driven культуру в организации, крутит внутренние коммуникации или ДевРелит. Вся история ниже – наш путь с 2022 года. Он начинался с точечных почтовых рассылок и перерос в профессиональное Data Community с численностью в 700+ человек.
Читать: https://habr.com/ru/companies/magnit/articles/880292/
#ru
@big_data_analysis | Другие наши каналы
Меня зовут Олег, и я всё еще занимаюсь управлением данными в сети «Магнит». Статья будет полезна всем, кто делает то же, развивает data-driven культуру в организации, крутит внутренние коммуникации или ДевРелит. Вся история ниже – наш путь с 2022 года. Он начинался с точечных почтовых рассылок и перерос в профессиональное Data Community с численностью в 700+ человек.
Читать: https://habr.com/ru/companies/magnit/articles/880292/
#ru
@big_data_analysis | Другие наши каналы
Как команда DataGo! помогла крупному e-com проекту XCOM-SHOP связать маркетинговые доходы и расходы
В этом материале мы поделимся кейсом, как DataGo! помогли команде XCOM‑SHOP связать маркетинговые расходы с доходами для более точного определения целевых бизнес-метрик: LTV в связке с САС, CPO, ROMI, а также для оптимизации эффективности рекламных кампаний, определения более конверсионного источника трафика и для повышения эффективности работы команды.
Читать: https://habr.com/ru/articles/881364/
#ru
@big_data_analysis | Другие наши каналы
В этом материале мы поделимся кейсом, как DataGo! помогли команде XCOM‑SHOP связать маркетинговые расходы с доходами для более точного определения целевых бизнес-метрик: LTV в связке с САС, CPO, ROMI, а также для оптимизации эффективности рекламных кампаний, определения более конверсионного источника трафика и для повышения эффективности работы команды.
Читать: https://habr.com/ru/articles/881364/
#ru
@big_data_analysis | Другие наши каналы
Автоматизация разведочного анализа данных (EDA) с помощью Python
Всем привет! Меня зовут Константин Некрасов, я работаю дата-сайентистом в Газпромбанке. Хочу рассказать про инструмент, который серьезно упростил мою повседневную работу с данными, и поделиться им.
Если вы когда-нибудь занимались машинным обучением, то знаете — перед тем как строить модель, нужно как следует изучить свои данные. Этот этап называется EDA (Exploratory Data Analysis), или разведочный анализ данных (РАД). Он критически важен — именно здесь мы находим скрытые закономерности, выдвигаем первые гипотезы и понимаем, как лучше обработать данные для будущей модели.
Но EDA отнимает у дата-сайентистов кучу времени, которое можно потратить на что-то другое и не менее важное: придумать новые признаки, поэкспериментировать с разными алгоритмами или настроить гиперпараметры для более высокой точности модели.
Чтобы облегчить задачу, я разработал класс EDAProcessor, который автоматизирует ключевые этапы EDA: от базовой статистики и визуализации распределений до углубленного анализа корреляций, выбросов и временных зависимостей. Результаты анализа сохраняются в виде наглядных графиков и подробной excel-таблицы, где на разных листах представлены все важные статистические показатели и закономерности в данных.
Сразу оговорюсь — я не изобретаю здесь новых статистических методов, не претендую на научную новизну в области математической статистики, а мое решение не универсально. Каждый набор данных уникален, и полностью автоматизировать его анализ невозможно — всегда нужен опытный взгляд аналитика. Но базовые, наиболее часто используемые методы EDA этот инструмент берет на себя, ускоряя начальный этап работы с данными. Я попытался собрать в скрипт наиболее общие концепции EDA, которые используются в подавляющем большинстве случаев на первоначальной стадии разработки ML-модели.
Сам скрипт вот тут, а под катом я расскажу, как он работает и что делает.
Читать дальше
Читать: https://habr.com/ru/companies/gazprombank/articles/881386/
#ru
@big_data_analysis | Другие наши каналы
Всем привет! Меня зовут Константин Некрасов, я работаю дата-сайентистом в Газпромбанке. Хочу рассказать про инструмент, который серьезно упростил мою повседневную работу с данными, и поделиться им.
Если вы когда-нибудь занимались машинным обучением, то знаете — перед тем как строить модель, нужно как следует изучить свои данные. Этот этап называется EDA (Exploratory Data Analysis), или разведочный анализ данных (РАД). Он критически важен — именно здесь мы находим скрытые закономерности, выдвигаем первые гипотезы и понимаем, как лучше обработать данные для будущей модели.
Но EDA отнимает у дата-сайентистов кучу времени, которое можно потратить на что-то другое и не менее важное: придумать новые признаки, поэкспериментировать с разными алгоритмами или настроить гиперпараметры для более высокой точности модели.
Чтобы облегчить задачу, я разработал класс EDAProcessor, который автоматизирует ключевые этапы EDA: от базовой статистики и визуализации распределений до углубленного анализа корреляций, выбросов и временных зависимостей. Результаты анализа сохраняются в виде наглядных графиков и подробной excel-таблицы, где на разных листах представлены все важные статистические показатели и закономерности в данных.
Сразу оговорюсь — я не изобретаю здесь новых статистических методов, не претендую на научную новизну в области математической статистики, а мое решение не универсально. Каждый набор данных уникален, и полностью автоматизировать его анализ невозможно — всегда нужен опытный взгляд аналитика. Но базовые, наиболее часто используемые методы EDA этот инструмент берет на себя, ускоряя начальный этап работы с данными. Я попытался собрать в скрипт наиболее общие концепции EDA, которые используются в подавляющем большинстве случаев на первоначальной стадии разработки ML-модели.
Сам скрипт вот тут, а под катом я расскажу, как он работает и что делает.
Читать дальше
Читать: https://habr.com/ru/companies/gazprombank/articles/881386/
#ru
@big_data_analysis | Другие наши каналы
❤1👍1
Как посчитать проект и защитить бизнес от некорректной оценки: руководство для специалистов по данным
Сорванные дедлайны, работа в выходные, недовольный клиент — знакомо? Если да, то вы, вероятно, сталкивались с некорректной оценкой проекта. В прошлой статье я рассказывал о риск-факторах в задачах разметки и сбора данных:
Читать: https://habr.com/ru/articles/881134/
#ru
@big_data_analysis | Другие наши каналы
Сорванные дедлайны, работа в выходные, недовольный клиент — знакомо? Если да, то вы, вероятно, сталкивались с некорректной оценкой проекта. В прошлой статье я рассказывал о риск-факторах в задачах разметки и сбора данных:
Читать: https://habr.com/ru/articles/881134/
#ru
@big_data_analysis | Другие наши каналы
Как мы создали альтернативный сервис для поиска арбитражных дел по компании и другим фильтрам
Не можешь найти что-то классное — сделай это сам. Мы с коллегами из DataNewton подумали так же и решили сделать свой сервис для поиска судебных дел. Приглашаю IT-специалистов на «прожарку», — смотрите, критикуйте, буду рад обратной связи.
Я уже делился здесь, как мы собирали информацию о судах в карточках компаний. Но мы решили пойти дальше и сделать функционал, который позволит искать дела не только по конкретной организации, но и по многим другим признакам.
Главная идея — чтобы поиск был удобным и позволял максимально быстро сузить воронку результатов, то есть вычленить из миллионов дел именно те, которые подходят под заданные параметры.
Читать: https://habr.com/ru/articles/881766/
#ru
@big_data_analysis | Другие наши каналы
Не можешь найти что-то классное — сделай это сам. Мы с коллегами из DataNewton подумали так же и решили сделать свой сервис для поиска судебных дел. Приглашаю IT-специалистов на «прожарку», — смотрите, критикуйте, буду рад обратной связи.
Я уже делился здесь, как мы собирали информацию о судах в карточках компаний. Но мы решили пойти дальше и сделать функционал, который позволит искать дела не только по конкретной организации, но и по многим другим признакам.
Главная идея — чтобы поиск был удобным и позволял максимально быстро сузить воронку результатов, то есть вычленить из миллионов дел именно те, которые подходят под заданные параметры.
Читать: https://habr.com/ru/articles/881766/
#ru
@big_data_analysis | Другие наши каналы
👍1
Установка Arenadata DB 7.2 на компьютер с небольшим объемом оперативной памяти
Установка Arenadata DB 7.2 выполняется с помощью Arenadata Cluster Manager (ADCM). Это средство предназначено для разворачивания кластера на большом числе хостов с большим объемом оперативной памяти на каждом из них. А если кластер Arenadata нужен не для производительной работы, а для проведения экспериментов или для разработки/тестирования, можно ли развернуть его на компьютере с небольшим объемом оперативной памяти, например, 32 Гб? Будет ли кластер работать стабильно? Позволит ли он выполнять тяжелые операции? Каково минимальное количество виртуальных машин, на которых можно запустить Arenadata DB 7.2?
Читать: https://habr.com/ru/articles/881782/
#ru
@big_data_analysis | Другие наши каналы
Установка Arenadata DB 7.2 выполняется с помощью Arenadata Cluster Manager (ADCM). Это средство предназначено для разворачивания кластера на большом числе хостов с большим объемом оперативной памяти на каждом из них. А если кластер Arenadata нужен не для производительной работы, а для проведения экспериментов или для разработки/тестирования, можно ли развернуть его на компьютере с небольшим объемом оперативной памяти, например, 32 Гб? Будет ли кластер работать стабильно? Позволит ли он выполнять тяжелые операции? Каково минимальное количество виртуальных машин, на которых можно запустить Arenadata DB 7.2?
Читать: https://habr.com/ru/articles/881782/
#ru
@big_data_analysis | Другие наши каналы
❤1
Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst
Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом
Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst»
#ru
@big_data_analysis | Другие наши каналы
Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом
Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst»
#ru
@big_data_analysis | Другие наши каналы
Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst
Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом
Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst»
#ru
@big_data_analysis | Другие наши каналы
Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом
Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst»
#ru
@big_data_analysis | Другие наши каналы
Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst
Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом
Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst»
#ru
@big_data_analysis | Другие наши каналы
Лучшие курсы для аналитика данных: рейтинг актуальных обучающих программ. Подборка онлайн-обучения профессии Data Analyst с нуля и для специалистов с опытом
Читать: «Лучшие курсы по анализу данных для начинающих с нуля — онлайн обучение Data Analyst»
#ru
@big_data_analysis | Другие наши каналы
Русские тексты. Работа с текстами. Предварительная обработка русских текстовых данных
Предварительная обработка текстовых данных: ключевые этапы и методы
Текстовые данные — один из самых сложных типов данных для анализа из-за их неструктурированной природы и высокой вариативности. Чтобы превратить "сырой" текст в информацию, пригодную для машинного обучения или лингвистического анализа, требуется предварительная обработка. Этот процесс включает стандартизацию, очистку и преобразование текста, что повышает качество моделей NLP (Natural Language Processing). Рассмотрим основные этапы и методы.
Читать: https://habr.com/ru/articles/881998/
#ru
@big_data_analysis | Другие наши каналы
Предварительная обработка текстовых данных: ключевые этапы и методы
Текстовые данные — один из самых сложных типов данных для анализа из-за их неструктурированной природы и высокой вариативности. Чтобы превратить "сырой" текст в информацию, пригодную для машинного обучения или лингвистического анализа, требуется предварительная обработка. Этот процесс включает стандартизацию, очистку и преобразование текста, что повышает качество моделей NLP (Natural Language Processing). Рассмотрим основные этапы и методы.
Читать: https://habr.com/ru/articles/881998/
#ru
@big_data_analysis | Другие наши каналы
Первичный анализ производительности запросов в Arenadata DB 6.27 и Cloudberry Database 1.6
Некоторое время назад руководитель задал мне вопрос: «Какой MPP-кластер лучше с точки зрения разработчика: Arenadata 6 или Cloudberry?» Я рассказал про версии PostgreSQL, лежащие в основе этих кластеров, - 9 и 14 соответственно. Еще сказал, что для детального анализа производительности желательно развернуть кластеры на серверах, заполнить их данными и выполнить побольше разных запросов.
Мой ответ руководителю не понравился, пришлось выдумывать методику первичного анализа производительности кластеров «на берегу», до разворачивания на серверах. Оказалось, что интересные данные о производительности кластеров можно получить и на персональном компьютере.
Читать: https://habr.com/ru/articles/882082/
#ru
@big_data_analysis | Другие наши каналы
Некоторое время назад руководитель задал мне вопрос: «Какой MPP-кластер лучше с точки зрения разработчика: Arenadata 6 или Cloudberry?» Я рассказал про версии PostgreSQL, лежащие в основе этих кластеров, - 9 и 14 соответственно. Еще сказал, что для детального анализа производительности желательно развернуть кластеры на серверах, заполнить их данными и выполнить побольше разных запросов.
Мой ответ руководителю не понравился, пришлось выдумывать методику первичного анализа производительности кластеров «на берегу», до разворачивания на серверах. Оказалось, что интересные данные о производительности кластеров можно получить и на персональном компьютере.
Читать: https://habr.com/ru/articles/882082/
#ru
@big_data_analysis | Другие наши каналы
Red Teaming для LLM: Полное пошаговое руководство по Red Teaming больших языковых моделей
Помните ситуацию, когда Gemini излишне старался быть политкорректным и отображал на всех сгенерированных изображениях только представителей небелых рас? Хотя это могло показаться забавным для многих, данный инцидент наглядно показал, что по мере роста возможностей больших языковых моделей (LLM) возрастают и их уязвимости. Это связано с тем, что сложность модели прямо пропорциональна размеру её выходного пространства, что, в свою очередь, создаёт больше возможностей для нежелательных рисков безопасности, таких как раскрытие личной информации и генерация дезинформации, предвзятости, разжигания ненависти или вредоносного контента. В случае с Gemini были выявлены серьёзные внутренние искажения, обусловленные составом обучающих данных, что и отразилось в его результатах.
Читать: https://habr.com/ru/articles/880234/
#ru
@big_data_analysis | Другие наши каналы
Помните ситуацию, когда Gemini излишне старался быть политкорректным и отображал на всех сгенерированных изображениях только представителей небелых рас? Хотя это могло показаться забавным для многих, данный инцидент наглядно показал, что по мере роста возможностей больших языковых моделей (LLM) возрастают и их уязвимости. Это связано с тем, что сложность модели прямо пропорциональна размеру её выходного пространства, что, в свою очередь, создаёт больше возможностей для нежелательных рисков безопасности, таких как раскрытие личной информации и генерация дезинформации, предвзятости, разжигания ненависти или вредоносного контента. В случае с Gemini были выявлены серьёзные внутренние искажения, обусловленные составом обучающих данных, что и отразилось в его результатах.
Читать: https://habr.com/ru/articles/880234/
#ru
@big_data_analysis | Другие наши каналы
Кем стать: дата-сайентистом, аналитиком, инженером данных или ML
Чем занимаются и сколько зарабатывают специалисты Data Science — дата-сайентист, аналитик, дата-инженер и инжнер машинного обучения.
Читать: «Кем стать: дата-сайентистом, аналитиком, инженером данных или ML»
#ru
@big_data_analysis | Другие наши каналы
Чем занимаются и сколько зарабатывают специалисты Data Science — дата-сайентист, аналитик, дата-инженер и инжнер машинного обучения.
Читать: «Кем стать: дата-сайентистом, аналитиком, инженером данных или ML»
#ru
@big_data_analysis | Другие наши каналы