⚡️Итоги недели в мире ИИ и обзоры новых сервисов

У нас вышла очередная статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ.

Ниже — небольшая выдержка из статьи, а целиком читайте здесь 👈

💬Новости

▫️ Создан новый тест для ИИ — WMDP (Weapons of Mass Destruction Proxy), который будет проверять модели на знание:
- способов создания и применения всех видов оружия массового поражения;
- методов взлома систем кибербезопасности.
▫️Глава OpenAI Сэм Альтман обнародовал переписку с Илоном Маском, в которой последний указывает на то, что ожидает от OpenAI прибыли. Это противоречит недавним заявлениям Маска.

🛠 Инструменты

▫️Corgea — находит и автоматически исправляет уязвимости в коде.
▫️GenWebBilder — делает полнофункциональные веб-сайты по скетчам и скриншотам.
▫️Framedrop AI — автоматически конвертирует длинные видео, влоги и стримы в рилсы и короткие клипы для X и TikTok.
▫️Vocalo AI — личный репетитор, который научит свободно говорить по-английски.

👍 Робототехника

Профессор Кен Голдберг из Университета Беркли поделился соображениями по поводу технических, этических и экономических проблем, которые препятствуют широкому внедрению ИИ-роботов на данном этапе.

➡️ Вы можете подписаться на email-рассылку здесь

👩‍💻 Подборка топовых докладов, особенно последний ❤️

🌐 Go и большие языковые модели / Chang Sau Sheong
🌐 Техники конкурентности Go для self-healing приложений / Chris Shepherd
🌐 Модернизация CLI-приложений с использованием Go / Marian Montagnino
🌐 Low latency паттерны в Go / Kirill Che
🌐 Три техники для создания высокопроизводительных парсеров / Dave Cheney
🌐 Специальный выпуск Билла Кеннеди
🌐 Интеграция данных: создание систем для быстрого обслуживания клиентов на Go / Wu Huijie
🌐 Путешествие больших языковых моделей и что будет дальше / Chew Xuanyi
🌐 Как спроектировать тестовый набор, который вам понравится поддерживать / Björn Andersson
🌐 Как я поддерживаю свою жизнь с помощью Go / Matt Boyle

#чтопроисходит

🧰 Создание системы логической репликации Postgres на Go

Разработчики Go базы данных Dolt работают над функцией репликации данных из Postgres и делятся опытом разработки протокола логической репликации на Go.

👉 Читать

🚀 FormStream — быстрый потоковый Go-парсер для multipart/form-data, который предоставляет враппер для использования с net/http, echo и gin.

parser, err := formstream.NewParser(r)
if err != nil {
    return err
}

err = parser.Register("icon", func(r io.Reader, header formstream.Header) error {
    name, _, _ := parser.Value("name")
    password, _, _ := parser.Value("password")

    return saveUser(r.Context(), name, password, r)
}, formstream.WithRequiredPart("name"), formstream.WithRequiredPart("password"))
if err != nil {
    return err
}

err = parser.Parse()
if err != nil {
    return err
}

👉 GitHub

#инфографика

🧰 CI/CD пайплайн в деталях

1️⃣ SDLC с CI/CD

🔸Жизненный цикл разработки программного обеспечения (SDLC) состоит из нескольких ключевых этапов: разработка, тестирование, деплой и cопровождение. CI/CD автоматизирует и интегрирует эти этапы, обеспечивая более быстрые и надежные выпуски. Когда код помещается в Git-репозиторий, он запускает автоматизированный процесс сборки и тестирования.

🔸Для проверки кода запускаются сквозные тестовые примеры. Если тесты пройдены, код может быть автоматически развернут в staging/production окружении. Если проблемы обнаружены, код отправляется обратно в разработку для исправления ошибок. Эта автоматизация обеспечивает быструю обратную связь с разработчиками и снижает риск ошибок в продакшене.

2️⃣ Разница между CI и CD

🔸Непрерывная интеграция (CI) автоматизирует процессы сборки, тестирования и слияния. В рамках CI запускаются тесты всякий раз, когда код фиксируется для раннего обнаружения проблем интеграции. Это поощряет частые фиксации кода и быструю обратную связь.

🔸Непрерывная доставка (CD) автоматизирует процессы выпуска, такие как изменения инфраструктуры и развертывание. Это гарантирует, что программное обеспечение может быть надежно выпущено в любое время с помощью автоматизированных рабочих процессов. CD также может автоматизировать этапы ручного/аппрувал тестирования, необходимые перед деплоем в продакшене.

3️⃣ CI/CD пайплайн

🔸Типичный CI/CD пайплайн состоит из нескольких связанных этапов:

🗄 Разработчик фиксирует изменения кода в системе управления версиями
🗄 CI-сервер обнаруживает изменения и запускает сборку
🗄 Код компилируется и тестируется
🗄 Результаты тестирования сообщаются разработчику
🗄 В случае успеха артефакты развертываются в staging окружениях
🗄 Дальнейшее тестирование может быть проведено на стадии подготовки перед выпуском
🗄 Система CD внедряет утвержденные изменения в продакшен

👉 Источник

👩‍💻👩‍💻 Go + Kubernetes: кейс из практики

📌 Автор делится специфической проблемой, возникшей в одном из продакшн-окружений: при вызове определенного API-эндпоинта возникала ошибка 502 Bad Gateway только в одном продакшн-окружении. При этом контейнер в Kubernetes поде перезапускается, но без каких-либо ошибок в логах.

🔫 Оказывается, контейнер был убит из-за превышения лимита памяти (OOMKilled). Эндпоинт был разработан для получения большого объема данных для работы мобильного приложения в офлайн-режиме, но не ожидалось, что объем данных будет настолько большим.

🤦‍♂️ Проблема связана с работой сборщика мусора в Go, который расширяет кучу при необходимости, не зная о лимитах памяти, установленных для контейнера в Kubernetes. Это может привести к превышению лимита памяти и остановке контейнера.

☑️ Введение переменной окружения GOMEMLIMIT в Go 1.19 позволяет установить мягкий лимит памяти для сборщика мусора, что помогает управлять использованием памяти более эффективно и предотвратить OOM. В статье показано, как настроить GOMEMLIMIT в файле деплоя Kubernetes, чтобы он соответствовал установленному лимиту памяти.

☑️ Решение не является универсальным, и в некоторых кейсах может быть предпочтительнее быстро завершить работу с использованием настроек по умолчанию, чем пытаться использовать всю доступную память перед остановкой процесса из-за ошибки OOM.

⚡️ Расширение границ в Go: от net.Dial до системных вызовов, AF_PACKET и молниеносного AF_XDP

Под катом — сравнительный анализ производительности отправки пакетов в Linux. Если вам нравятся сети, Go и бенчмаркинг, то однозначно понравится этот мини-ресёрч.

👉 Читать