👣 «Streaming Large Files Between Microservices: A Go Implementation» - практическое руководство по эффективной передаче больших файлов между микросервисами на Go.​

🔍 Основная идея
Автор предлагает решение для передачи больших данных между микросервисами, используя стандартные возможности HTTP/1.1, такие как Range-запросы и заголовки Content-Encoding. Цель — избежать загрузки всего файла в память и обеспечить возможность возобновления передачи при прерывании соединения.​


🛠️ Ключевые особенности
Потоковая передача данных: Использование io.Reader, io.Writer и bufio для чтения и записи данных по частям, что снижает нагрузку на память.​

Поддержка Range-запросов: Позволяет клиенту запрашивать конкретные части файла, что особенно полезно при возобновлении прерванных загрузок.​

Селективное сжатие: Сервер сжимает данные с помощью gzip только при определенных условиях, учитывая тип содержимого и размер чанка, а также поддержку со стороны клиента.​

Обработка прерываний: Реализация корректного завершения работы при получении сигналов SIGINT, SIGTERM и SIGHUP.​

Определение типа содержимого: Сервер определяет MIME-тип файла с помощью расширения и функции http.DetectContentType, что помогает в принятии решений о сжатии.​
DEV Community

📌 Почему это важно
Предложенный подход позволяет эффективно передавать большие файлы между микросервисами без необходимости использования сторонних сервисов хранения, таких как S3. Это особенно полезно в системах, где требуется высокая производительность и надежность передачи данных.​

📌 Подробности

@golang_google

👣 Fibratus — инструмент для мониторинга и трассировки ядра Windows.

Он позволяет отслеживать системные события, включая:
- запуск и завершение процессов
- операции с файловой системой
- изменения в реестре
- сетевую активность
- и другие сигналы наблюдаемости

📌 Fibratus работает без драйверов и стороннего ПО, делая его удобным и эффективным для анализа системы.

$ msiexec /i fibratus-2.3.0-amd64.msi /qn

🔗 GitHub

@golang_google

👣 Dish — минималистичный инструмент для мониторинга сокетов (Go)

Лёгкий и автономный агент, проверяющий доступность TCP/HTTP-соединений. Не требует серверов или сложной установки.

🛠 Возможности:
🔄 Параллельные проверки сокетов (из JSON-файла или API)

☁ Уведомления: Telegram, Webhook, Prometheus Pushgateway, REST API

🧩 Можно запускать по cron без постоянного демона

💾 Кэширование API-ответов при недоступности сервера

🌍 Распределённый мониторинг: агенты на разных хостах, централизованная конфигурация

📦 Установка:

go install go.vxn.dev/dish/cmd/dish@latest
# или
brew install dish

🔗 Подробнее

@golang_google

👣 lordaris/resume_generator

Полнофункциональное веб-приложение для создания резюме.

🛠️ Стек технологий:
- Backend: Go (REST API)
- Frontend: React
- База данных: PostgreSQL
- Кэш: Redis
- Контейнеризация: Docker + Docker Compose

💡 Подходит для pet-проектов или для своего генератора PDF/резюме.

🔗 GitHub

#Resume #Go #React #OpenSource

👣 Xilt — парсер CLF-логов с записью в SQLite
Нужен лёгкий и быстрый инструмент для анализа логов в формате Common/Combined Log Format? Попробуй Xilt — CLI-утилиту на Go с поддержкой многопоточности.

Что умеет:
• 📥 Парсит .log-файлы и сохраняет в SQLite
• ⚙️ Управление потоками - avgLogSize, batchSize, maxMemUsage
• 🧠 Автоиндексы по IP, методу, пути, времени, referer
• 💻 Verbose-режим для дебага
• 🟨 Go-install без проблем

📦 Установка:

go install go.vxn.dev/xilt/cmd/xilt@latest

▶️ Запуск:

xilt access.log logs.db

🔗 GitHub — thevxn/xilt

#Golang #Logs #SQLite #CLItools #DevOps

@golang_google

👣 ​Higress — это современный облачно-нативный API-шлюз с открытым исходным кодом, разработанный Alibaba.

Он построен на базе Istio и Envoy и предназначен для интеграции в инфраструктуру микросервисов, обеспечивая управление трафиком, безопасность и поддержку AI-сервисов.​

🔧 Основные возможности Higress
Интеграция с AI-сервисами: Higress поддерживает AI-ориентированные функции, включая интеллектуальное управление трафиком и безопасность контента.​

- Поддержка WebAssembly (Wasm): Позволяет расширять функциональность шлюза с помощью плагинов, написанных на различных языках программирования.​

- Соответствие стандартам: Поддерживает стандарты Ingress, Gateway API и Istio API, обеспечивая совместимость с другими решениями.​

- Управление API: Предоставляет функции для управления API, включая аутентификацию, авторизацию и мониторинг.​

🌐GitHub: github.com/alibaba/higress​
🔗 Официальный сайт: higress.cn

@golang_google

👣 Оптимизация выделения памяти в Go: как одна строчка замедлила всё на 30%

В базе данных Dolt (аналог Git, но для SQL-таблиц) после рефакторинга один из бенчмарков (types_scan) внезапно стал работать на 30% медленнее. Причина? Казалось бы, невинная строчка кода.

📉 Что произошло
Метод GetBytes() начал вызывать ReadBytes() у интерфейса ValueStore. Всё выглядело логично, пока не включили профилировщик Go и не обнаружили странную активность:
🔍 runtime.newobject вызывался слишком часто → программа делала много лишних аллокаций в куче.

📦 Где зарыта собака

func (vs nodeStore) ReadBytes(...) ...

Этот метод использовал приёмник по значению (vs nodeStore). Это значит, что вся структура копировалась при каждом вызове метода, даже если она большая.

🚑 Как пофиксили
Просто поменяли на приёмник по указателю:

func (vs *nodeStore) ReadBytes(...) ...

Вуаля — аллокейшны исчезли, производительность восстановилась.

🧠 Вывод
❗ Методы с приёмником по значению = риск лишнего копирования и аллокаций
🛠 Даже один маленький метод может резко замедлить ваш код
🔍 Профилировка в Go — мощный инструмент. Используй pprof!

Полный разбор в блоге DoltHub
Подробнее про Dolt

@golang_google

👣 MyNav — это TUI-инструмент на Go для организации и управления проектами в терминале с интеграцией tmux!

🌟 Он позволяет группировать рабочие пространства, быстро переключаться между ними, автоматически определять статус Git-репозиториев и управлять сессиями tmux.

🖥 Github

@golang_google

✔️ Wal-listener — это инструмент для прослушивания логов транзакций PostgreSQL (WAL) и конвертации их в удобный для обработки формат JSON.

Возможности

- Прослушивание изменений в PostgreSQL в режиме реального времени.
- Поддержка нескольких слотов репликации.
- Удобный вывод в формате JSON.
- Готов к использованию в качестве сервиса.

Пример использования

1. Создаём слот репликации:

   SELECT * FROM pg_create_logical_replication_slot('test_slot', 'wal2json');
   

2. Запускаем wal-listener:

   wal-listener --dsn "host=localhost port=5432 user=postgres dbname=test" --slot test_slot
   

3. Получаем JSON-объекты при изменениях в базе данных.

https://github.com/ihippik/wal-listener

#devops #девопс #PostgreSQL #sql

@golang_google

🖥 AnyQuery — это кроссплатформенное настольное приложение, разработанное для выполнения SQL-запросов к практически всем базам данных!

🌟 Оно поддерживает JSON, CSV, Parquet, SQLite, Google Sheets и многое другое, а также предоставляет интуитивно понятный интерфейс, позволяющий пользователям управлять подключениями, визуализировать данные в табличном формате и использовать автодополнение при написании SQL-кода.

🔐 Лицензия: AGPL

🖥 Github


@golang_google

👣 Athens

Это открытый прокси-сервер и кэш для Go Modules, который поможет вам:

⚡ Ускорить сборку в CI/CD за счёт локального кэша зависимостей.
🔒 Гарантировать доступность модулей, даже если исходный репозиторий пропал или временно недоступен.
🔐 Организовать безопасное хранилище приватных модулей для вашей компании.
☁️ Интегрироваться с любыми хранилищами: S3, GCS, Azure Blob, MongoDB, локальный диск и т.д.

Кратко о том, как запустить:

1. Скачайте и запустите Docker-образ:

docker run -p 3000:3000 gomods/athens:latest

2. Установите прокси в окружении:

export GOPROXY=https://localhost:3000

3. Работаем как обычно:

go get github.com/your/[email protected]

Athens полностью совместим с официальным протоколом загрузки модулей Go (v1.12+). Под капотом — адаптеры для Git, CDN и множество опций по хранению и авторизации.

Проект активно развивается:
- Более 200 участников на GitHub
- 4.5 тыс. звёзд ⭐
- Регулярные релизы (последний — v0.16.0)

🟢Репозиторий
🟢Документация

@golang_google

📌Как Gemini превращает изучение языков в персонализированный опыт: обзор 3 экспериментов.

Представьте, что учите язык не по учебникам, а через ситуации, в которых оказываетесь каждый день. Именно эту идею воплотила команда Google в проекте Little Language Lessons— трех экспериментах на базе Gemini API, которые делают обучение живым и контекстным.

Первый эксперимент, Tiny Lesson, решает проблему «как сказать это сейчас?». Вы описываете ситуацию — например, «потерял паспорт» — и получаете словарь и фразы в формате JSON. Всё благодаря промптам, где Gemini генерирует структурированные данные: массив терминов с транскрипцией и переводом, а также советы по грамматике.

Например, если целевой язык — японский, модель сама определит, нужна ли транскрипция ромадзи, и подготовит материал за 2 API-запроса. Это не просто список слов, а готовый микрокурс под конкретный сценарий.

Второй, Slang Hang, убирает «учебникоговорение». Тут Gemini выступает как сценарист: создаёт диалоги на целевом языке с культурными нюансами и сленгом. Все генерируется одним запросом — от контекста сцены до реплик с пояснениями. Пример: диалог продавца и туриста может включать неформальные выражения, которые не найдешь в стандартных учебниках.

Правда, иногда модель ошибается или придумывает выражения, так что без проверки носителем не обойтись. Но сам подход — дать пользователю «уши» в реальных разговорах выглядит перспективно, особенно с интеграцией Cloud Translation для мгновенного перевода.

Третий, визуальный эксперимент — Word Cam. Наводите камеру на объект, и Gemini не только определяет его (bounding box), но и предлагает слова вроде «подоконник» или «жалюзи». Детекция работает через Gemini Vision, а дополнительные дескрипторы (цвет, материал, примеры употребления) подтягиваются отдельным запросом. Для изучения бытовой лексики почти идеально, хотя точность сильно зависит от качества снимка.

Во всех экспериментах задействован Text-to-Speech — озвучка слов и фраз. Но есть нюанс: для редких языков голоса зачастую звучат неестественно или не совпадают с диалектом. Например, выберете мексиканский испанский, а синтезатор выдаст акцент из Мадрида. Разработчики честно признают: это ограничение текущих API, и над ним еще работать.

Little Language Lessons — начало переосмысления процесса обучения языкам. Проекту пока не хватает тонкой настройки под лингвистическую специфику (идиомы или региональные диалекты), но основа уже заложена.

🟡Статья


@ai_machinelearning_big_data

#AI #ML #LLM #Gemini