👣 Тэги структур в Go

▶️В Go при сериализации JSON в структуру используются мета-теги, которые записываются рядом с полями структуры:

type Response2 struct {
    Page   int      `json:"page"`
    Fruits []string `json:"fruits"`
}

В данном случае это ``json:"page"`` и ``json:"fruits"``.

Но иногда, вместо JSON используются другие стандарты, BSON и др. Так вот, что делать в случае других стандартов?


▶️Сразу можно сказать, что в теге может быть несколько полей для разных стандартов, например, тут одновременно можно обращаться со структурой как с JSON, и как с YAML:

type Response2 struct {
    Page   int      `json:"page" yaml:"page" validation:"min:1,max:10"`
    Fruits []string `json:"fruits" yaml:"fruits,omitempty" validation:"nonempty"`
}

r := &Response2{}
json.Read("file.json", r)
validator.Validate(r)
yaml.Write("file.yaml", r)

⏩Также тэги можно разбирать самостоятельно и использовать в своих библиотеках, подробнее об этом тут.
⏩Дополнительно о тэгах структур почитать можно здесь.

@Golang_google

👣 Маршалинг и анмаршалинг нестандартных форматов дат в Go

⏩Думаю, многие согласятся, что работа с датами практически в любом языке — это невероятная головная боль. Дата и время не десятичны и конечно же бесчисленное множество форматов даты и времени.
Вдобавок к этому ISO 8601 не всегда соблюдается в сторонних API, что создает неприятности.

⏩О том, как можно всё это героически решить, и пойдёт речь в статье.
Если коротко, то решение проблемы заключается в использовании кастомных типов и функций Unmarshaler для парсинга нестандартных дат.
Этот подход также может быть использован для успешного парсинга любого нестандартного контента, кстати.

📎 Статья

@Golang_google

👣 Прервать функцию с горутинами, если выполняется слишком долго

▶️Задача: в функции нужно запустить несколько горутин с вычислениями и дождаться их окончания.
При этом, если функция будет работать больше указанного количества секунд, нужно прервать ее выполнение.
Таким образом нужно прервать выполнение этой функции fun() ниже, что можно сделать?

package main

import (
"fmt"
"sync"
)

func FibonacciRecursion(n int) int {
    if n <= 1 {
        return n
    }
    return FibonacciRecursion(n-1) + FibonacciRecursion(n-2)
}

func f(i int, wg *sync.WaitGroup) {
    defer wg.Done()
    fmt.Println(FibonacciRecursion(45 + i))
}

func fun() {
    var wg sync.WaitGroup
    for i := 0; i < 3; i++ {
        go f(i, &wg)
       wg.Add(1)
    }
    wg.Wait()
    println("Function ended")
}

func main() {
    fun()
}

▶️Что ж, для этих целей как раз и используется пакет context.
С помощью context код выше можно переписать так:

package main

import (
    "context"
    "fmt"
    "sync"
    "time"
)

func main() {
    timeLimit := time.Second * 10
    ctx, cancel := context.WithTimeout(context.Background(), timeLimit)
    defer cancel()
    fun(ctx)
}

func isDone(ctx context.Context) bool {
    select {
    case <-ctx.Done():
        return true
    default:
        return false
    }
}

func FibonacciRecursion(ctx context.Context, n int) int {
    if n <= 1 || isDone(ctx) {
        return n
    }
    return FibonacciRecursion(ctx, n-1) + FibonacciRecursion(ctx, n-2)
}

func f(ctx context.Context, i int, wg *sync.WaitGroup) {
    defer wg.Done()
    fmt.Println(FibonacciRecursion(ctx, 45+i))
}

func fun(ctx context.Context) {
    var wg sync.WaitGroup
    for i := 0; i < 3; i++ {
        wg.Add(1)
        go f(ctx, i, &wg)
    }
    wg.Wait()
    println("Function ended")
}

Такие вот дела

@Golang_google

👣 Mongo-driver Golang - реконнект к серверу Mongo

▶️Вопрос: как реализовано переподключение приложения на Golang к MongoDB в случае потери соединения в библиотеке go.mongodb.org/mongo-driver/mongo?

На локальном компьютере при отключении Mongo приложение в течение 30 секунд висит (видимо пытается подключиться).

Это время — оно задается в настройках клиента библиотеки или в самой Mongo или от чего еще зависит? Mongo поднята в контейнере, код подключения такой:

ctx, _ := context.WithTimeout(context.Background(), timeoutSecond*time.Second)

client, err := mongo.Connect(ctx, options.Client().ApplyURI(connString))

Сам запрос вот:

err := mr.client.Database(mr.dbName).Collection(mr.collName).FindOne(ctx, filter).Decode(&p)

▶️Ответ: можно контролировать работу этого приложения с помощью context.WithTimeout или context.WithCancel(ctx). Помимо этого, у вас имеется возможность настроить клиент к базе.
У клиента есть ряд параметров с таймаутами, одни для выполнения одной операции, другие отвечают за время подключения к серверу (можно сказать время отклика сервера).

⏩Когда мы кладём БД и исполняем запрос, то висит канал (go channel), который ожидает выполнения функции, либо завершения контекста, истечения timeout этого запроса.

select {
case <-ctx.Done():
    return nil, ctx.Err()
case <-selectionState.timeoutChan:
    return nil, wrapServerSelectionError(ErrServerSelectionTimeout, t)
case current = <-subscriptionCh:
}

срабатывает <-selectionState.timeoutChan, по умолчанию его значение 30 секунд

⏩Документация говорит, что клиент нужно настроить следующим образом, чтобы продлить время ожидания отклика:

client, err := mongo.NewClient(options.Client().ApplyURI("mongodb://localhost:27017"),
        options.Client().SetConnectTimeout(time.Second * myTimeout),
        options.Client().SetServerSelectionTimeout(time.Second * myServerTimeout))

@Golang_google

👣 Как написать и запустить миграцию базы данных в Golang

При работе с базой данных миграция схемы является одной из важных задач, которую нам часто приходится выполнять на протяжении всего жизненного цикла приложения, чтобы адаптироваться к новым бизнес-требованиям.
И в этой статье речь пойдёт о том, как написать и запустить миграцию схемы базы данных в Golang, используя библиотеку golang-migrate, уверен, будет полезно

📎 Туториал
📎 YouTube

@Golang_google

👣 Аутентификация и OAuth с помощью Go

Держите полезные библиотеки для реализации схем аутентификации. Вы готовы? Их немало)

🟡 authboss — Модульная система аутентификации для Интернета. Он пытается удалить как можно больше шаблонов и «сложных вещей», чтобы каждый раз, когда вы запускаете новый веб-проект в Go, вы могли подключить его, настроить и начать создавать свое приложение без необходимости каждый раз создавать систему аутентификации.

🟡 branca — реализация спецификации токена branca для Golang 1.15+.

🟡 casbin — библиотека авторизации, поддерживающая такие модели управления доступом, как ACL, RBAC и ABAC.

🟡 cookietxt — предоставляет анализатор файлов формата cookie.txt.

🟡 go-guardian — Go-Guardian — это библиотека golang, которая предоставляет простой, понятный и идиоматический способ создания мощного современного API и веб-аутентификации, поддерживающей LDAP, базовую аутентификацию, аутентификацию на основе токена и сертификата.

🟡 go-jose — довольно полная реализация спецификаций JSON Web Token, JSON Web Signatures и JSON Web Encryption рабочей группы JOSE.

🟡 gologin — цепочки обработчиков для входа в систему с помощью поставщиков аутентификации OAuth1 и OAuth2.

🟡 gorbac — предоставляет облегченную реализацию управления доступом на основе ролей (RBAC) в Golang.

🟡 gosession — это быстрый сеанс для net/http в GoLang. Этот пакет, возможно, является лучшей реализацией механизма сеансов или, по крайней мере, пытается им стать.

🟡 goth — предоставляет простой, понятный и идиоматический способ использования OAuth и OAuth2. Обрабатывает несколько провайдеров «из коробки».

🟡 jeff — Простое, гибкое, безопасное и идиоматичное управление веб-сессиями с помощью подключаемых серверных частей.

🟡 jwt — безопасные, простые и быстрые веб-токены JSON для Go.

🟡 jwt-auth — промежуточное программное обеспечение JWT для http-серверов Golang со множеством параметров конфигурации.

🟡 jwt-go — полнофункциональная реализация веб-токенов JSON (JWT). Эта библиотека поддерживает синтаксический анализ и проверку, а также генерацию и подписание JWT.

@Golang_google

👣 Получение параметров при использовании ssl

▶️Итак, реальный кейс, связанный с использованием ssl/tls сертификатов. В коде есть фрагменты передачи данных из форм такого типа

https://localhost:8080/?param1=value

Сейчас, без использования шифрования транспорта, можно получить значение param1 так

r.FormValue("param1")

Вопрос: если начать шифровать транспорт, сами данные останутся незашифрованны ведь? Или придётся изменить способ получения параметров из запроса и сперва эти параметры расшифровать?


▶️Вообще, здесь не важно, происходит шифрование транспорта или нет, в хендлер придут данные в расшифровоном виде. Вот простой пример:

package main

import (
   "fmt"
    "log"
    "net/http"
)

func handler(w http.ResponseWriter, r *http.Request) {
    w.WriteHeader(http.StatusOK)
    w.Header().Set("Content-Type", "text/plain")
    w.Write([]byte(fmt.Sprintf("param1=%s", r.FormValue("param1"))))
}

func main() {
    http.HandleFunc("/", handler)
    http.NewServeMux()
    err := http.ListenAndServeTLS(":8080", "server.crt", "server.key", nil)
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

А вот команда генерации сертификатов:

openssl req -x509 -nodes -newkey rsa:2048 -keyout server.key -out server.crt -days 3650

Такие дела

@Golang_google

👣 Как загрузить пакет из приватного репозитория?

⏩Итак, ситуация. Есть приватный репозиторий. Можно склонировать себе данный репозититорий по ssh, но через go get / go install происходит ошибка:

go: unrecognized import path "private.gitlab.ru/repositoryName": https fetch: Get "https://private.gitlab.ru/repositoryName?go-get=1": dial tcp 255.255.255.255:443(левый IP адрес): i/o timeout

Попытки установить хост данного репозитория себе в переменные GONOPROXY / GOPRIVATE / GONOSUMDB не помогли, ошибка остаётся той же.


⏩Возможно, у кого-то тоже была такая проблема, надеюсь, этот совет ещё кому-то пригодится. Итак, если есть доступ по SSH, можно использовать такой вариант:

git config --global url."[email protected]".insteadOf "https://private.gitlab.ru"

🟡Или используя access-токен

git config --global url."https://${user}:${personal_access_token}@private.gitlab.ru".insteadOf"https://private.gitlab.ru"

После этого go get / go install будут работать с приватными репозиториями.

@Golang_google

👣 Разработка простого DNS сервера на Go, согласно RFC

О чём речь в статье?
🟡Небольшое введение в DNS в целом, как эти серверы позволяют связать IP и URL; о том, что DNS протокол является прикладным протоколом, работающим поверх UDP

🟡В протоколе реализуется один формат сообщения, его размер — 512 байт; описывается структура сообщения и его заголовок

🟡Описывается процесс распарсивания заголовка запроса и кодирования его для ответа

🟡В общем, по итогу создаётся минимальный рабочий DNS сервер на Go, что можно без проблем повторить

📎 Статья

@Golang_google

👣 Go-mongox

Пакет Go Mongo, поддерживающий операции по работе с документами и эффективным компоновщиком данных BSON с использованием различных типов данных.

BSON - бинарная форма представления простых структур данных и ассоциативных массивов (которые в контексте обмена называют объектами или документами)

go get github.com/chenmingyong0423/go-mongox

#golang #MongoDB

▪ Github

@Golang_google

👣 Лимит на количество открытых дескрипторов

▶️Вопрос, связанный с написанием демона на Go при помощи go-daemon:
какой лимит по умолчанию на количество открытых дескрипторов файла в Go? Как его менять? И есть ли общепринятые рекомендации по их количеству?


▶️Начать стоит с проверки ulimit -a и ulimit -aH в shell'е перед запуском вашего демона. Это быстро покажет текущие "мягкие" и (второй вызов) "жесткие" ограничения. При помощи ulimit можно открутить мягкие ограничения до пределов жестких. Следует понимать, что ulimit меняет только текущие лимиты, для шелла и всех программ, запущенных в этом шелле, поэтому после завершения сессии или даже в другом окне терминала значения останутся прежними.

🟡Следующее место задания ограничений, на этот раз постоянных — это /etc/security/limits.conf и каталог /etc/security/limits.d/, ограничение называется nofile. Редактировать (а, иногда, и смотреть) эти файлы может только суперпользователь ("root"). Там задаются ограничения на отдельных пользователей или группы, применяемые на всю сессию данного пользователя, или всех пользователей определенной группы.

🟡И наконец, есть "системное ограничение", задаваемое через sysctl - это fs.nr_open:
/sbin/sysctl -n fs.nr_open
ему же соответствует файл /proc/sys/fs/nr_open

🟡"Программно" манипулирование лимитами текущего процесса в пределах жестких ограничений, заданных на сессию, осуществляется через вызовы getrlimit/setrlimit, которые можно звать из Go, используя FFI (примеры можно посмотреть здесь)

@Golang_google

👣 Паттерн Repository в Go

⏩Repository — это прослойка между бизнес-логикой и источником данных, которая абстрагирует приложение от конкретных деталей работы с базой данных. Это позволяет разделить логику работы с данными от логики приложения и облегчает поддержку и расширение приложения. Кроме того, использование Repository способствует повышению тестируемости кода.
Основная идея — отделить интерфейс хранилища данных от его реализации. Тогда мы можем использовать различные реализации хранилища, обладающие одним интерфейсом

⏩Рассмотрим следующий пример. У нас есть некоторый микросервис, который хранит данные пользователя. Для описания пользователя создадим пакет entity/user

📎 Читать дальше

@Golang_google

👣 Шаблон backend сервера на Go

Основная цель этого шаблона, кроме обучения — это снизить время на прототипирование небольших серверных задач на Go.

Шаблон включает в себя:
⏩Передачу параметров для запуска HTTP сервера через командную строку — github.com/urfave/cli
⏩Настройка параметров сервера через конфигурационный файл — github.com/sasbury/mini
⏩Настройка параметров TLS HTTP сервера
⏩Настройка роутера и регистрация HTTP и prof-обработчиков — github.com/gorilla/mux
⏩Настройка уровней логирования без остановки сервера — github.com/hashicorp/logutils
⏩Настройка логирования HTTP трафика без остановки сервера
⏩Настройка логирования ошибок в HTTP response без остановки сервера
⏩HTTP Basic аутентификация
⏩MS AD аутентификация — gopkg.in/korylprince/go-ad-auth.v2
⏩JSON Web Token — github.com/dgrijalva/jwt-go
⏩Запуск сервера с ожиданием возврата в канал ошибок
⏩Использование контекста для корректной остановки сервера и связанных сервисов
⏩Настройка кастомной обработки ошибок — github.com/pkg/errors
⏩Настройка кастомного логирования
⏩Сборка с внедрением версии, даты сборки и commit

🖥 GitHub

На изображении — UML-диаграмма последовательности запуска и остановки сервера

@Golang_google

👣 Самоизменяющийся бинарник (Self Modifying Binary)

▶️Возможно ли создать самоизменяющийся бинарник на Go? К примеру, программа должна отобразить сколько раз она была запущена и время последнего запуска, выглядеть это может как-то так:

./goprogram
1 29.06.2099 14:10
./goprogram
2 29.06.2099 14:12
./goprogram
3 29.06.2099 15:10
./goprogram
4 30.06.2099 14:10

При этом ни каких дополнительных файлов или записей не должно создаваться.

На Purebasic довольно просто такое реализовать:
• Скомпилированный бинарный файл создаёт свою копию.
• Записывает в конец файла число.
• Замещает оригинал изменённой копией.
• При повторном запуске выводит записанное число.
• Можно пример такой реализации на Go?


▶️Вообще, это небезопасно, и наверняка будет запрещено антивирусами и прочими системами безопасности. Не говоря уже о разнице в различных ОС. Тем не менее, можно сделать как-то так (обработка ошибок опущена для краткости):

type persistent struct {
    Magic   [8]byte
    Content int64
}

var p = persistent{
    Magic:   [8]byte{0xBA, 0xDD, 0xFA, 0xCE, 0xBE, 0xEF, 0xCA, 0xCE},
    Content: 0,
}

func main() {
    fmt.Println(p.Content)

    const size = int(unsafe.Sizeof(p))
    currentBuf := bytes.NewBuffer(make([]byte, 0, size))
    err := binary.Write(currentBuf, binary.LittleEndian, p)

    newP := p
    newP.Content++

    newBuf := bytes.NewBuffer(make([]byte, 0, size))
    err = binary.Write(newBuf, binary.LittleEndian, newP)

    currentBytes, newBytes := currentBuf.Bytes(), newBuf.Bytes()
    self, err := os.OpenFile(os.Args[0], os.O_RDONLY, 0755)
    selfBytes, err := ioutil.ReadAll(self)

    i := bytes.Index(selfBytes, currentBytes)
    copy(selfBytes[i:i+size], newBytes)
    newSelf, err := ioutil.TempFile("", "selfmodifying")
    _, err = newSelf.Write(selfBytes)
    err = os.Rename(newSelf.Name(), self.Name())
    err = os.Chmod(self.Name(), 0755)
}

📎 Полный пример кода тут.

@Golang_google