CLIP был только звоночком новой эпохи разработки ИИ. Слишком часто системы машинного обучения чрезмерно специализируются на отдельных задачах, тогда как они могут преуспеть во многих. Вот поэтому в Google создали Pathways - новую архитектуру искусственного интеллекта, которая будет обрабатывать множество задач одновременно, быстро изучать новые задачи и отражать лучшее понимание мира. Плюс к этому будет более экологичной, потребляя меньше энергии 🌿🌎

#news

Простые приемы экономии памяти в #golang

https://www.ribice.ba/golang-memory-savings/

HighLoad Junior 🍭

Буквально вчера на ютубе упала в реку запись доклада с HighLoad Junior про NoSQL базы. Мне очень понравилась идея проведения докладов по основам нагруженных систем. Помогает закрыть некоторые пробелы в знаниях, посмотреть на вещи с нового ракурса. Ссылки на плейлисты прикрепляю.

HighLoad Junior 2015
HighLoad Junior 2017

Такая жиза, что плакать хочется 😭😞😭

Было дело❓

🔥Огонек, если собесился и не получилось
❤️Сердечко, если работаешь в Яше

Живее всех живых 🤮

Адекватная разработка 🦄

Звучит как сказочный единорог, но в своём докладе Евгений сформулировал те принципы, к которым сам шёл долго. Тут и чистая архитектура, тут и локальная среда разработки с тестированием и транк бейсд. Всё это вместе делает разработку приятной, безопасной и немного скучной.

К сожалению, кровавый интерпрайз ещё далёк от таких адекватных условий. Каждый релиз разработчик просыпается в муках и в холодном поту. Тестирование живет своей жизнью. Одна боль, печаль и тихое выгорание. Но верю, что адекватная разработка прийдет и в интепрайз как опенсурс с микросервисами ранее.

У докладчика есть свой канал в тг

Че за Symbolic Search и как он ищет новые оптимизаторы?

Условно, Symbolic Search — это Эволюционый Поиск для программ на стероидах. Параллельно запускается целая популяция программ. Из них выбираются те, что лучше всего перформят на целевой задаче (в нашем случае — это оптимизация нейронок). Далее к лучшим применяются мутации, то есть в них случайным образом менется часть кода. И цикл продолжается.

Через много-много сожженных МВатт⋅часов мы получаем финальную програму с наилучшим перформансом на целевой задаче.

Для любопытных — подробности в блогпосте AutoML-Zero от гугла (2020).

@ai_newz

Надо будет попробовать при следующем порыве на литкоде

Сайт с реализациями алгоритмов на графах с пошаговым выполнением и песочницей

https://dstruct.pro/playground

И тут настало просветление ☯️

Люблю тебя ❤️🔥

def closure_func_0():
    cnt = [0]
    def f():
        cnt[0] += 1
        return cnt[0]
    return f 


def closure_func_1():
    cnt = 0
    def f():
        nonlocal cnt
        cnt += 1
        return cnt
    return f 


f_0 = closure_func_0()
f_1 = closure_func_1()

cnt_0 = f_0()
cnt_1 = f_1()

assert cnt_0 == cnt_1 == 1

Твой код есть лишь следствие твоего понимания экономических и производственных процессов

Админ би лайк

Мальчик стал мужчиной

В голос

Админ сегодня в ударе

Load balancing

Прочитал на одном дыхании замечательную статью о балансировке нагрузки (load balancing).

С увеличением нагрузки на приложение один сервер может уже не справляться. Тут-то и вступают в дело алгоритмы балансировки нагрузки.

По сути, оптимизировать можно два показателя: задержки при запросах и количество отклонённых сервером запросов.

Автор рассматривает:
– алгоритм round robin, когда запросы отправляются на сервера по кругу. Этот алгоритм не учитывает, что сервера могут иметь разную мощность. Тогда более мощные сервера будут быстро обрабатывать запросы, а менее мощные могут загибаться и давать отлупы.

– алгоритм dynamic weighted round robin учитывает мощность серверов. На основе среднего времени ответа им динамически устанавливаются веса. И, в зависимости от весов, будет автоматически варьироваться количество запросов.

– алгоритм least connection учитывает количество подключений, поддерживаемых серверами в текущий момент времени. Запрос будет передан серверу с наименьшим количеством активных подключений.

– алгоритм peak exponentially weighted moving average (PEWMA) направлен на уменьшение задержек в запросах. По сути, сочетает в себе dynamic weighted round robin, least connection и немного магии сверху.

Каждый из описанных алгоритмов сопровождается красивой и понятной анимацией. А в конце статьи можно поиграться с наглядным симулятором каждого из методов.

Помимо теоретических выкладок, автор проводит целое исследование, и смотрит, как в разных ситуациях ведёт себя каждый из алгоритмов.
Вас ожидают интересные выводы :)

#skills

Сегодня прям праздник статей!

Я тут писал про оптимизации хеширования и сортировок с помощью Reinforcement Learning, Deepmind выложили статью, я в acknowledgements.

AlphaDev discovers faster sorting and hashing algorithms
https://www.deepmind.com/blog/alphadev-discovers-faster-sorting-algorithms

Faster sorting algorithms discovered using deep reinforcement learning
https://www.nature.com/articles/s41586-023-06004-9

Из очень хорошего, работать мне с ними понравилось. Из интересного -- результаты не самые революционные, но какие-то циклы серверов сэкономили.

HN: https://news.ycombinator.com/item?id=36228125

npm найдётся всё !