📓 Записки программера
1.01K subscribers
304 photos
1 video
6 files
599 links
Канал с регулярными постами о разных интересных материалах (статьи, видео, фреймворки и полезные инструменты).

https://dotnet.social/@denisio
Download Telegram
В продолжение поста, теперь на столе коэффициент детерминации R² (gist). Тут что-то пошло не совсем так: если использовать прямой подход с мапом в Vector256<T> - то буст всего х4 на double и x6 на float (причем повторяемость практически не зависит от размера массива, а значит дело не в кэше который всё успевает и никак не влияет на перф, а в вычислениях).

Однако, если сделать финт ушами (второй скриншот) - и смапить в Vector512<T> - то всё становица чуточку лучше. И тут неважно, что процессор не умеет нативно AVX512, Vector512<T> здесь просто как контейнер для двух Vector256<T>. Здесь получается.... классический loop unrolling, когда за одну итерацию забирается два Vector256<T> (lower/upper) и дальше они ровно также как в ручном loop unrolling складываюца/умножаются в цикле в по прежнему в Vector256<T>.

Это помогает больше чем в 1.5 раза к обычному способу с Vector256 - буст с х4 до ~х5.5 (на double) и с х7.6 до ~x12.5 (на float). Причем на массивах больших, которые не помещаются в L1 кэш - разрыв в перфе больше. Подозреваю, что по причине как в предыдущем посте. #simd
🔥3👍1
Ещё один no code AI web design generator - на удивление генерит приличные странички (на мой непрофессиональный дизайнерский взгляд). И отметил бы что очень грамотно построенный маркетинг с точки зрения перевода в платность :))) бесплатных кредитов хватает на 2-3 страницы, а дальше за деньги :))

UI чем-то похож на фигмовский и генеряца именно макеты, а не странички. Но с другой стороны можно очень быстро слепить лендинг для чего-нибудь типа пет-проекта.
#ai
👍3
ну где же ты один подписчик потерялся...
🤨6😁3🗿3🥱1
8️⃣0️⃣0️⃣
🥰12🔥5🤓5👀3🥱1
О вот ещё посты по перфу с соседнего канала, я что-то упустил что SkipLocalsInit даёт в некоторых местах приличный буст. Надо не забывать это поюзать при случае в бенчах при оптимизации.

Ещё один пост оттуда же про SkipLocalsInit и структуры
в рамках кросс-поста рекомендуется к подписке :))
👍6
Проект с забавным названием Picoc и не очень забавной сутью - интерпретатор Си. И что особенно интересно: It was originally written as a script language for a UAV on-board flight system 😮
Да, проект не оч живой (последний коммит 7 лет назад).
Storing currency values: data types, caveats, best practices - то что надо знать, когда хранишь деньги в базе :) #howto
🔥9👍1
Тут nVidia релизнула несколько моделей на гитхабе Text to visual world generation (картинка / video). Должно быть это прекрасные модели, но... ресурсы...

Ну и initialization time на Single H100 CPU 14B модели 590 секунд... Вобщем копите бабки :) #llm
👍2
В интернетах пишут, что 512-битные DKIM ключи уже небезопасны. Да, подобранная подпись работает не со всеми почтовыми серверами, но на достаточно крупных типа Yahoo Mail - работает.
👍2
Пара статей (раз, два) про интересные индексы в Postgres типа BRIN (Block Range Index) - когда в индексе сохраняется мин/макс значения для блока страниц. Такой подход позволяет получить очень маленький объем индекса - единицы мегабайт даже для сотен миллионов записей (и можно поиграть с размером блока, основываясь на конкретных данных, чтобы понять какой вариант наиболее выгоден).

Но не забываем, что каждый инструмент имеет свои возможности и ограничения. #postgres
🤔2🔥1
Всё никак не могу добраться, чтобы попробовать Aspire на каком-то живом проекте, но регулярно попадаюца статьи про то, как там всё удобно :)) в т.ч. для гетерогенных микросервисов #dotnet
🤔6
Тут на арену выходит новая нейронка DeepSeek, которая вроде как даже лучше Claude, и в половине тестов - лучше GPT-4o.

Русский понимает неплохо (несмотря на то что сама модель китайская) и весьма быстрая, а также что немаловажно - API (насколько я посмотрел) совместимо с OpenAI.

Ценники: $0.27 per million input tokens and $1.10 per million output tokens. #llm
👍3
Недавно обнаружил, что один из моих любимых научно-фантастических авторов выпустил очередную книгу, которая доступна только в виде аудиокниги в виде монолога. А я не очень привык к аудиокнигам, поэтому мы делаем что? Правильно, покупаем аудиокнигу, качаем mp3 и зовём на помощь нейронки чтобы а) транскрибировать б) перевести.

И если с первым проблем особо не возникло, какая-то из моделей вполне справилась локально за некоторое время, то вот со вторым - возникла трудность, потому что перевести en / ru эта модель не очень предназначена, а другие модели вроде Aya-23-8B не подходят под llama.cpp, а конвертить - ну там прямо таки linux way - это собери, тут напиши скрипты на питоне, разберись почему это говно не работает, запусти стопицот раз. И вобщем я начал искать какой-то движок, который бы мне перевёл 600 КБ текста с минимальными телодвижениями оффлайново. Потому что онлайново - это стоило бы денег :)

И нашёл кажется интересный движок msty, который можно self-hosted под Windows/Mac/Linux, умеет RAG и разные NVIDIA/AMD GPU и содержит даже какую-то коллекцию промптов. И что самое клёвое - очень удобный поиск и загрузка моделей, прямо из UI.

Качаю, пробую :) #llm
👍8🔥4🤯1
9️⃣ 0️⃣ 0️⃣
🔥234👍2😁1🥱1