так работает Mixtral 8x22B на M3 Max, 128GB RAM с 4-bit квантизацией (4.5 токена в секунду)

#Mixtral #Apple #M3
———
@tsingular