با عرض سلام در راستاي ادامه تحقيقات مشترك سعي داريم از ١ ام دي ماه روي حوزه ي LLM مدل ها كار كنيم.
این کار تحت نظر استاد
Rex (Zhitao) Ying
انجام میشه.
link: https://scholar.google.com.au/citations?user=6fqNXooAAAAJ&hl=en
۲نفر براي همکاری نياز داريم.

BioPars: a pre-trained biomedical large language model for persian biomedical text mining.
١- مراحل اوليه: جمع اوري متن هاي فارسي بيولوژيكي از منابع (...)
٢- پيش پردازش متن ها و تميز كردن متن ها
٣- اموزش ترنسفورمرها ي مورد نظر
٤- استفاده از بردارها ي اموزش داده شده در سه تسك (...)
دوستاني كه مايل به مشاركت هستن مي تونين تا ١ دي بهم اطلاع بدن.
هزينه سرور به ازاي هر ساعت ١.٢ دلار مي باشد. و حدود ٢ هزار ساعت براي اموزش مدل زباني نياز ميباشد. هزينه به ترتيب براي نفرات علاوه بر انجام تسك ها به صورت زير مي باشد.
🔹نفر چهارم 500 دلار
🔺نفر پنجم 400 دلار
@Raminmousa
@Machine_learn
https://t.iss.one/+SP9l58Ta_zZmYmY0

⚡️ Byte Latent Transformer: Patches Scale Better Than Tokens

Byte Latent Transformer architecture (BLTs), a new byte-level LLM architecture that for the first time, matches tokenization-based LLM performance at scale, with significant improvements in inference efficiency and robustness.

🖥 Github: https://github.com/facebookresearch/blt

📕 Paper: https://arxiv.org/abs/2412.09871v1

🌟 Dataset: https://paperswithcode.com/dataset/mmlu

@Machine_learn

🀄 GuoFeng Webnovel: A Discourse-Level and Multilingual Corpus of Web Fiction

🖥 Github: https://github.com/longyuewangdcu/guofeng-webnovel

📕 Paper: https://arxiv.org/abs/2412.11732v1

🌟 Dataset: www2.statmt.org/wmt24/literary-trans

@Machine_learn

🌟 SmolLM2



⏩SmolLM2-1.7B🟢SmolLM2-1.7B-Instruct🟢Instruct GGUF

⏩SmolLM2-360M🟠SmolLM2-360M-Instruct 🟠Instruct GGUF

⏩SmolLM2-135M 🟠SmolLM2-135M-Instruct 🟠Instruct GGUF от комьюнити


▶️SmolLM2-1.7B :

from transformers import AutoModelForCausalLM, AutoTokenizer
checkpoint = "HuggingFaceTB/SmolLM2-1.7B"
device = "cuda" # for GPU usage or "cpu" for CPU usage
tokenizer = AutoTokenizer.from_pretrained(checkpoint)

model = AutoModelForCausalLM.from_pretrained(checkpoint).to(device)
inputs = tokenizer.encode("Gravity is", return_tensors="pt").to(device)
outputs = model.generate(inputs)
print(tokenizer.decode(outputs[0]))

📌Apache 2.0 License.


🟡Demo SmolLM2 1.7B


@Machine_learn

Time Series Visualization from Raw Data to Insights
🔹 #Code

@Machine_learn