گوگلی ها با استفاده از RL در هوش مصنوعی یه روش سورت کردن جدید ابداع کردند.
این مقاله در Natute چاپ شده و کد سورت هم به زبان c++ نیز در گیتهاب به صورت اوپن سورس گذاشته شده‌.

این اولین باریه که یه هوش مصنوعی تو ابداع یه روش طراحی الگوریتمی/ساختمان داده ای داره دخالت میکنه :)
https://www.deepmind.com/blog/alphadev-discovers-faster-sorting-algorithms

تسلیت به جامعه‌ی علمی ایران 🖤

آموزش فریم‌ورک LangChain برای توسعه اپلیکیشن‌های مبتنی بر LLM

این کورس کوتاه یک ساعته توسط آقای Harrison Chase خالق فریم‌ورک به همراه Andrew Ng تدریس شده.

https://www.deeplearning.ai/short-courses/langchain-for-llm-application-development/

زبون برنامه‌نویسی C بیش از۵۰ سال پیش توسط Dennis Ritchie ساخته شده و بعضی افراد (🤨) اون رو یک زبون قدیمی (و احیانا منسوخ!) میدونن.
اما واقعیت اینجاست که این زبون هم مثل بقیه زبو‌ن‌ها آپدیت میشه و نسخه‌های مدرن اون وجود داره. آخرین آپدیت C23 است که در حال حاضر نسخه Preview است و به زودی نسخه Stable اون عرضه میشه.

زبون C جوری با زندگی بشر گره خورده که منسوخ شدنش به این راحتی‌ها هم نیست. کامپیوتر رو که روشن می‌کنیم Bootloader (مثلا GRUB) که با C نوشته شده میاد بالا و سیستم‌عامل (مثلا macOS یا Ubuntu یا Windows) که بیشتر بخش‌های کرنل اش با C نوشته شده رو اجرا می‌کنه. همینطور که با کامپیوتر کار می‌کنیم میلیون‌ها خط کد ترجمه شده از C پشت پرده در حال اجرا اند، مرورگر وب (مثلا Chrome یا Firefox) رو که باز می‌کنیم با C نوشته شده، یه وبسایت (مثلا maktabkhooneh.org) رو که توش باز میکنیم یه درخواست به سمت سرور مکتب‌خونه میره و از CDN ها و Reverse Proxy ها و کش ها و Web Server هایی رد میشه که همگی احتمالا به زبون C نوشته شده اند و روی سرورهایی که سیستم عاملشون با C نوشته شده اجرا میشن. در نهایت به کد بک اند مکتب‌خونه می‌رسه که مثلا با پایتون نوشته شده ولی مفسر پایتون و ASGI Server و … همگی با C نوشته شده اند. داخل همین کدهای پایتون هم خیلی از پکیج‌های اصلی مثل Numpy قدرتشون رو از C میگیرن. دیگه من وارد Embedded System ها نمیشم ولی شما تا تهش برید.


در کل هر جا که نیاز به سرعت خیلی بالا دارید، نیاز به مصرف حافظه خیلی بهینه دارید، نیاز به نزدیکی به سخت‌افزار و دسترسی سطح پایین به درایورها، کرنل ها و سلول‌های حافظه دارید، C یکی از بهترین گزینه‌ها است.

ما در دانشگاه صنعتی شریف معتقدیم که زبون C یکی از بهترین گزینه‌ها برای شروع کار مهندسین کامپیوتر است که به درک دقیق ساختار زیرین و سطح پایین‌تر کامپیوتر کمک شایانی می‌کند. حتی اگر قرار نباشد دانشجو بعدا از این زبان استفاده مستقیم کند اما بعد از C یادگیری هر زبون دیگه ای راحت‌تر خواهد بود.

دوره زیر از کلاس‌های درس مبانی برنامه‌نویسی کامپیوتر اینجانب در دانشگاه صنعتی شریف ضبط شده که می‌تونه منبع خوبی برای دانشجویان نوورود به این رشته، افرادی که سخت به این کلاس‌ها دسترسی دارند و همینطور سایر علاقه‌مندان به زبان C باشه. در این دوره تلاش شده مفاهیم پایه برنامه‌نویسی و علوم کامپیوتر به صورت دقیق، به‌روز و مدرن به دانشجویان عرضه شود.
امیدوارم که مفید و در راستای پیشرفت دانشجویان و متخصصان سرزمینمون باشه


https://www.aparat.com/playlist/4834378

اگر بخشی از کد پایتون شما محسابات عددی سنگین یا بخش‌های Performance-critical و یا توابع NumPy است، می‌تونید با پکیج Numba اون بخش رو به صورت JIT کامپایل کنید.
اولین باری که تابع فراخوانی میشه، ترجمه به زبان ماشین اتفاق میفته و از سری بعد با پرفورمنسی نزدیک به پرفورمنس native تابع اجرا میشه.
البته توجه کنید که پکیج Numba فقط تابع ها رو کامپایل می‌کنه و برای کامپایل کردن کد Coroutine ها نمیشه ازش استفاده کرد. بنابراین اگرمی‌خواهید همزمان از asyncio هم استفاده کنید مجبورید به جای این پکیج از Cython استفاده کنید.

https://numba.readthedocs.io/en/stable/user/5minguide.html

یکی از اصلی‌ترین مفاهیمی که مهندسین داده (Data Engineers) روزانه با آن سر و کار دارن، مفهوم Data Transformation است.
به‌صورت خیلی خلاصه، دیتا‌های مختلف و پراکنده رو از دیتابیس‌های مختلف می‌خونن، اون‌ها رو به شکلی که برای تحلیل‌ (Data Analysis) مناسب باشه ترکیب/تبدیل می‌کنن و در یک دیتاورهاوس (یا دیتابیس دیگر) برای مقاصد تحلیلی یا یادگیری ماشینی ذخیره می‌کنند.
یکی از ابزار‌های پرکاربرد برای پیاده‌سازی پایپلاین تبدیل دیتا، ابزار اوپن‌سورس DBT است. این ابزار برای کار با دیتابیس‌ها (و دیتاورهاوس‌ها)ی مبتنی بر SQL ساخته شده اما با MinIO و فایل‌های فلت مثل CSV و Parquet هم کاملا سازگار است.
برای استفاده از DBT اول به کمک pip اون رو نصب کنید (طبیعیه که انتظار میره پایتون از قبل نصب باشه)
---------------------------------------
pip install dbt
---------------------------------------
یک دیرکتوری ساخته و داخل آن (در محیط ترمینال) دستور dbt init رو بزنید تا یک پروژه DBT شامل فایل‌های و دیرکتوری‌های مورد نیاز ساخته شود.
فایل profiles.yml شامل تنظیمات دیتابیس‌های شما است. اطلاعات اون رو کامل کنید. مثلا:
---------------------------------------
my_source_database:
target: dev
outputs:
dev:
type: postgres
host: source_host
user: source_user
password: source_password
database: source_database
schema: source_schema
my_target_database:
target: prod
outputs:
prod:
type: postgres
host: target_host
user: target_user
password: target_password
database: target_database
schema: target_schema
---------------------------------------
بعد داخل دیرکتوری models می‌تونید فایل‌هایی با پسوند .sql بسازید که کار تبدیل داده رو انجام می‌دن. به این فایل‌ها DBT model می‌گیم. مثلا:
---------------------------------------
-- Define the source and target database connections
-- Replace my_source_database and my_target_database with your actual connection names
{{ config(
materialized='table',
tags=['extract_and_load'],
schema='my_target_database'
) }}
-- Extract data from the source database
WITH extracted_data AS (
SELECT
column1,
column2,
...
FROM
{{ source('my_source_database', 'source_table') }}
)
-- Load the extracted data into the target database
INSERT INTO {{ target('my_target_database', 'target_table') }}
SELECT
column1,
column2,
...
FROM
extracted_data;
---------------------------------------
بعد دستور dbt compile رو زده و کدها رو کامپایل کنید (و اگه خطایی وجود داره رفع کنید)
نهایتا هر زمان که خواستید (مثلا هر شب) دستور dbt run رو اجرا کنید تا همه‌ی DBT Model ها اجرا شوند.

اطلاعات بیشتر:
https://docs.getdbt.com/

دوره آموزشی تابستانه هوش مصنوعی پروژه محور
اطلاعات بیشتر : https://scs.ipm.ac.ir/ais.jsp

زمانی که شما یه پروژه هوش مصنوعی یا علوم داده رو مثلا در دانشگاه انجام می‌دید، بیشتر تمرکزتون روی بخش‌های مربوط به تحلیل داده و مدل‌سازی است. اما زمانی که به عنوان یک Machine Learning Engineer و یا یک Data Scientist وارد صنعت می‌شید، از شما انتظار میره که یک محصول واقعی بسازید که در عمل و زیر ترافیک بسیار زیاد، با سرعت قابل قبول کار کنه و از دسترس خارج نشه.
این تقریبا بزرگ‌ترین چالشیه که وقتی وارد بازار کار می‌شید دارید. چالشی که مهندسین نرم‌افزار کم‌تر با اون مشکل دارن.

برای حل این مشکل، من یه codebase به زبون Python آماده کردم که به شما اجازه می‌ده به جای تمرکز روی بخش‌های مهندسی و MLOps روی حل مساله متمرکز شید و در نهایت مدلی که train کردید رو داخل این کدبیس قرار بدید و یه سرویس وب آماده داشته باشید که به بهترین شکل ممکن کار کنه.

- برای توسعه این کدبیس از فریم‌ورک FastAPI به‌همراه سرور Uvicorn استفاده شده و بیشتر بخش‌ها به کمک Coroutine ها به‌صورت Async در اومده. بنابراین می‌تونید انتظار سرعت بالایی (حتی در مواردی نزدیک به زبون Go) ازین سرویس داشته باشید.
- سعی شده ساختار کد تا جای ممکن، ساده ولی حرفه‌ای و ساختارمند بر اساس الگوی MVC باشه ولی از Object Oriented تا جای ممکن استفاده نشه.
- از redis به عنوان feature store استفاده شده اما قابلیت جایگزینی با feast هم وجود داره
- برای بررسی و تحلیل پرفورمنس سیستم در عمل، همه ورودی/خروجی‌ها و زمان‌های اجرا در قالب Analytical Logs روی stdout چاپ می‌شن.
- پروژه کاملا dockerize شده و آماده استفاده روی کوبرنتیز و داکره.
- پروژه به صورت HA میاد بالا. یعنی همزمان چند نسخه از اون روی سرورهای مختلف اجرا می‌شن تا در صورت مشکل، سرویس از دسترس خارج نشه.
- همه practice های خوب MLOps توش رعایت شده مثلا اینکه CI/CD با GitLab و Github روش وجود داره.
- داکیومنت خودکار بر اساس Swagger داره
- یک پروژه ریکامندر سیستم فیلم برای تست روی سرویس قرار گرفته که می‌تونید بر اساس نیاز تغییرش بدید

https://github.com/xei/fastapi-blueprint

جدیدترین آگهی‌های شغلی حوزه دیتا (ایران)
در این پست، چند پوزیشن شغلی مرتبط با هوش مصنوعی در ایران که در حال حاضر در حال جذب اند رو معرفی می‌کنیم برای دوستانی که جویای شغل اند:


مدیر تیم دیتا - ازکی
https://jobinja.ir/1001334

- متخصص یادگیری ماشین (object detection) - شرکت های‌وب
https://www.irantalent.com/en/job/artificial-intelligence-expert/112778

- متخصص علوم داده - شرکت بورس تهران
https://www.irantalent.com/en/job/data-scientist/115052

- متخصص علوم داده - ماهکس
https://www.irantalent.com/en/job/data-science-specialist/112471

متخصص علوم داده - ایرانسل
https://www.irantalent.com/en/job/data-scientist/111903

تحلیل‌گر داده (قیمت‌گذاری) - دیجی‌کالا
https://www.irantalent.com/en/jobs/search?keyword=machine-learning&language=english#search

متخصص کلان داده - شرکت بورس تهران
https://www.irantalent.com/en/job/data-engineer-bige-deta/114861

متخصص هوش مصنوعی - توسن
https://jobinja.ir/999489

متخصص یادگیری ماشین - طاقچه
https://jobinja.ir/998476

متخصص یادگیری ماشین - نیک‌آموز
https://jobinja.ir/1007126

تحلیلگر داده - پارس پک
https://jobinja.ir/984742

متخصص علوم داده - اسنپ
https://jobinja.ir/1009325
https://jobinja.ir/1011733

متخصص علوم داده - اسمارتک
https://jobinja.ir/1001226

متخصص علوم داده - بلوبانک
https://jobinja.ir/1011856

متخصص Data Platform - اسنپ
https://jobinja.ir/1002250

مهندس داده - مفید
https://jobinja.ir/996099

مهندس داده - شیپور
https://jobinja.ir/1008298

متخصص کلان‌داده - بهسازان ملت
https://jobinja.ir/984691

تحلیلگر داده - اسنپ
https://jobinja.ir/1009352

کارشناس جونیور علوم داده - کیلید
https://jobinja.ir/994211

کاراموز یادگیری ماشین - رستاوا
https://jobinja.ir/1005054

اتصال ایجنت LangChain به Streamlit

https://buff.ly/44hDQh6

زبان برنامه‌نویسی جدید برای اسپارک: انگلیسی!!

https://www.databricks.com/blog/introducing-english-new-programming-language-apache-spark

سرویس Google Bard می‌تواند UI طراحی شده توسط یک Visual Designer رو به کد تبدیل کند...

متا مدل زبانی Llama 2 رو اوپن‌سورس کرد...

https://ai.meta.com/llama

VeLO, the system that eliminates the need for optimizer hyperparameters

https://www.deeplearning.ai/the-batch/velo-the-system-that-eliminates-the-need-for-optimizer-hyperparameters/?utm_campaign=The%20Batch&utm_content=258012456&utm_medium=social&utm_source=linkedin&hss_channel=lcp-18246783

آموزش ساخت چت‌بات به کمک مدل زبانی Llama2 و Streamlit


ویدئو:
https://youtu.be/J8TgKxomS2g?si=qDDFTQmR3qwXp3Ko
بلاگ پست:
https://blog.streamlit.io/how-to-build-a-llama-2-chatbot/
دمو:
https://llama2.streamlit.app/

ریکامندر سیستم اینستاگرام چگونه کار می‌کند...

https://engineering.fb.com/2023/08/09/ml-applications/scaling-instagram-explore-recommendations-system/

ریکامندر سیستم اینستاگرام بسیار شبیه به ریکامندر سیستم پیاده‌سازی شده در دوره‌ی آموزشی زیر است که می‌توانید به رایگان آن را مشاهده کنید:
https://t.iss.one/schoolofai/537

یکی از محبوب‌ترین و مرسوم‌ترین دیتاست‌های بنچ‌مارک برای پژوهش در زمینه‌هایی مثل ریکامندر سیستم‌ها و پردازش نظرات کاربران و ... دیتاست Amazon Per-category Review است.
این دیتاست از طریق ابزار‌های طراحی پایپلاین ورودی مثل TensorFlow Datasets به راحتی قابل دسترس بود.
اما اخیرا این دیتاست از روی سرور آمازون (https://s3.amazonaws.com/amazon-reviews-pds/tsv/amazon_reviews_us_Books_v1_02.tsv.gz) غیرقابل‌دسترسی شده و اگر بخواهید از TFDS استفاده کنید با خطای ۴۰۳ رو‌برو می‌شید.
به همین دلیل، من تعداد زیادی پیام از عزیزان در این رابطه گرفته ام که تصمیم گرفتم یک تکه‌کد برای دانلود این دیتاست از منبع دیگر (دانشگاه سن‌دیگو)، پیش‌پردازش و تبدیل اون به TensorFlow Datasets و Pandas Dataframe بنویسم تا کمک‌حال عزیزان باشه.

این کد از طریق نوت‌بوک زیر قابل دسترس است:
https://gist.github.com/xei/14ef271ffeb8e8437ec5039618655350


فقط توجه کنید که اگر برای کار پژوهشی معتبر می‌خواهید از این دیتاست استفاده کنید، حتما در گوگل فرم زیر از مالک دیتاست اجازه بگیرید:
https://docs.google.com/forms/d/e/1FAIpQLSeniNBetoz83H0QXxrfxPNoq7g6pkbAEcqrlrYiNJXZD5YT6g/viewform
و همینطور مقاله‌ی زیر رو cite کنید:
https://dx.doi.org/10.18653/v1/D19-1018

لکچر آموزشی LangChain توسط Ivan Resnikov
(تا الان ۲ جلسه از ۱۰ جلسه این لکچر منتشر شده)

جلسه اول (مقدمه):
https://github.com/IvanReznikov/DataVerse/tree/main/Courses/LangChain/Lecture1.%20Introduction%20to%20LangChain

جلسه دوم (مدل‌ها):
https://github.com/IvanReznikov/DataVerse/tree/main/Courses/LangChain/Lecture2.%20Models

صفحه اصلی:
https://github.com/IvanReznikov/DataVerse/tree/main/Courses/LangChain

وب‌سایت https://www.chatbase.co به شما اجازه می‌ده به‌سادگی و با چند کلیک، دیتای خودتون رو در قالب فایل یا متن یا وب‌سایت یا ... بهش بدید و یک چت‌بات (شبیه به ChatGPT) براتون می‌سازه که می‌تونید به‌راحتی داخل وب‌سایت خودتون یا واتس‌اپ یا اسلک یا ... ازش استفاده کنید.
از این سرویس می‌شه برای اضافه‌کردن بات خدمات مشتریان به سایت یا گزارش تحلیلی شاخص‌های داده‌ای موجود برای مدیران سازمان از طریق واتس‌اپ و ... استفاده کرد.

شرکت مایکروسافت با همکاری Anaconda قدرت پایتون رو به Excel می‌آورد.

ازین‌پس بدون نصب هیچ ابزار اضافی، می‌توان در نسخه‌های جدید Microsoft 365 (آفیس قدیم) از توابع و پکیج‌های پایتون مثل Pandas و Matplotlib برای پاکسازی، پیش‌پردازش و تحلیل داده و حتی آموزش مدل‌های یادگیری ماشین استفاده کرد. کافی‌است موقع نوشتن تابع در اکسل از py= استفاده کنید...

محققان علوم اعصاب دانشگاه UCSF توانستند با کاشت یک ایمپلنت در مغز یک خانم جوان که فلج شده و توان گفتار ندارد، افکار وی را به واژه‌گان و متن و سپس با صدای خودش به ویس تبدیل کنند.

سایت:
https://www.ucsf.edu/news/2023/08/425986/how-artificial-intelligence-gave-paralyzed-woman-her-voice-back

ویدیو:
https://youtu.be/iTZ2N-HJbwA