اون داستانی بود که چند بار تو توییتر گفتم مردم متن نمیخونن؟ اینکه کلا ۲ خط متن رو هم نمیتونن بخونن به کنار. من اخیرا موارد (جانوران) جدیدی رو مشاهده کردم که فایل صوتی (ویس) رو هم متوجه نمیشن. یعنی همون ۲ خط متن بود؟ اون رو فایل صوتی کردم. بازم متوجه نمیشن!!
مثال میزنم براتون. مثلا میگم عدد «۱۲۳۴» رو بفرستید. حالا چیزایی که میفرستن :
-۱۲۴۳
-۱۲۳
-۴۳۲۱
-یک دو سه چهار
من نمیدونم اینجا چه جوری زنده موندن؟ بعد مثلا با اسنپ و دیجیکالا چه جوری کار میکنن؟ چون UI اونا به مراتب از دو تا دکمه سخت تر و پیچیده تره. واقعا عجیبه. بعد دعوا هم میکنن که چرا ۱۲۴۳ رو فرستادم جواب نمیده :)
مثال میزنم براتون. مثلا میگم عدد «۱۲۳۴» رو بفرستید. حالا چیزایی که میفرستن :
-۱۲۴۳
-۱۲۳
-۴۳۲۱
-یک دو سه چهار
من نمیدونم اینجا چه جوری زنده موندن؟ بعد مثلا با اسنپ و دیجیکالا چه جوری کار میکنن؟ چون UI اونا به مراتب از دو تا دکمه سخت تر و پیچیده تره. واقعا عجیبه. بعد دعوا هم میکنن که چرا ۱۲۴۳ رو فرستادم جواب نمیده :)
👍40
از پیامرسان های داخلی به عنوان Message broker برای برقراری ارتباط بین VPS خارج از کشور و سرویس های داخلی دارم استفاده میکنم 😂
از ۴ جا سرور ایران خریدم. هیچ کدوم به اینترنت دسترسی نداشتن که به سرور خارجمون دسترسی پیدا کنه. لذا نه سرویس های پیامک کار میکرد و نه درگاه های پرداخت که اینجوری به روش خیلی کثافتی داره ارتباط برقرار میکنه. درخواست رو میذاره تو پیامرسان داخلی و اون یکی worker میاد برمیداره پردازش میکنه. کثافت خالص
از ۴ جا سرور ایران خریدم. هیچ کدوم به اینترنت دسترسی نداشتن که به سرور خارجمون دسترسی پیدا کنه. لذا نه سرویس های پیامک کار میکرد و نه درگاه های پرداخت که اینجوری به روش خیلی کثافتی داره ارتباط برقرار میکنه. درخواست رو میذاره تو پیامرسان داخلی و اون یکی worker میاد برمیداره پردازش میکنه. کثافت خالص
👍38
Dataphile
به عنوان یه کار فان یه کد ساده نوشتم توی cloudflare worker که هر ۱۲ ساعت میاد ارزونترین و گرونترین محصول دیجیکالا رو پیدا میکنه و لاگش رو نگهداری میکنه. هدف؟ هیچی! https://digikala-price-history.vahidbaghi.ir/
از ۲۳ خرداد آپدیت نشده! دقیقا ساعتی که اینترنت داخلی شد.
👍8
از شماره 77209865 زنگ زده میگه چند نفر تو خونه هستید؟ میگم به تو چه؟ میگه عدم همکاریتون رو ثبت میکنم. گفتم به تخمم :)
👍75
اخیرا یه چیزی رو کشف کردم در مورد prompt نویسی برای LLM ها. این موضوع که بهش بگید تو مختصص فلان هستی و فلان کار رو برای من بکن که از قبل همه میدونستیم. اما متوجه شدم اگر کلمه skeptic (شکاک) و paranoid رو توی persona بذارم نتایج بهتری میده. مثلا :
You are a skeptical and paranoid software security engineer
You are a skeptical and paranoid software security engineer
👍77
من چند وقت پیش برای یه جایی مکانیزم حذف اکانت رو در راستای حق فراموشی، پیادهسازی کردم. تصور کاربر اینه که تمام اطلاعاتش Shift+Delete میشه. اما طبیعتا اینجوری نیست. به خصوص وقتی کاربر تراکنش های مالی انجام داده باشه یا سرویس مورد نظر trial (اعتبار رایگان) داشته باشه.
چیزی که میخوام بگم رو هر کسی که یه مقدار برنامهنویسی کرده باشه و بشینه یه مقدار فکر کنه به همین نتایج میرسه و چیز خاصی قرار نیست بگم.
مکانیزمی که پیاده سازی کردم در حقیقت بهش میگن Data Anonymization که از نظر من اگر دقیق و درست پیادهسازی بشه، خیلی فرقی با اون Shift+Delete نداره. یعنی رکورد کاربر از دیتابیس حذف نمیشه. فقط به جای ستون هایی که به هر شکلی میتونن هویت کاربر رو مشخص کنن، یه چیز رندوم قرار میگیره و آپدیت میشه. به این ترتیب این رکورد که Anonymized شده عملا معلوم نیست برای کی بوده. جزئیات دیگهای هم داره که اگر بحث پیش بیاد میگم. صرفا دارم به نمای کلی رو میگم.
اما برای سیستمی که trial داره باید چیکار کنیم؟ مثلا میشه شماره تلفن کاربر رو به صورت hash شده یه جایی ذخیره کرد که وقتی اون کاربر احساس زرنگی کرد و بعد از حذف اکانت خواست دوباره ثبت نام کنه، نتونه دوباره اعتبار رایگان بگیره. الان حریم خصوصی کاربر هم نقض نشده. یعنی حتی اگر دوباره هم ثبت نام کنه، اکانت جدیدش به هیچ شکلی به اون رکورد قبلی متصل نمیشه. اما جلوی سوء استفاده هم گرفته شده.
البته تا زمانی که رسما Shift+Delete نشه، هزار تا اما و اگر ممکنه پیش بیاد. مثلا اینکه اون لیستی که hash شماره تلفن ها داخش وجود داره رو اگر یه نفر brute force کنه چی؟ خب salt میذاریم. اگر salt لو بره چی؟ یه کاری میکنیم لو نره. اصلا توی سرور نمیذاریم بمونه که لو بره. روشش رو تو پست های قبلی گفتم. خلاصه این اما و اگر ها، راه حل هایی داره که تا حد خوبی مشکل رو حل میکنه ولی تا زمانی که رسما Shift+Delete نشه، این اما و اگر ها تموم نمیشه و فکر نمیکنم سیستمی باشه که Shift+Delete کنه.
چیزی که میخوام بگم رو هر کسی که یه مقدار برنامهنویسی کرده باشه و بشینه یه مقدار فکر کنه به همین نتایج میرسه و چیز خاصی قرار نیست بگم.
مکانیزمی که پیاده سازی کردم در حقیقت بهش میگن Data Anonymization که از نظر من اگر دقیق و درست پیادهسازی بشه، خیلی فرقی با اون Shift+Delete نداره. یعنی رکورد کاربر از دیتابیس حذف نمیشه. فقط به جای ستون هایی که به هر شکلی میتونن هویت کاربر رو مشخص کنن، یه چیز رندوم قرار میگیره و آپدیت میشه. به این ترتیب این رکورد که Anonymized شده عملا معلوم نیست برای کی بوده. جزئیات دیگهای هم داره که اگر بحث پیش بیاد میگم. صرفا دارم به نمای کلی رو میگم.
اما برای سیستمی که trial داره باید چیکار کنیم؟ مثلا میشه شماره تلفن کاربر رو به صورت hash شده یه جایی ذخیره کرد که وقتی اون کاربر احساس زرنگی کرد و بعد از حذف اکانت خواست دوباره ثبت نام کنه، نتونه دوباره اعتبار رایگان بگیره. الان حریم خصوصی کاربر هم نقض نشده. یعنی حتی اگر دوباره هم ثبت نام کنه، اکانت جدیدش به هیچ شکلی به اون رکورد قبلی متصل نمیشه. اما جلوی سوء استفاده هم گرفته شده.
البته تا زمانی که رسما Shift+Delete نشه، هزار تا اما و اگر ممکنه پیش بیاد. مثلا اینکه اون لیستی که hash شماره تلفن ها داخش وجود داره رو اگر یه نفر brute force کنه چی؟ خب salt میذاریم. اگر salt لو بره چی؟ یه کاری میکنیم لو نره. اصلا توی سرور نمیذاریم بمونه که لو بره. روشش رو تو پست های قبلی گفتم. خلاصه این اما و اگر ها، راه حل هایی داره که تا حد خوبی مشکل رو حل میکنه ولی تا زمانی که رسما Shift+Delete نشه، این اما و اگر ها تموم نمیشه و فکر نمیکنم سیستمی باشه که Shift+Delete کنه.
11👍51
Dataphile
جزئیات دیگهای هم داره که اگر بحث پیش بیاد میگم. صرفا دارم به نمای کلی رو میگم.
تاکید میکنم که این قضیه مورد به مورد میتونه متفاوت باشه. قوانین برای پلتفرم های مختلف و همچنین در کشور های مختلف متفاوته. در این پست فقط میخواستم Data Anonymization رو بگم. Data Anonymization فقط یکی از قطعات پازل حذف اکانت کاربره.
دقیقا دلیل این جملهای که نوشتم «جزئیات دیگهای هم داره که اگر بحث پیش بیاد میگم. صرفا دارم به نمای کلی رو میگم.» همینه.
دقیقا دلیل این جملهای که نوشتم «جزئیات دیگهای هم داره که اگر بحث پیش بیاد میگم. صرفا دارم به نمای کلی رو میگم.» همینه.
👍11
من موقع خرید کردن خیلی مرتب کردن بر اساس قیمت رو دوست دارم. یعنی حتی از سوپرمارکت بخوام پفک هم بخرم، از گرانترین به ارزانترین مرتب میکنم و بعد داخل لیست میام پایین و طبق اون بودجهای که میخوام خرج کنم یه چیزی رو انتخاب میکنم.
بعد برام سوال شد که گرونترین محصول هر دستهبندی در کل سوپرمارکت های اسنپ تهران چیه؟ اول دیتا رو جمع کردم و بعد آنومالی های قیمت رو حذف کردم (چون قیمت بعضی محصولات اشتباه درج شده بود - مثلا سرکه چرا باید ۶۸ میلیون تومن باشه؟) و بعد این نمودار رو رسم کردم
فایل html رو در ادمه قرار میدم که بتونید خودتون هر دستهبندی رو باز کنید.
تنها نکتهای که به نظرم میرسه اینه که بعضی سوپرمارکت ها بعضی محصولات رو خیلی بیشتر از قیمتی که هست به مشتری فرو میکنن. آنومالی قیمت نیستا. مثلا یه محصولی ۸۰۰ تومنه، میفروشه ۱۵۰۰.
بعد برام سوال شد که گرونترین محصول هر دستهبندی در کل سوپرمارکت های اسنپ تهران چیه؟ اول دیتا رو جمع کردم و بعد آنومالی های قیمت رو حذف کردم (چون قیمت بعضی محصولات اشتباه درج شده بود - مثلا سرکه چرا باید ۶۸ میلیون تومن باشه؟) و بعد این نمودار رو رسم کردم
فایل html رو در ادمه قرار میدم که بتونید خودتون هر دستهبندی رو باز کنید.
تنها نکتهای که به نظرم میرسه اینه که بعضی سوپرمارکت ها بعضی محصولات رو خیلی بیشتر از قیمتی که هست به مشتری فرو میکنن. آنومالی قیمت نیستا. مثلا یه محصولی ۸۰۰ تومنه، میفروشه ۱۵۰۰.
👍55
بازم من نظری روی valid بودن یا نبودن دیتا ندارم. قیمت بعضی محصولات عجیبه. حالا ممکنه اشتباه قیمتگذاری موقتی باشه یا گرونفروشی.
دلیل اینکه ۲۰ تا گرونترین محصول هر دسته رو انتتخاب کردم دقیقا همین بود. یعنی دیدم با الگوریتم های تشخیص آنومالی هم نمیشه این قضیه رو متوجه شد، لذا تو هر دسته بندی به صورت دستی اون محصول گرون رو بررسی میکنم که آیا واقعا قیمتش همینه یا نه.
هدف نهایی؟ میخواستم خوراکی جدید پیدا کنم، در نتیجه ۷ میلیون رکورد رو آنالیز کردم 😂😂
دلیل اینکه ۲۰ تا گرونترین محصول هر دسته رو انتتخاب کردم دقیقا همین بود. یعنی دیدم با الگوریتم های تشخیص آنومالی هم نمیشه این قضیه رو متوجه شد، لذا تو هر دسته بندی به صورت دستی اون محصول گرون رو بررسی میکنم که آیا واقعا قیمتش همینه یا نه.
هدف نهایی؟ میخواستم خوراکی جدید پیدا کنم، در نتیجه ۷ میلیون رکورد رو آنالیز کردم 😂😂
👍33
Dataphile
اگر به GPU برای پردازش نیاز دارید سایت vast.ai هم گزینه خوبیه. قیمت هاش هم به نظرم مناسبه و پرداخت با کریپتو هم قبول میکنه. اگر دوست داشتید با لینک من ثبت نام کنید : https://cloud.vast.ai/?ref=61931
سرویس vast.ai گزینه پرداخت با coinbase رو هم اضافه کرده. قبلا فقط https://crypto.com رو قبول میکرد ولی الان با coinbase شما عملا هر رمزارزی در هر کیفپولی داشته باشید میتونید با یک کلیک خرید کنید. همین الان خودم با USDC که در کیف پول Trust Wallet داشتم حسابم رو شارژ کردم
Crypto
Crypto.com | Securely Buy, Sell & Trade Bitcoin, Ethereum and 400+ Altcoins
Over 140 million users buy, sell, and trade Bitcoin, Ethereum, NFTs and more on Crypto.com. Join the World's leading crypto trading platform.
👍9
من تو یکی از سایت هام حتی اگر DevTools رو باز کنن هم نوتیف میگیرم 😂
چه جوری؟ اگر تو فایل css مثلا تکه کد زیر رو بذارید :
/*# sourceMappingURL=FILENAME.map */
یا مثلا توی فایل js تکه کد زیر رو بذارید :
//# sourceMappingURL=FILENAME.map
یه درخواست به FILENAME.map ارسال میکنه. چه زمانی این کار رو میکنه؟ زمانی که DevTools رو توی مرورگر باز کرده باشید که مثلا یه بررسی انجام بدید یا کرم بریزید. منم اونور log میکنم و سریع متوجه میشم یه نفر میخواد کرم بریزه 😂😂
چه جوری؟ اگر تو فایل css مثلا تکه کد زیر رو بذارید :
/*# sourceMappingURL=FILENAME.map */
یا مثلا توی فایل js تکه کد زیر رو بذارید :
//# sourceMappingURL=FILENAME.map
یه درخواست به FILENAME.map ارسال میکنه. چه زمانی این کار رو میکنه؟ زمانی که DevTools رو توی مرورگر باز کرده باشید که مثلا یه بررسی انجام بدید یا کرم بریزید. منم اونور log میکنم و سریع متوجه میشم یه نفر میخواد کرم بریزه 😂😂
4👍48
میدونید چرا به این چیزا و سایر مواردی که میگم فکر میکنم؟ تا حالا با اسپمر هندی مقابله کردید؟ هندی ها امام اسپمر ها هستن. یه بار باهاشون مقابله کنید قوی میشید 😂
👍29
این قضیه سردی و گرمی غذا ها که میگن؟
من برام جالبه با دیتا قضیه رو بررسی کنم. مثلا دیتای برنامه nutrition 4 (که متخصصان تغذیه استفاده میکنن) رو برداریم. جدول غذا هایی که اینا میگن سرد یا گرمه رو برداریم. یه الگوریتم clustering بزنیم ببینم چه چیز مشترکی بینشون وجود داره.
من برام جالبه با دیتا قضیه رو بررسی کنم. مثلا دیتای برنامه nutrition 4 (که متخصصان تغذیه استفاده میکنن) رو برداریم. جدول غذا هایی که اینا میگن سرد یا گرمه رو برداریم. یه الگوریتم clustering بزنیم ببینم چه چیز مشترکی بینشون وجود داره.
👍69
بحث هایی که با LLM ها میکنم :
- این متن رو برای کسی که در حد اورانگوتان میفهمه بازنویسی کن
- نه، ببین فرض کن کاربر گاوه. فرض کن الاغه. حالا دوباره متن رو بازنویسی کن
- آخه کاربری که در حد جلبک مغز نداره، چطوری جمله «لطفاً جهت ادامه، هویت خود را احراز نمایید» رو قرار متوجه بشه؟ ما رو باش که داریم از اورانگوتان کمک میگیریم برای کمک به یه اورانگوتان دیگه.
- این متن رو برای کسی که در حد اورانگوتان میفهمه بازنویسی کن
- نه، ببین فرض کن کاربر گاوه. فرض کن الاغه. حالا دوباره متن رو بازنویسی کن
- آخه کاربری که در حد جلبک مغز نداره، چطوری جمله «لطفاً جهت ادامه، هویت خود را احراز نمایید» رو قرار متوجه بشه؟ ما رو باش که داریم از اورانگوتان کمک میگیریم برای کمک به یه اورانگوتان دیگه.
👍25
Dataphile
بحث هایی که با LLM ها میکنم : - این متن رو برای کسی که در حد اورانگوتان میفهمه بازنویسی کن - نه، ببین فرض کن کاربر گاوه. فرض کن الاغه. حالا دوباره متن رو بازنویسی کن - آخه کاربری که در حد جلبک مغز نداره، چطوری جمله «لطفاً جهت ادامه، هویت خود را احراز نمایید»…
حالا دقیقا این مضامین رو به کار نمیبرم. پرامپتی که استفاده میکنم اینه 😁 :
https://gist.github.com/vahidbaghi/0665cb66226b44d871e4c663691b1d0d
https://gist.github.com/vahidbaghi/0665cb66226b44d871e4c663691b1d0d
Gist
Prompt for dummies
Prompt for dummies. GitHub Gist: instantly share code, notes, and snippets.
👍8
طرف ویدئو ساخته با این عنوان بعد تو کامنت ها یکی بهش ریده بعد اینجوری جواب داده :/
اینکه پاسپورت و آدرس یه کشور دیگه غیر از ایران رو موقع ثبت نام توی adsense وارد کنیم دیگه عنوان ویدئوش نمیشه «ساخت حساب گوگل ادسنس در ایران»
خب عقب افتاده اگر این مدارک رو داشتم اصلا به راهنمایی توی عقب افتاده نیاز نداشتم. خودم دستم کجه مگه ثبت نام کنم.
اینکه پاسپورت و آدرس یه کشور دیگه غیر از ایران رو موقع ثبت نام توی adsense وارد کنیم دیگه عنوان ویدئوش نمیشه «ساخت حساب گوگل ادسنس در ایران»
خب عقب افتاده اگر این مدارک رو داشتم اصلا به راهنمایی توی عقب افتاده نیاز نداشتم. خودم دستم کجه مگه ثبت نام کنم.
👍50
Dataphile
این قضیه سردی و گرمی غذا ها که میگن؟ من برام جالبه با دیتا قضیه رو بررسی کنم. مثلا دیتای برنامه nutrition 4 (که متخصصان تغذیه استفاده میکنن) رو برداریم. جدول غذا هایی که اینا میگن سرد یا گرمه رو برداریم. یه الگوریتم clustering بزنیم ببینم چه چیز مشترکی بینشون…
یکی از دوستان زحمت کشیدن و این تحلیل و بررسی رو انجام دادن و در ریپازیتوری زیر قرار دادن :
https://github.com/madrezanouri/The-Cold-The-Warm-and-the-Moderate
توضیحاتشون رو اینجا هم میتونید بخونید :
https://t.iss.one/dataphilechat/1704
https://t.iss.one/dataphilechat/1727
https://github.com/madrezanouri/The-Cold-The-Warm-and-the-Moderate
توضیحاتشون رو اینجا هم میتونید بخونید :
https://t.iss.one/dataphilechat/1704
https://t.iss.one/dataphilechat/1727
GitHub
GitHub - madrezanouri/The-Cold-The-Warm-and-the-Moderate: A machine learning project to classify foods into Cold, Hot, and Moderate…
A machine learning project to classify foods into Cold, Hot, and Moderate temperaments based on nutritional data, inspired by traditional medicine. - madrezanouri/The-Cold-The-Warm-and-the-Moderate
👍17