جاسوسی از تماسها و موقعیت مکانی فقط با دانستن شماره تلفن
چند روز پیش در برنامه معروف تلویزیونی ۶۰ دقیقه در آمریکا، گروهی از نفوذگران آلمانی نشان دادند که میتوانند گوشی آیفون متعلق به یک نماینده کنگره آمریکا را جاسوسی کنند؛ به طوری که تماسهای تلفنی او را ضبط و موقعیت مکانیاش را در لسآنجلس ردیابی کنند.
این نفوذگران از یک آسییبپذیری امنیتی در پروتکل SS۷ استفاده کردهاند، که به آنها اجازه میدهد مکان تلفنهای همراه را شناسایی کرده و تماسهای تلفنی و پیامهای متنی قربانیان را استراق سمع کنند.
SS۷ مجموعهای از پروتکلهای سیگنالینگ تلفنی است که در سال ۱۹۷۵ ایجاد شده و در بیشتر تماسهای تلفنی شبکههای عمومی تلفن استفاده میشود. این پروتکل ارتباطی توسط بیش از ۸۰۰ اپراتور ارتباطی استفاده میشود تا به تبادل داده با یکدیگر، برقراری رومینگ و سایر ویژگیها بپردازند.
این شبکه ارتباطی SS۷ هنوز هم در برابر چندین اشکال امنیتی آسیبپذیر است که به نفوذگران و آژانسهای امنیتی و جاسوسی اجازه میدهد علیرغم وجود پیشرفتهترین پروتکلهای رمزنگاری در شبکههای سلولی به استراق سمع تماسهای تلفنی تلفنی و پیامهای کوتاه در مقیاسی عظیم بپردازند.
تنها چیزی که یک نفوذگر نیاز دارد این است که شماره تلفنهمراه هدف را داشته باشد تا هر جایی از دنیا او را ردگیری کرده و مکالماتش را گوش کند.
در این برنامه تلویزیونی با اجازه نماینده کنگره تد لیو، کارتن نال۱ از آزمایشگاه امنیتی آلمانی توانست به استراق سمع تلفن او پرداخته و مکان دقیق او را به صورت زمان واقع مشخص کند.
این نماینده کنگره در اینباره میگوید: «اول از همه درباره این نفوذ شگفتزده و سپس عصبانی شدم. چند ماه قبل من با رئیس جمهور تماس تلفنی داشتم و در این تماس درباره موضوع مهمی با ایشان صحبت کردم. اگر نفوذگران توانسته باشند این مکالمه را هم استراق سمع کنند واقعا چنین اتفاقی دردسرساز خواهد بود.»
چیزی که بیشتر موجب نگرانی است این است که علیرغم این که همین تیم محققان آلمانی در سال ۲۰۱۴ از وجود اشکالات امنیتی در SS۷ خبر دادهاند، این پروتکل کماکان با همان مشکلات امنیتی استفاده میشود. البته چند آسیبپذیری برطرف شدهاند، اما چند مورد دیگر، شاید از روی عمد، هنوز وجود دارند. گفته میشود این آسیبپذیریها هنوز وجود دارند تا سازمانهای دولتی بتوانند اهدافشان را ردگیری و استراق سمع کنند.
مشکل بزرگ SS۷ این است که اگر یکی از این اپراتورهای تلفن مورد نفوذ قرار گیرد، اطلاعات در مقیاس عظیمی شامل تماسهای صوتی، پیامهای متنی، اطلاعات صورتحساب، دادههای فرادادههای تلفنی در معرض خطر خواهند بود.
این ضعف بر روی همه مدلهای تلفنهمراه اثر میگذارد، چه مدلّهای اندروید و چه مدلهای iOS و این مشکلی بزرگ است.
اگرچه اپراتورها نمیتوانند یا نمیخواهند این مشکل امنیتی را وصله کنند، کاربران گوشیهای هوشمند میتوانند اقداماتی را انجام دهند.
چگونه میتوان از این نفوذ جلوگیری کرد؟
بهترین راه برای مقابله استفاده از برنامههای ارتباطی است که رمزنگاری انتها به انتها را ارائه میدهند تا دادههایتان پیش از اینکه از گوشی هوشمندتان خارج شوند رمزنگاری شوند.
این نماینده کنگره که در این آزمایش همکاری کرده بود از طرفداران رمزنگاری قوی است. در حالی که سازمان FBI میگوید این نوع رمزنگاریها حل بسیاری از پروندهها را با مشکل روبرو میکند.
آقای لیو از آٓژانسهایی که پشت پرده این آسیبپذیری هستند به شدت انتقاد کرده و گفته است این اشکال امنیتی میلیاردها مشتری شبکههای سلولی را تحت تاثیر قرار میدهد.
او در ادامه گفته است: «کسانی که درباره این آسیبپذیری اطلاع داشته و کاری نکردهاند باید اخراج شوند. نمیتوانید بیش از ۳۰۰ میلیون شهروند آمریکایی را در معرض خطر قرار دهید به خاطر اینکه برخی آٓژانسهای امنیتی شاید به برخی دادهها نیاز داشته باشند.»
برخی از این برنامهها که ویژگی رمزنگاری انتها به انتها را ارائه میدهند عبارتند از : سیگنال، واتساپ، وایبر و برنامه iMessage در اپل. این برنامههای ارتباطات کاربران را دربرابر استراق سمع محفوظ نگاه میدارند.
چند روز پیش در برنامه معروف تلویزیونی ۶۰ دقیقه در آمریکا، گروهی از نفوذگران آلمانی نشان دادند که میتوانند گوشی آیفون متعلق به یک نماینده کنگره آمریکا را جاسوسی کنند؛ به طوری که تماسهای تلفنی او را ضبط و موقعیت مکانیاش را در لسآنجلس ردیابی کنند.
این نفوذگران از یک آسییبپذیری امنیتی در پروتکل SS۷ استفاده کردهاند، که به آنها اجازه میدهد مکان تلفنهای همراه را شناسایی کرده و تماسهای تلفنی و پیامهای متنی قربانیان را استراق سمع کنند.
SS۷ مجموعهای از پروتکلهای سیگنالینگ تلفنی است که در سال ۱۹۷۵ ایجاد شده و در بیشتر تماسهای تلفنی شبکههای عمومی تلفن استفاده میشود. این پروتکل ارتباطی توسط بیش از ۸۰۰ اپراتور ارتباطی استفاده میشود تا به تبادل داده با یکدیگر، برقراری رومینگ و سایر ویژگیها بپردازند.
این شبکه ارتباطی SS۷ هنوز هم در برابر چندین اشکال امنیتی آسیبپذیر است که به نفوذگران و آژانسهای امنیتی و جاسوسی اجازه میدهد علیرغم وجود پیشرفتهترین پروتکلهای رمزنگاری در شبکههای سلولی به استراق سمع تماسهای تلفنی تلفنی و پیامهای کوتاه در مقیاسی عظیم بپردازند.
تنها چیزی که یک نفوذگر نیاز دارد این است که شماره تلفنهمراه هدف را داشته باشد تا هر جایی از دنیا او را ردگیری کرده و مکالماتش را گوش کند.
در این برنامه تلویزیونی با اجازه نماینده کنگره تد لیو، کارتن نال۱ از آزمایشگاه امنیتی آلمانی توانست به استراق سمع تلفن او پرداخته و مکان دقیق او را به صورت زمان واقع مشخص کند.
این نماینده کنگره در اینباره میگوید: «اول از همه درباره این نفوذ شگفتزده و سپس عصبانی شدم. چند ماه قبل من با رئیس جمهور تماس تلفنی داشتم و در این تماس درباره موضوع مهمی با ایشان صحبت کردم. اگر نفوذگران توانسته باشند این مکالمه را هم استراق سمع کنند واقعا چنین اتفاقی دردسرساز خواهد بود.»
چیزی که بیشتر موجب نگرانی است این است که علیرغم این که همین تیم محققان آلمانی در سال ۲۰۱۴ از وجود اشکالات امنیتی در SS۷ خبر دادهاند، این پروتکل کماکان با همان مشکلات امنیتی استفاده میشود. البته چند آسیبپذیری برطرف شدهاند، اما چند مورد دیگر، شاید از روی عمد، هنوز وجود دارند. گفته میشود این آسیبپذیریها هنوز وجود دارند تا سازمانهای دولتی بتوانند اهدافشان را ردگیری و استراق سمع کنند.
مشکل بزرگ SS۷ این است که اگر یکی از این اپراتورهای تلفن مورد نفوذ قرار گیرد، اطلاعات در مقیاس عظیمی شامل تماسهای صوتی، پیامهای متنی، اطلاعات صورتحساب، دادههای فرادادههای تلفنی در معرض خطر خواهند بود.
این ضعف بر روی همه مدلهای تلفنهمراه اثر میگذارد، چه مدلّهای اندروید و چه مدلهای iOS و این مشکلی بزرگ است.
اگرچه اپراتورها نمیتوانند یا نمیخواهند این مشکل امنیتی را وصله کنند، کاربران گوشیهای هوشمند میتوانند اقداماتی را انجام دهند.
چگونه میتوان از این نفوذ جلوگیری کرد؟
بهترین راه برای مقابله استفاده از برنامههای ارتباطی است که رمزنگاری انتها به انتها را ارائه میدهند تا دادههایتان پیش از اینکه از گوشی هوشمندتان خارج شوند رمزنگاری شوند.
این نماینده کنگره که در این آزمایش همکاری کرده بود از طرفداران رمزنگاری قوی است. در حالی که سازمان FBI میگوید این نوع رمزنگاریها حل بسیاری از پروندهها را با مشکل روبرو میکند.
آقای لیو از آٓژانسهایی که پشت پرده این آسیبپذیری هستند به شدت انتقاد کرده و گفته است این اشکال امنیتی میلیاردها مشتری شبکههای سلولی را تحت تاثیر قرار میدهد.
او در ادامه گفته است: «کسانی که درباره این آسیبپذیری اطلاع داشته و کاری نکردهاند باید اخراج شوند. نمیتوانید بیش از ۳۰۰ میلیون شهروند آمریکایی را در معرض خطر قرار دهید به خاطر اینکه برخی آٓژانسهای امنیتی شاید به برخی دادهها نیاز داشته باشند.»
برخی از این برنامهها که ویژگی رمزنگاری انتها به انتها را ارائه میدهند عبارتند از : سیگنال، واتساپ، وایبر و برنامه iMessage در اپل. این برنامههای ارتباطات کاربران را دربرابر استراق سمع محفوظ نگاه میدارند.
رمزگشایی فایلهای رمزشده توسط باجافزار TeslaCrypt
توسعهدهندگان نسخههای قدیمی بدافزار تسلاکریپت، در هنگام تولید کلیدهای خصوصی و عمومی در انتخاب اعداد اول دقت لازم را لحاظ ننمودهاند و از این رو میتوان در مدت زمان قابل قبولی فاکتورهای اول کلید عمومی را استخراج و با استفاده از آنها کلید خصوصی را محاسبه نمود.
به عبارت دیگر، به خاطر وجود این آسیبپذیری میتوان فایلهای رمز شده توسط نسخههای قدیمی این باجافزار را بدون نیاز با تعامل با سازندگان بدافزار و پرداخت باج، با استفاده از قدرت محاسباتی کامپیوترهای معمولی رمزگشایی نمود (رمزگشایی فایل ها می تواند از 5 دقیقه تا چند روز به طول بیانجامد). البته این نقص در نسخه TeslaCrypt 3.0 برطرف شده است.
باج افزار TeslaCrypt بعد از رمزنگاری فایل ها، آن ها را با پسوندهای مختلفی ذخیره می کند. در حال حاضر فایلهایی با پسوندهای زیر قابل رمزگشایی هستند:
.ECC, .EZZ, EXX, .XYZ, .ZZZ, .AAA, .ABC, .CCC, .VVV
البته با توجه به برطرف شدن این نقص در نسخه جدید باج افزار، فایل هایی با پسوندهای .TTT ، .XXX و .MICRO قابل رمزگشایی نیستند.
نقص موجود در این باج افزار در واقع در الگوریتم رمزنگاری مورد استفاده نیست، بلکه در ارتباط با نحوه تولید و ذخیره سازی کلید رمزنگاری در سیستم قربانی می باشد. باج افزار TeslaCrypt برای رمزنگاری فایل ها از الگویتم AES استفاده می کند که یک الگوریتم رمز متقارن می باشد و برای رمزنگاری و رمزگشایی فایل ها از یک کلید یکسان استفاده می کند. هر بار که این باج افزار شروع به کار می کند، یک کلید AES جدید تولید می شود و در یک فایل که در طول نشست مربوطه رمزنگاری می شود، ذخیره خواهد شد. این بدین معنی است که ممکن است تعدادی از فایل ها بر روی سیستم قربانی با کلیدی متفاوت نسبت به دیگر فایل ها رمز شده باشند. از آنجایی که قرار است کلید رمزنگاری درون یک فایل رمزشده ذخیره شود، باید به روشی امن این کار انجام شود (به طوری که قربانی نتواند به راحتی کلید رمزنگاری را از درون فایل رمزشده استخراج کند). برای محافظت از این کلید، باج افزار ابتدا کلید رمزنگاری را با استفاده از یک الگوریتم دیگر رمزنگاری می کند و پس از آن این کلید رمزشده را در یک فایل رمزشده ذخیره می کند.
البته طول کلید ذخیره شده در برابر قدرت محاسباتی سیستم های امروزی به اندازه کافی قوی نیست و قابل رمزگشایی می باشد. به طوری که می توان با استفاده از برنامه های خاصی این اعداد بزرگ را تجزیه و عامل-های اول آن را بهدست آورد. پس از بهدست آوردن عامل های اول، می توان از روی این عامل ها کلید رمزنگاری فایل ها را مجدداً تولید کرد.
برای رمزگشایی فایل هایی که با باج افزار TeslaCrypt 2.0 رمز شده اند و دارای پسوندهای زیر می باشند (دارای یکی از پسوندهای .ECC، .EZZ، .EXX، .XYZ، .ZZZ، .AAA، .ABC، .CCC و .VVV میباشند)، می توان با استفاده از اسکریپتی که به زبان پایتون نوشته شده است، کلید خصوصی رمزنگاری را بهدست-آورده و فایل ها را رمزگشایی کرد. این اسکریپت در مسیر زیر قرار دارد:
https://github.com/Googulator/TeslaCrack
اسکریپت unfactor.py موجود در مسیر فوق، با تجزیه عامل های اول کلید رمزنگاری سعی در بهدست آوردن آن می کند. اسکریپت teslacrack.py با بررسی header مربوط به فایل های رمزشده و استخراج کلید رمزنگاری با استفاده از unfactor.py ، فایل ها را رمزگشایی می کند. برای استفاده از این اسکریپت باید پایتون بر روی سیستم نصب شده باشد. توضیحات کامل مربوط به نصب پایتون، نصب اسکریپت فوق و نحوه استفاده از این اسکریپت را می توان در همان آدرس مشاهده نمود.
توسعهدهندگان نسخههای قدیمی بدافزار تسلاکریپت، در هنگام تولید کلیدهای خصوصی و عمومی در انتخاب اعداد اول دقت لازم را لحاظ ننمودهاند و از این رو میتوان در مدت زمان قابل قبولی فاکتورهای اول کلید عمومی را استخراج و با استفاده از آنها کلید خصوصی را محاسبه نمود.
به عبارت دیگر، به خاطر وجود این آسیبپذیری میتوان فایلهای رمز شده توسط نسخههای قدیمی این باجافزار را بدون نیاز با تعامل با سازندگان بدافزار و پرداخت باج، با استفاده از قدرت محاسباتی کامپیوترهای معمولی رمزگشایی نمود (رمزگشایی فایل ها می تواند از 5 دقیقه تا چند روز به طول بیانجامد). البته این نقص در نسخه TeslaCrypt 3.0 برطرف شده است.
باج افزار TeslaCrypt بعد از رمزنگاری فایل ها، آن ها را با پسوندهای مختلفی ذخیره می کند. در حال حاضر فایلهایی با پسوندهای زیر قابل رمزگشایی هستند:
.ECC, .EZZ, EXX, .XYZ, .ZZZ, .AAA, .ABC, .CCC, .VVV
البته با توجه به برطرف شدن این نقص در نسخه جدید باج افزار، فایل هایی با پسوندهای .TTT ، .XXX و .MICRO قابل رمزگشایی نیستند.
نقص موجود در این باج افزار در واقع در الگوریتم رمزنگاری مورد استفاده نیست، بلکه در ارتباط با نحوه تولید و ذخیره سازی کلید رمزنگاری در سیستم قربانی می باشد. باج افزار TeslaCrypt برای رمزنگاری فایل ها از الگویتم AES استفاده می کند که یک الگوریتم رمز متقارن می باشد و برای رمزنگاری و رمزگشایی فایل ها از یک کلید یکسان استفاده می کند. هر بار که این باج افزار شروع به کار می کند، یک کلید AES جدید تولید می شود و در یک فایل که در طول نشست مربوطه رمزنگاری می شود، ذخیره خواهد شد. این بدین معنی است که ممکن است تعدادی از فایل ها بر روی سیستم قربانی با کلیدی متفاوت نسبت به دیگر فایل ها رمز شده باشند. از آنجایی که قرار است کلید رمزنگاری درون یک فایل رمزشده ذخیره شود، باید به روشی امن این کار انجام شود (به طوری که قربانی نتواند به راحتی کلید رمزنگاری را از درون فایل رمزشده استخراج کند). برای محافظت از این کلید، باج افزار ابتدا کلید رمزنگاری را با استفاده از یک الگوریتم دیگر رمزنگاری می کند و پس از آن این کلید رمزشده را در یک فایل رمزشده ذخیره می کند.
البته طول کلید ذخیره شده در برابر قدرت محاسباتی سیستم های امروزی به اندازه کافی قوی نیست و قابل رمزگشایی می باشد. به طوری که می توان با استفاده از برنامه های خاصی این اعداد بزرگ را تجزیه و عامل-های اول آن را بهدست آورد. پس از بهدست آوردن عامل های اول، می توان از روی این عامل ها کلید رمزنگاری فایل ها را مجدداً تولید کرد.
برای رمزگشایی فایل هایی که با باج افزار TeslaCrypt 2.0 رمز شده اند و دارای پسوندهای زیر می باشند (دارای یکی از پسوندهای .ECC، .EZZ، .EXX، .XYZ، .ZZZ، .AAA، .ABC، .CCC و .VVV میباشند)، می توان با استفاده از اسکریپتی که به زبان پایتون نوشته شده است، کلید خصوصی رمزنگاری را بهدست-آورده و فایل ها را رمزگشایی کرد. این اسکریپت در مسیر زیر قرار دارد:
https://github.com/Googulator/TeslaCrack
اسکریپت unfactor.py موجود در مسیر فوق، با تجزیه عامل های اول کلید رمزنگاری سعی در بهدست آوردن آن می کند. اسکریپت teslacrack.py با بررسی header مربوط به فایل های رمزشده و استخراج کلید رمزنگاری با استفاده از unfactor.py ، فایل ها را رمزگشایی می کند. برای استفاده از این اسکریپت باید پایتون بر روی سیستم نصب شده باشد. توضیحات کامل مربوط به نصب پایتون، نصب اسکریپت فوق و نحوه استفاده از این اسکریپت را می توان در همان آدرس مشاهده نمود.
GitHub
GitHub - Googulator/TeslaCrack: Decryptor for the TeslaCrypt malware
Decryptor for the TeslaCrypt malware. Contribute to Googulator/TeslaCrack development by creating an account on GitHub.
Forwarded from فناوران آنیسا - خانه لینوکس ایران
🎯فرصت های شغلی:
🔸🔶🔸مرکز فناوری اطلاعات دانشگاه صنعتی شریف به منظور تکمیل کادر فنی و تخصصی خود با شرایط زیر دعوت به همکاری می نماید.
عنوان شغلی: کارشناس شبکه
✨نیازمندی های تخصصی✨
🔸آشنایی با شبکه های سیسکو - سوییچینگ، روتینگ (مفاهیم CCNP و CCNA)
🔸آشنایی با میکروتیک
🔸آشنایی با شبکه (پسیو و اکتیو)
🔸آشنایی با مفاهیم مانیتورینگ
🔸آشنایی با مستندسازی(documentation)
افراد علاقمند میتوانند درخواست و روزمه کاری خود را به آدرس [email protected] ارسال کنند.
@fanavarananisa
🔸🔶🔸مرکز فناوری اطلاعات دانشگاه صنعتی شریف به منظور تکمیل کادر فنی و تخصصی خود با شرایط زیر دعوت به همکاری می نماید.
عنوان شغلی: کارشناس شبکه
✨نیازمندی های تخصصی✨
🔸آشنایی با شبکه های سیسکو - سوییچینگ، روتینگ (مفاهیم CCNP و CCNA)
🔸آشنایی با میکروتیک
🔸آشنایی با شبکه (پسیو و اکتیو)
🔸آشنایی با مفاهیم مانیتورینگ
🔸آشنایی با مستندسازی(documentation)
افراد علاقمند میتوانند درخواست و روزمه کاری خود را به آدرس [email protected] ارسال کنند.
@fanavarananisa
Forwarded from yashar esmaildokht 🐧
شاید برای علاقه مندان هادوپ مفید باشه
Forwarded from yashar esmaildokht 🐧
هادوپ چیست ؟؟؟
Forwarded from yashar esmaildokht 🐧
هادوپ یه پروژه از بنیاد آپاچی هست
Forwarded from yashar esmaildokht 🐧
که یک چارچوب نرمافزاری منبعباز است که پردازش توزیعشده دادههای بزرگ را بر روی خوشههایی از سرورها ممکن میسازد. این چارچوب که به زبان جاوا نوشته شده است، برای انجام پردازش توزیع شده بر روی هزاران ماشین با تحملپذیری خطای بالا طراحی شده است. به جای تکیه بر سختافزارهای گرانقیمت، تحملپذیری در مقابل خطا در این خوشهها از توانایی نرمافزاری در تشخیص و ادارهی خرابی در لایه کاربرد میآید. استفادهکنندگان برجسته هادوپ، فیسبوک و یاهو هستند.
Forwarded from yashar esmaildokht 🐧
هسته اصلی هادوپ از یک بخش ذخیرهسازی (سیستم فایل توزیع شده هادوپ یا HDFS) و یک بخش پردازش (Map/Reduce) تشکیل شده است. هادوپ فایلها را به بلوکهای بزرگ شکسته و آنها را بین نودهای یک خوشه توزیع میکند. برای پردازش داده، بخش Map/Reduce بسته کدی را برای نودها ارسال میکند تا پردازش را به صورت موازی انجام دهند. این رویکرد از محلیت داده بهره میبرد (نودها بر روی بخشی از داده کار میکنند که در دسترشان قرار دارد). بدین ترتیب دادهها سریعتر و کاراتر از وقتی که از یک معماری متکی بر ابر-رایانه که از سیستم فایل موازی استفاده کرده و محاسبه و داده را از طریق یک شبکه پر سرعت به هم وصل میکند، پردازش میشوند.
Forwarded from yashar esmaildokht 🐧
چارچوب هادوپ همانطور که گفته شد به زبان جاوا نوشته شده است، اما از زبان C و همچنین از شل-اسکریپت نیز در بخشهایی از آن بهره گرفته شده است. کاربران نهایی میتوانند در کار با هادوپ، هر زبان برنامهنویسیای را برای پیادهسازی بخشهای “map” و “reduce” به کار ببرند.
Forwarded from yashar esmaildokht 🐧
چارچوب اصلی هادوپ از ماژولهای زیر تشکیل شده است:
بخش مشترکات هادوپ: شامل کتابخانهها و utilityهای لازم توسط دیگر ماژولهای هادوپ است.
سیستم فایل توزیع شده هادوپ (HDFS): یک سیستم فایل توزیع شده است که داده را بر روی ماشینهای خوشه ذخیره کرده و پهنای باند وسیعی را به وجود میآورد.
YARN هادوپ: یک پلتفرم مدیریت منابع که مسئول مدیریت منابع محاسباتی در خوشهها است.
Map/Reduce هادوپ: یک مدل برنامهنویسی برای پردازش داده در مقیاسهای بالا است.
در واقع هادوپ یک سیستم فایل توزیع شده تهیه میکند که میتواند داده را بر روی هزاران سرور ذخیره کند، و تسک (وظیفه) را بر روی این ماشینها پخش کرده ( کارهای Map/Reduce)، و کار را در کنار داده انجام میدهد.
بخش مشترکات هادوپ: شامل کتابخانهها و utilityهای لازم توسط دیگر ماژولهای هادوپ است.
سیستم فایل توزیع شده هادوپ (HDFS): یک سیستم فایل توزیع شده است که داده را بر روی ماشینهای خوشه ذخیره کرده و پهنای باند وسیعی را به وجود میآورد.
YARN هادوپ: یک پلتفرم مدیریت منابع که مسئول مدیریت منابع محاسباتی در خوشهها است.
Map/Reduce هادوپ: یک مدل برنامهنویسی برای پردازش داده در مقیاسهای بالا است.
در واقع هادوپ یک سیستم فایل توزیع شده تهیه میکند که میتواند داده را بر روی هزاران سرور ذخیره کند، و تسک (وظیفه) را بر روی این ماشینها پخش کرده ( کارهای Map/Reduce)، و کار را در کنار داده انجام میدهد.
Forwarded from yashar esmaildokht 🐧
Map/Reduce هادوپ
Forwarded from yashar esmaildokht 🐧
Map/Reduce یک نمونه برنامهنویسی است که یک محاسبه بزرگ توزیع شده را به صورت دنبالهای از عملیات توزیع شده بر روی مجموعه دادهای از زوجهای کلید/مقدار بیان میکند. چارچوب Map/Reduce هادوپ، یک خوشه از ماشینها را به اختیار خود گرفته و کارهای Map/Reduce تعریف شده توسط کاربر را بر روی نودهای این خوشه اجرا میکند. محاسبات Map/Reduce دو فاز دارد: فاز map (نگاشت) و فاز reduce (کاهش). ورودی این محاسبه، مجموعه دادهای از جفتهای کلید/مقدار است.
در فاز map، چارچوب، داده ورودی را به تعداد زیادی قطعه تقسیم کرده و هر قطعه به یک تسک map تخصیص مییابد. چارچوب همچنین تسکهای map (که تعداد زیادی دارند) را بین گرههای یک خوشه برای اجرا توزیع میکند. هر تسک map از زوج کلید/مقدار بخش تخصیص یافتهاش استفاده کرده و مجموعهای از زوجهای میانی کلید/مقدار را تولید میکند. برای هر زوج کلید/مقدار (K, V)، تسک map یک تابع map تعریف شده توسط کاربر را احضار میکند که ورودی را به زوج کلید/مقدار متفاوتی تبدیل میکند(‘K’,V).
به دنبال فاز map، چارچوب، دادههای میانی را با توجه به کلید مرتبسازی میکند و مجموعهای از چندتاییهای (*’K’,V) تولید میکند تا تمام مقادیر مربوط به یک کلید مشخص، با هم نشان داده شوند. چارچوب همچنین مجموعه چندتاییها را به چندین قطعه برابر با تعداد تسکهای reduce تقسیم میکند.
در فاز reduce، هر تسک reduce قطعه شامل چندتایی (*’K’,V) اختصاص داده شده به خود را مصرف میکند. برای هر چندتایی، هر تسک reduce یک تابع reduce تعریف شده توسط کاربر را احضار میکند که چندتایی را به یک خروجی زوج کلید/مقدار (K, V) تبدیل میکند. یک بار دیگر، چارچوب تسکهای reduce فراوانی را بر روی گرههای خوشه توزیع کرده و قطعه مناسب داده میانی را به هر تسک reduce منتقل میکند.
تسکها در هر فاز به صورت تحملپذیر در مقابل خطا اجرا میشوند؛ اگر گرهای در بین محاسبه دچار خرابی شود، تسک تخصیص یافته به آن در بین گرههای باقیمانده باز-توزیع میشود. داشتن تسکهای زیاد map و reduce باعث توزیع مناسب بار شده و اجازه میدهد تا تسکهای ناموفق با سربار زمانی کم دوباره اجرا شوند.
در فاز map، چارچوب، داده ورودی را به تعداد زیادی قطعه تقسیم کرده و هر قطعه به یک تسک map تخصیص مییابد. چارچوب همچنین تسکهای map (که تعداد زیادی دارند) را بین گرههای یک خوشه برای اجرا توزیع میکند. هر تسک map از زوج کلید/مقدار بخش تخصیص یافتهاش استفاده کرده و مجموعهای از زوجهای میانی کلید/مقدار را تولید میکند. برای هر زوج کلید/مقدار (K, V)، تسک map یک تابع map تعریف شده توسط کاربر را احضار میکند که ورودی را به زوج کلید/مقدار متفاوتی تبدیل میکند(‘K’,V).
به دنبال فاز map، چارچوب، دادههای میانی را با توجه به کلید مرتبسازی میکند و مجموعهای از چندتاییهای (*’K’,V) تولید میکند تا تمام مقادیر مربوط به یک کلید مشخص، با هم نشان داده شوند. چارچوب همچنین مجموعه چندتاییها را به چندین قطعه برابر با تعداد تسکهای reduce تقسیم میکند.
در فاز reduce، هر تسک reduce قطعه شامل چندتایی (*’K’,V) اختصاص داده شده به خود را مصرف میکند. برای هر چندتایی، هر تسک reduce یک تابع reduce تعریف شده توسط کاربر را احضار میکند که چندتایی را به یک خروجی زوج کلید/مقدار (K, V) تبدیل میکند. یک بار دیگر، چارچوب تسکهای reduce فراوانی را بر روی گرههای خوشه توزیع کرده و قطعه مناسب داده میانی را به هر تسک reduce منتقل میکند.
تسکها در هر فاز به صورت تحملپذیر در مقابل خطا اجرا میشوند؛ اگر گرهای در بین محاسبه دچار خرابی شود، تسک تخصیص یافته به آن در بین گرههای باقیمانده باز-توزیع میشود. داشتن تسکهای زیاد map و reduce باعث توزیع مناسب بار شده و اجازه میدهد تا تسکهای ناموفق با سربار زمانی کم دوباره اجرا شوند.
Forwarded from yashar esmaildokht 🐧
معماری:
چارچوب Map/Reduce هادوپ دارای یک معماری master/slave (ارباب/برده) است. این چارچوب دارای یک سرور ارباب به نام jobtracker (دنبالکننده کار) و سرورهای برده متعدد به نام tasktracker (دنبالکننده تسک یا وظیفه)، به ازای هر گره در خوشه است. Jobtracker نقطه تعامل بین کاربران و چارچوب است. کاربران کارهای map/reduce را به jobtracker تحویل میدهند، که jobtracker این کارها را در یک صف از کارهای معلق قرار داده و آنها را بر اساس اصل first come/first service (هر که سریعتر آمده، سریعتر اجرا میشود) اجرا میکند. jobtracker تخصیص تسکهای map و reduce به tasktrackerها را مدیریت میکند. tasktrackerها، تسکها را بر اساس دستورالعمل jobtracker اجرا کرده و همچنین مسئولیت حرکت داده بین فازهای map و reduce را بر عهده میگیرند.
HDFS هادوپ
سیستم فایل توزیع شده هادوپ برای ذخیره مطمئن فایلهای بسیار بزرگ بر روی ماشینهای یک خوشه بزرگ طراحی شده است. این فایل سیستم الهام گرفته شده از فایل سیستم گوگل میباشد. HDFS هر فایل را به صورت یک دنباله از بلوکها ذخیره میکند، که تمام بلوکهای موجود در یک فایل به غیر از آخرین بلوک هم اندازه هستند. از بلوکهای متعلق به یک فایل برای تحملپذیری در برابر خطا، نسخه کپی تهیه میشود (replication). اندازه بلوک و فاکتور تهیه کپی، در هر فایل قابل تنظیم است. فایلهای موجود در HDFS همه “wrire once” هستند و تنها یک نویسنده در هر زمان دارند.
معماری:
همچون Map/Reduce هادوپ، HDFS دارای یک معماری ارباب/برده است. ساختار HDFS شامل یک Namenode (گره نام) است که یک سرور ارباب بوده و فضای نام فایل سیستم را مدیریت کرده و دسترسی به فایلها توسط کلاینتها را تنظیم میکند. به علاوه، تعدادی Datanode (گره داده) نیز وجود دارد، یکی به ازای هر گره در خوشه، که مخزن اختصاصی به گرهها که بر روی آن اجرا میشوند را مدیریت میکند. namenodeها عملیاتی همچون باز کردن، بستن، و تغییر نام فایلها و دایرکتوریها را از طریق یک واسط RPC برای فضای نام فایل سیستم ممکن میکنند و همچنین نگاشت بلوکها را به datanodeها معین میکنند. Datanodeها مسئول انجام خدمات مربوط به درخواستهای خواندن و نوشتن رسیده از طرف کلاینتهای فایل سیستم هستند. همچنین تولید، حذف و ایجاد کپی از بلوکها را بر حسب دستورالعمل Namenode انجام میدهند.
چارچوب Map/Reduce هادوپ دارای یک معماری master/slave (ارباب/برده) است. این چارچوب دارای یک سرور ارباب به نام jobtracker (دنبالکننده کار) و سرورهای برده متعدد به نام tasktracker (دنبالکننده تسک یا وظیفه)، به ازای هر گره در خوشه است. Jobtracker نقطه تعامل بین کاربران و چارچوب است. کاربران کارهای map/reduce را به jobtracker تحویل میدهند، که jobtracker این کارها را در یک صف از کارهای معلق قرار داده و آنها را بر اساس اصل first come/first service (هر که سریعتر آمده، سریعتر اجرا میشود) اجرا میکند. jobtracker تخصیص تسکهای map و reduce به tasktrackerها را مدیریت میکند. tasktrackerها، تسکها را بر اساس دستورالعمل jobtracker اجرا کرده و همچنین مسئولیت حرکت داده بین فازهای map و reduce را بر عهده میگیرند.
HDFS هادوپ
سیستم فایل توزیع شده هادوپ برای ذخیره مطمئن فایلهای بسیار بزرگ بر روی ماشینهای یک خوشه بزرگ طراحی شده است. این فایل سیستم الهام گرفته شده از فایل سیستم گوگل میباشد. HDFS هر فایل را به صورت یک دنباله از بلوکها ذخیره میکند، که تمام بلوکهای موجود در یک فایل به غیر از آخرین بلوک هم اندازه هستند. از بلوکهای متعلق به یک فایل برای تحملپذیری در برابر خطا، نسخه کپی تهیه میشود (replication). اندازه بلوک و فاکتور تهیه کپی، در هر فایل قابل تنظیم است. فایلهای موجود در HDFS همه “wrire once” هستند و تنها یک نویسنده در هر زمان دارند.
معماری:
همچون Map/Reduce هادوپ، HDFS دارای یک معماری ارباب/برده است. ساختار HDFS شامل یک Namenode (گره نام) است که یک سرور ارباب بوده و فضای نام فایل سیستم را مدیریت کرده و دسترسی به فایلها توسط کلاینتها را تنظیم میکند. به علاوه، تعدادی Datanode (گره داده) نیز وجود دارد، یکی به ازای هر گره در خوشه، که مخزن اختصاصی به گرهها که بر روی آن اجرا میشوند را مدیریت میکند. namenodeها عملیاتی همچون باز کردن، بستن، و تغییر نام فایلها و دایرکتوریها را از طریق یک واسط RPC برای فضای نام فایل سیستم ممکن میکنند و همچنین نگاشت بلوکها را به datanodeها معین میکنند. Datanodeها مسئول انجام خدمات مربوط به درخواستهای خواندن و نوشتن رسیده از طرف کلاینتهای فایل سیستم هستند. همچنین تولید، حذف و ایجاد کپی از بلوکها را بر حسب دستورالعمل Namenode انجام میدهند.
Forwarded from yashar esmaildokht 🐧
دوستان
Forwarded from yashar esmaildokht 🐧
بحث زبان شد
Forwarded from yashar esmaildokht 🐧
میحوام یه برنامه اپن سورس دیکشنری معرفی کنم که با گلوسری های بابیلون هم کار میکنه
Forwarded from yashar esmaildokht 🐧
این برنامه چیزی نیست جز