چارچوب هادوپ همانطور که گفته شد به زبان جاوا نوشته شده است، اما از زبان C و همچنین از شل-اسکریپت نیز در بخش‌هایی از آن بهره گرفته شده است. کاربران نهایی می‌توانند در کار با هادوپ، هر زبان برنامه‌نویسی‌ای را برای پیاده‌سازی بخش‌های “map” و “reduce” به کار ببرند.

چارچوب اصلی هادوپ از ماژول‌های زیر تشکیل شده است:

بخش مشترکات هادوپ: شامل کتابخانه‌ها و utilityهای لازم توسط دیگر ماژول‌های هادوپ است.
سیستم فایل توزیع شده هادوپ (HDFS): یک سیستم فایل توزیع شده است که داده را بر روی ماشین‌های خوشه ذخیره کرده و پهنای باند وسیعی را به وجود می‌آورد.
YARN هادوپ: یک پلتفرم مدیریت منابع که مسئول مدیریت منابع محاسباتی در خوشه‌ها است.
Map/Reduce هادوپ: یک مدل برنامه‌نویسی برای پردازش داده در مقیاس‌های بالا است.

در واقع هادوپ یک سیستم فایل توزیع شده تهیه می‌کند که می‌تواند داده را بر روی هزاران سرور ذخیره کند، و تسک (وظیفه) را بر روی این ماشین‌ها پخش کرده ( کارهای Map/Reduce)، و کار را در کنار داده انجام می‌دهد.

Map/Reduce هادوپ

Map/Reduce یک نمونه‌ برنامه‌نویسی است که یک محاسبه بزرگ توزیع شده را به صورت دنباله‌ای از عملیات توزیع شده بر روی مجموعه داده‌ای از زوج‌های کلید/مقدار بیان می‌کند. چارچوب Map/Reduce هادوپ، یک خوشه از ماشین‌ها را به اختیار خود گرفته و کارهای Map/Reduce تعریف شده توسط کاربر را بر روی نودهای این خوشه اجرا می‌کند. محاسبات Map/Reduce دو فاز دارد: فاز map (نگاشت) و فاز reduce (کاهش). ورودی این محاسبه، مجموعه داده‌ای از جفت‌های کلید/مقدار است.

در فاز map، چارچوب، داده ورودی را به تعداد زیادی قطعه تقسیم کرده و هر قطعه به یک تسک map تخصیص می‌یابد. چارچوب همچنین تسک‌های map (که تعداد زیادی دارند) را بین گره‌های یک خوشه برای اجرا توزیع می‌کند. هر تسک map از زوج کلید/مقدار بخش تخصیص یافته‌اش استفاده کرده و مجموعه‌ای از زوج‌های میانی کلید/مقدار را تولید می‌کند. برای هر زوج کلید/مقدار (K, V)، تسک map یک تابع map تعریف شده توسط کاربر را احضار می‌کند که ورودی را به زوج کلید/مقدار متفاوتی تبدیل می‌کند(‘K’,V).

به دنبال فاز map، چارچوب، داده‌های میانی را با توجه به کلید مرتب‌سازی می‌کند و مجموعه‌ای از چندتایی‌های (*’K’,V) تولید می‌کند تا تمام مقادیر مربوط به یک کلید مشخص، با هم نشان داده شوند. چارچوب همچنین مجموعه چندتایی‌ها را به چندین قطعه برابر با تعداد تسک‌های reduce تقسیم می‌کند.

در فاز reduce، هر تسک reduce قطعه شامل چندتایی (*’K’,V) اختصاص داده شده به خود را مصرف می‌کند. برای هر چندتایی، هر تسک reduce یک تابع reduce تعریف شده توسط کاربر را احضار می‌کند که چندتایی را به یک خروجی زوج کلید/مقدار (K, V) تبدیل می‌کند. یک بار دیگر، چارچوب تسک‌های reduce فراوانی را بر روی گره‌های خوشه توزیع کرده و قطعه مناسب داده میانی را به هر تسک reduce منتقل می‌کند.

تسک‌ها در هر فاز به صورت تحمل‌پذیر در مقابل خطا اجرا می‌شوند؛ اگر گره‌ای در بین محاسبه دچار خرابی شود، تسک تخصیص یافته به آن در بین گره‌های باقی‌مانده باز-توزیع می‌شود. داشتن تسک‌های زیاد map و reduce باعث توزیع مناسب بار شده و اجازه می‌دهد تا تسک‌های ناموفق با سربار زمانی کم دوباره اجرا شوند.

معماری:

چارچوب Map/Reduce هادوپ دارای یک معماری master/slave (ارباب/برده) است. این چارچوب دارای یک سرور ارباب به نام jobtracker (دنبال‌کننده‌ کار) و سرورهای برده متعدد به نام tasktracker (دنبال‌کننده تسک یا وظیفه)، به ازای هر گره در خوشه است. Jobtracker نقطه تعامل بین کاربران و چارچوب است. کاربران کارهای map/reduce را به jobtracker تحویل می‌دهند، که jobtracker این کارها را در یک صف از کارهای معلق قرار داده و آنها را بر اساس اصل first come/first service (هر که سریع‌تر آمده، سریع‌تر اجرا می‌شود) اجرا می‌کند. jobtracker تخصیص تسک‌های map و reduce به tasktrackerها را مدیریت می‌کند. tasktrackerها، تسک‌ها را بر اساس دستورالعمل jobtracker اجرا کرده و همچنین مسئولیت حرکت داده بین فازهای map و reduce را بر عهده می‌گیرند.


HDFS هادوپ

سیستم فایل توزیع شده هادوپ برای ذخیره مطمئن فایل‌های بسیار بزرگ بر روی ماشین‌های یک خوشه بزرگ طراحی شده است. این فایل سیستم الهام گرفته شده از فایل سیستم گوگل می‌باشد. HDFS هر فایل را به صورت یک دنباله از بلوک‌ها ذخیره می‌کند، که تمام بلوک‌های موجود در یک فایل به غیر از آخرین بلوک هم اندازه هستند. از بلوک‌های متعلق به یک فایل برای تحمل‌پذیری در برابر خطا، نسخه کپی تهیه می‌شود (replication). اندازه بلوک و فاکتور تهیه کپی، در هر فایل قابل تنظیم است. فایل‌های موجود در HDFS همه “wrire once” هستند و تنها یک نویسنده در هر زمان دارند.


معماری:

همچون Map/Reduce هادوپ، HDFS دارای یک معماری ارباب/برده است. ساختار HDFS شامل یک Namenode (گره نام) است که یک سرور ارباب بوده و فضای نام فایل سیستم را مدیریت کرده و دسترسی به فایل‌ها توسط کلاینت‌ها را تنظیم می‌کند. به علاوه، تعدادی Datanode (گره داده) نیز وجود دارد، یکی به ازای هر گره در خوشه، که مخزن اختصاصی به گره‌ها که بر روی آن اجرا می‌شوند را مدیریت می‌کند. namenodeها عملیاتی همچون باز کردن، بستن، و تغییر نام فایل‌ها و دایرکتوری‌ها را از طریق یک واسط RPC برای فضای نام فایل سیستم ممکن می‌کنند و همچنین نگاشت بلوک‌ها را به datanodeها معین می‌کنند. Datanodeها مسئول انجام خدمات مربوط به درخواست‌های خواندن و نوشتن رسیده از طرف کلاینت‌های فایل سیستم هستند. همچنین تولید، حذف و ایجاد کپی از بلوک‌ها را بر حسب دستورالعمل Namenode انجام می‌دهند.

دوستان

بحث زبان شد

میحوام یه برنامه اپن سورس دیکشنری معرفی کنم که با گلوسری های بابیلون هم کار میکنه

این برنامه چیزی نیست جز

goldendict

for installation :
apt-get install goldendict
yum install goldendict

فناوری سیم کارت NFC فراهم‌کننده بستری است که از طریق آن می‌توان از فضای سیم کارت و بستر شبکه ارتباطی، انواع خدمات پرداخت و بانکداری همراه را ارائه کرد. این فناوری، نوعی ارتباطی رادیویی است که در فاصله کمتر از 10 سانتیمتر بین دو دستگاه مجهز به ماژول NFC برقرار شده و انجام تراکنش را امکان‌پذیر می‌کند.

با داشتن سیم کارت NFC می‌توان اطلاعات مربوط به انواع کارت‌های بانکی را روی سیم کارت و به صورت امن ذخیره کرد و پرداخت‌های آنلاین را از طریق شبکه شتاب با آن انجام داد و همچنین می‌توان انواع کیف پول را بر روی فضای امن سیم کارت تعریف کرد و بدین ترتیب تمامی تراکنش‌ها و پرداخت‌ها را به صورت آفلاین و با نزدیک کردن موبایل به پذیرنده و بدون نیاز به وارد کردن رمز، به سرعت انجام داد. امری که در انجام خریدهای خرد یک مزیت به شمار می‌رود.

سیسکو و حمایت 10 میلیون دلاری از دانشجویان حوزه Cybersecurity

امنیت سایبری یا همان Cybersecurity یکی از ارکان مهم سازمان ها بشمار می آید. با اینکه داشتن متخصصین توانمند Cybersecurity برای حفظ امنیت سازمان ها حائز اهمیت است، تحقیقات نشان می دهد تا سال 2019 با کمبود 2 میلیون متخصص Cybersecurity مواجه خواهیم بود. سیسکو برای جلوگیری از این کمبود،  کمک هزینه 10  میلیون دلاری تحت برنامه The Global Cyber security Scholarship Program را به علاقمندان  این حوزه اختصاص داده است.

اهداف برنامه The Global Cybersecurity Scholarship Program:

برای جلوگیری از کمبود 2 میلیون متخصص، سیسکو 10 میلیون دلار کمک هزینه برای علاقمندان این حوزه در نظر گرفته است.سیسکو مطابق با Security Operations Analysis، برای علاقمندان مربی در نظر خواهد گرفت.سیسکو این برنامه را با کمک Partner هایش در زمینه آموزش، پیاده سازی خواهد کرد.

دوره های آموزش مفاهیم امنیت جدید سیسکو:

سیسکو در حال معرفی مدرک جدید Cyber Ops Certification و اصلاح مدرک CCIE Security Certification می باشد.دوره های CCNA Cyber Ops به آنالیز امنیت در محیط های Security Operations Center خواهد پرداخت که در امتداد دوره CCNA Security محسوب می شود.دوره CCIE Security نیز با تغییراتی همچون افزودن مفاهیم: Advanced Threat Protection (حفاظت در برابر تهدیدات پیشرفته)، Next-Generation IPS، Virtualization خواهد بود. همچنین متخصصین CCIE Security می بایست دارای سطح دانش بالایی از مفاهیم Network Programmability ، Cloud و IoT باشند.

#خبر > 🔴 همکاری ترندمیکرو و ایسوس برای مبارزه با باج افزارها

👇👇👇👇👇👇👇👇👇

🆔 https://www.4-traders.com/TREND-MICRO-INCORPORATED-6492622/news/Trend-Micro-and-ASUS-Team-Together-to-Fight-Ransomware-22536475/

وب سایت سازمان بسیج دانشجویی هک شد. Deface Page هکر همچنان در آن سرور آن سازمان خودنمایی می کند.

کسپرسکی در کنفرانس باکو اعلام کرد:
متوسط درآمد باج افزار 510 هزار دلار است.
روزانه 310 هزار بدافزار جدید کشف می شود.
در دسامبر گذشته حمله هکرها شبکه برق اوکراین را غیر فعال کرد و 250 هزار نفر شش ساعت قطعی برق داشتند.
بسیاری از حملات سایبری گزارش نمی شود.
در سه ماهه اول 2016 خاور میانه شاهد 160 هزار حمله باج افزاری بوده است.
https://hacked.com/terrorist-cyber-attacks-are-coming-security-experts-warn/

رعایت Due Diligence/Regulatory Compliance: الزامات و مقررات موجود بسیاری از سازمان ها را ملزم می کند که از اطلاعات حساس خود محافظت نموده و رکورد های خاصی را برای مقاصد حسابرسی نگهداری کنند. همچنین وقتی اطلاعات حفاظت شده در معرض افشا قرار می گیرد، سازمان ها ممکن است ملزم باشند تا دیگر آژانس ها و افراد متاثر از این امر را مطلع نمایند. فارنسیک میتواند به سازمان ها کمک کند تا حداکثر تلاش خود را در این زمینه نموده (Due Diligence) و با این الزامات منطبق باشند (Requlatory Compliance). (منبع NIST800-86)

مانیتورینگ لاگ: ابزار ها و تکنیک های مختلفی می توانند مثل آنالیز لاگ ها و کورلیشن بین لاگ های منابع مختلف ، در مانیتورینگ لاگ مورد استفاده قرار گیرند. این کار می تواند در رسیدگی به حادثه، تشخیص نقض سیاست ها، حسابرسی (Audithing) و دیگر تلاش ها مورد استفاده قرار گیرد.

در طول دهه ی گذشته رشد تعداد جرائم کامپیوتری منجر به افزایش تعداد شرکت ها و محصولاتی شد که در راستای کمک به اجرای قانون از شواهد مبتنی بر کامپیوتر برای تعیین اینکه چه کسی، چه چیزی، کجا، چه زمانی و چگونه جرم واقع شده است، استفاده می کردند. در نتیجه، فارنسیک کامپیوتر و شبکه برای ارائه ی مناسب شواهد جرم در دادگاه تکامل پیدا کرد. تکنیک ها و ابزار های فارنسیک غالبا در زمینه ی تحقیقات قانونی و رسیدگی به حوادث امنیتی کامپیوتری جهت پاسخگویی به یک رویداد با بررسی سیستم های مشکوک، جمع آوری و نگهداری شواهد، بازسازی رویداد ها و ارزیابی وضعیت فعلی یک رویداد، مورد استفاده قرار می گیرد.