Session1-Part2.fbr
143.6 MB
فیلم آموزشی LPIC-1 جلسه اول- part2 از مهندس حمید نصرتی
Learning Proxmox VE is published by Packt Publishing in March 2016. This book has 224 pages in English, ISBN-13 978-1783981786.
Proxmox VE 4.1 provides an open source, enterprise virtualization platform on which to host virtual servers as either virtual machines or containers.
This book will support your practice of the requisite skills to successfully create, tailor, and deploy virtual machines and containers with Proxmox VE 4.1.
Following a survey of PVE’s features and characteristics,this book will contrast containers with virtual machines and establish cases for both. It walks through the installation of Proxmox VE, explores the creation of containers and virtual machines, and suggests best practices for virtual disk creation, network configuration, and Proxmox VE host and guest security. Throughout the book, you will navigate the Proxmox VE 4.1 web interface and explore options for command-line management
Who This Book Is For
This book is intended for server and system administrators and engineers who are eager to take advantage of the potential of virtual machines and containers to manage servers more efficiently and make the best use of resources, from energy consumption to hardware utilization and physical real estate
What You Will Learn
Install and configure Proxmox VE
Create new virtual machines and containers
Import container templates and virtual appliances
Optimize virtual machine performance for common use cases
Apply the latest security patches to a Proxmox VE host
Contrast PVE virtual machines and containers to recognize their respective use cases
Secure virtual machines and containers
Assess the benefits of virtualization on budgets, server real estate, maintenance, and management time 🐧 @iranopensource
Proxmox VE 4.1 provides an open source, enterprise virtualization platform on which to host virtual servers as either virtual machines or containers.
This book will support your practice of the requisite skills to successfully create, tailor, and deploy virtual machines and containers with Proxmox VE 4.1.
Following a survey of PVE’s features and characteristics,this book will contrast containers with virtual machines and establish cases for both. It walks through the installation of Proxmox VE, explores the creation of containers and virtual machines, and suggests best practices for virtual disk creation, network configuration, and Proxmox VE host and guest security. Throughout the book, you will navigate the Proxmox VE 4.1 web interface and explore options for command-line management
Who This Book Is For
This book is intended for server and system administrators and engineers who are eager to take advantage of the potential of virtual machines and containers to manage servers more efficiently and make the best use of resources, from energy consumption to hardware utilization and physical real estate
What You Will Learn
Install and configure Proxmox VE
Create new virtual machines and containers
Import container templates and virtual appliances
Optimize virtual machine performance for common use cases
Apply the latest security patches to a Proxmox VE host
Contrast PVE virtual machines and containers to recognize their respective use cases
Secure virtual machines and containers
Assess the benefits of virtualization on budgets, server real estate, maintenance, and management time 🐧 @iranopensource
منظور از Apache Spark چیست؟
در واقع Apache Spark، یک چارچوب محاسباتی برای داده¬های عظیم یا اصطلاحاً Big Data است. Spark از MapReduce به عنوان موتور اجرای خودش، استفاده نمی¬کند اما بخوبی با Hadoop یکپارچه است. در واقع Spark می¬تواند در Yarn اجرا شود و با فرمت داده¬ای Hadoop و HDFS کار کند. Spark بیشتر بخاطر توانایی نگهداشتن مجموعه¬های داده¬ای بین کارها، در حافظه، شناخته می¬شود. این قابلیت Spark سبب می¬شود تا سریعتر از جریان کاری MapReduce معادل که مجموعه¬های داده¬ای همیشه از دیسک بار می¬شوند، عمل کند. دو نوع کاربردی که از مدل پردازشی Spark بهره می¬برند، الگوریتم-های تکرار شونده (که یک تابع بر روی مجموعه داده¬ای بصورت تکراری تا حصول شرط خروج، اعمال می¬گردد، و تحلیل تعاملی(که یک کاربر مجموعه‌ای از پرس و جوهای اکتشافی تک کاره را بر روی مجموعه¬ی داده¬ای، اعمال می¬کنند) است. همچنین Spark خود APIهایی در زبان¬های Java، Scala و Python، ارائه می¬کند. پروژه Apache Spark شامل ماژول¬هایی یادگیری ماشین (MLlib)، پردازش گراف (GraphX)، پردازش جریانی (Spark Streaming) و SQL (Spark SQL است.
مزیت‌های Apache Spark
• استفاده آسان: شما می‌توانید برنامه خود را در لپ تاپ تان توسعه دهید، استفاده ازAPI سطح بالا، سبب میشود تا بتوانید بر محتوای محاسبه تمرکز داشته باشید.
• Spark سریع است: استفاده تعاملی و الگوریتم‌های پیچیده را ممکن می‌سازد.
• موتور عمومی: به شما امکان ترکیب چندین نوع محاسبات را می‌دهد (برای نمونه، پرس و جوهای SQL، پردازش متن، یادگیری ماشین و پردازش گراف) که قبلاً توسط موتورهای مختلف، امکان‌پذیر بود.
یکی از ویژگی‌های اصلی Spark که برای سرعت ارائه می‌دهد، اجرای پردازش‌ها در حافظه است، اما این سیستم همچنین در اجرای برنامه در دیسک هم از MapReduceکاراتر است. Spark می‌تواند در کلاسترهای Hadoop اجرا شود و به هر منبع داده‌ای Hadoop مانند Cassandra دسترسی داشته باشد.
spark Core
هسته Spark شامل قابلیت‌های اساسی Spark از قبیل اجزایی برای زمان‌بندی وظیفه، مدیریت حافظه، ترمیم خطا، تعامل با سیستم‌های ذخیره‌سازی و دیگر اجزا است. همچنین هسته Spark مکان APIی است که مجموعه داده‌ای توزیع شده ارتجاعی(resilient distributed datasets-RDD) که انتزاع برنامه نویسی اصلی Spark است را تعریف می‌کند. RDDها مجموعه اقلام توزیع شده در چندین گره پردازشی که می‌توانند بطور موازی استفاده شوند، را نشان می‌دهد.
Spark SQL
این بسته برای کار کردن با داده‌های دارای ساختار است. ما را قادر می‌سازد تا از داده‌ها با SQL مانند زبان پرس و جوی Hive، پرس وجو بگیریم. Spark SQL از چندین منبع داده‌ای شامل جداول Hive، Parquet و JSON پشتیبانی می‌کند. همچنین توسعه دهندگان می‌توانند پرس و جوهای SQL را با عملیات دیگری که توسط RDD ها در Python، Java و Scala انجام میشود، در یک برنامه واحد انجام دهند که منجر به ترکیب SQL با تحلیل‌های پیچیده میشود.
توجه داشته باشید که Shark نسخه قدیمی Spark SQL بود که اکنون توسط Spark SQL جایزگزین شده است.
در واقع Apache Spark، یک چارچوب محاسباتی برای داده¬های عظیم یا اصطلاحاً Big Data است. Spark از MapReduce به عنوان موتور اجرای خودش، استفاده نمی¬کند اما بخوبی با Hadoop یکپارچه است. در واقع Spark می¬تواند در Yarn اجرا شود و با فرمت داده¬ای Hadoop و HDFS کار کند. Spark بیشتر بخاطر توانایی نگهداشتن مجموعه¬های داده¬ای بین کارها، در حافظه، شناخته می¬شود. این قابلیت Spark سبب می¬شود تا سریعتر از جریان کاری MapReduce معادل که مجموعه¬های داده¬ای همیشه از دیسک بار می¬شوند، عمل کند. دو نوع کاربردی که از مدل پردازشی Spark بهره می¬برند، الگوریتم-های تکرار شونده (که یک تابع بر روی مجموعه داده¬ای بصورت تکراری تا حصول شرط خروج، اعمال می¬گردد، و تحلیل تعاملی(که یک کاربر مجموعه‌ای از پرس و جوهای اکتشافی تک کاره را بر روی مجموعه¬ی داده¬ای، اعمال می¬کنند) است. همچنین Spark خود APIهایی در زبان¬های Java، Scala و Python، ارائه می¬کند. پروژه Apache Spark شامل ماژول¬هایی یادگیری ماشین (MLlib)، پردازش گراف (GraphX)، پردازش جریانی (Spark Streaming) و SQL (Spark SQL است.
مزیت‌های Apache Spark
• استفاده آسان: شما می‌توانید برنامه خود را در لپ تاپ تان توسعه دهید، استفاده ازAPI سطح بالا، سبب میشود تا بتوانید بر محتوای محاسبه تمرکز داشته باشید.
• Spark سریع است: استفاده تعاملی و الگوریتم‌های پیچیده را ممکن می‌سازد.
• موتور عمومی: به شما امکان ترکیب چندین نوع محاسبات را می‌دهد (برای نمونه، پرس و جوهای SQL، پردازش متن، یادگیری ماشین و پردازش گراف) که قبلاً توسط موتورهای مختلف، امکان‌پذیر بود.
یکی از ویژگی‌های اصلی Spark که برای سرعت ارائه می‌دهد، اجرای پردازش‌ها در حافظه است، اما این سیستم همچنین در اجرای برنامه در دیسک هم از MapReduceکاراتر است. Spark می‌تواند در کلاسترهای Hadoop اجرا شود و به هر منبع داده‌ای Hadoop مانند Cassandra دسترسی داشته باشد.
spark Core
هسته Spark شامل قابلیت‌های اساسی Spark از قبیل اجزایی برای زمان‌بندی وظیفه، مدیریت حافظه، ترمیم خطا، تعامل با سیستم‌های ذخیره‌سازی و دیگر اجزا است. همچنین هسته Spark مکان APIی است که مجموعه داده‌ای توزیع شده ارتجاعی(resilient distributed datasets-RDD) که انتزاع برنامه نویسی اصلی Spark است را تعریف می‌کند. RDDها مجموعه اقلام توزیع شده در چندین گره پردازشی که می‌توانند بطور موازی استفاده شوند، را نشان می‌دهد.
Spark SQL
این بسته برای کار کردن با داده‌های دارای ساختار است. ما را قادر می‌سازد تا از داده‌ها با SQL مانند زبان پرس و جوی Hive، پرس وجو بگیریم. Spark SQL از چندین منبع داده‌ای شامل جداول Hive، Parquet و JSON پشتیبانی می‌کند. همچنین توسعه دهندگان می‌توانند پرس و جوهای SQL را با عملیات دیگری که توسط RDD ها در Python، Java و Scala انجام میشود، در یک برنامه واحد انجام دهند که منجر به ترکیب SQL با تحلیل‌های پیچیده میشود.
توجه داشته باشید که Shark نسخه قدیمی Spark SQL بود که اکنون توسط Spark SQL جایزگزین شده است.
Spark Streaming
جزء جریانی Spark، به ما امکان پردازش زنده جریان‌هایی از داده را می‌دهد. مثال‌هایی از داده‌های جریانی شامل فایل‌های نگاره تولید شده توسط سرویس دهنده‌های وبی صف‌های پیام‌هایی شامل بروزرسانی وضع و حالت که توسط کاربران یک سرویس وب ارسال می‌شوند است.
Mllib
این بسته شامل قابلیت‌های یاگیری ماشین متداول است. Mllib شامل چندین نوع اگوریتم یادگیری ماشین از قبیل کلاس‌بندی، رگرسیون، خوشه‌بندی و پالایش گروهی و همچنین شامل قابلیت‌های ارزیابی مدل و ورودی داده‌ها است. تمام این متدها طراحی شده‌اند تادر یک کلاستر مقیاس پذیر باشند.
GraphX
اما GraphX کتابخانه‌ای برای پردازش گراف‌ها (گراف دوست شبکه اجتماعی) است. مانند جریان و SQL، این کتابخانه نیز Spark RDD API را توسعه می‌دهد و ما راقادر می‌سازد تا یک گراف جهت دار با مشخصه‌های دلخواه ضمیمه شده به هر لبه و راس را ایجاد کنیم. GraphX همچنین عملگرهایی برای دستکاری گراف (مانند subgraph و mapVertices) و کتابخانه ای از الگوریتم‌های متداول گراف (مانند PageRank و شمارش مثلث) را ارائه می‌دهد.
Cluster Mangers
در واقع Spark طراحی شده است تا بصورت کارا از یک تا چند هزار گره پردازشی مقیاس یابد. برای حصول این قابلیت در حالیکه قابلیت انعطاف‌پذیری نیز به حداکثر برسد، Spark می‌تواند بر روی انواعی از مدیران خوشه از قبیل Hadoop YARN، Apache Mesos و مدیر خوشه ساده‌ای که در خود Spark به نام زمان‌بند مستقل است.
جزء جریانی Spark، به ما امکان پردازش زنده جریان‌هایی از داده را می‌دهد. مثال‌هایی از داده‌های جریانی شامل فایل‌های نگاره تولید شده توسط سرویس دهنده‌های وبی صف‌های پیام‌هایی شامل بروزرسانی وضع و حالت که توسط کاربران یک سرویس وب ارسال می‌شوند است.
Mllib
این بسته شامل قابلیت‌های یاگیری ماشین متداول است. Mllib شامل چندین نوع اگوریتم یادگیری ماشین از قبیل کلاس‌بندی، رگرسیون، خوشه‌بندی و پالایش گروهی و همچنین شامل قابلیت‌های ارزیابی مدل و ورودی داده‌ها است. تمام این متدها طراحی شده‌اند تادر یک کلاستر مقیاس پذیر باشند.
GraphX
اما GraphX کتابخانه‌ای برای پردازش گراف‌ها (گراف دوست شبکه اجتماعی) است. مانند جریان و SQL، این کتابخانه نیز Spark RDD API را توسعه می‌دهد و ما راقادر می‌سازد تا یک گراف جهت دار با مشخصه‌های دلخواه ضمیمه شده به هر لبه و راس را ایجاد کنیم. GraphX همچنین عملگرهایی برای دستکاری گراف (مانند subgraph و mapVertices) و کتابخانه ای از الگوریتم‌های متداول گراف (مانند PageRank و شمارش مثلث) را ارائه می‌دهد.
Cluster Mangers
در واقع Spark طراحی شده است تا بصورت کارا از یک تا چند هزار گره پردازشی مقیاس یابد. برای حصول این قابلیت در حالیکه قابلیت انعطاف‌پذیری نیز به حداکثر برسد، Spark می‌تواند بر روی انواعی از مدیران خوشه از قبیل Hadoop YARN، Apache Mesos و مدیر خوشه ساده‌ای که در خود Spark به نام زمان‌بند مستقل است.
Mastering Apache Spark is published by Packt Publishing in October 2015. This book has 341 pages in English, ISBN-13 978-1783987146.
Gain expertise in processing and storing data by using advanced techniques with Apache Spark About This Book Explore the integration of Apache Spark with third party applications such as H20, Databricks and Titan Evaluate how Cassandra and Hbase can be used for storage An advanced guide with a combination of instructions and practical examples to extend the most up-to date Spark functionalities Who This Book Is For If you are a developer with some experience with Spark and want to strengthen your knowledge of how to get around in the world of Spark, then this book is ideal for you. Basic knowledge of Linux, Hadoop and Spark is assumed. Reasonable knowledge of Scala is expected. What You Will Learn Extend the tools available for processing and storage Examine clustering and classification using MLlib Discover Spark stream processing via Flume, HDFS Create a schema in Spark SQL, and learn how a Spark schema can be populated with data Study Spark based graph processing using Spark GraphX Combine Spark with H20 and deep learning and learn why it is useful Evaluate how graph storage works with Apache Spark, Titan, HBase and Cassandra Use Apache Spark in the cloud with Databricks and AWS In Detail Apache Spark is an in-memory cluster based parallel processing system that provides a wide range of functionality like graph processing, machine learning, stream processing and SQL. It operates at unprecedented speeds, is easy to use and offers a rich set of data transformations. This book aims to take your limited knowledge of Spark to the next level by teaching you how to expand Spark functionality. The book commences with an overview of the Spark eco-system. You will learn how to use MLlib to create a fully working neural net for handwriting recognition. You will then discover how stream processing can be tuned for optimal performance and to ensure parallel processing. The book extends to show how to incorporate H20 for. 🐧 @iranopensource
Gain expertise in processing and storing data by using advanced techniques with Apache Spark About This Book Explore the integration of Apache Spark with third party applications such as H20, Databricks and Titan Evaluate how Cassandra and Hbase can be used for storage An advanced guide with a combination of instructions and practical examples to extend the most up-to date Spark functionalities Who This Book Is For If you are a developer with some experience with Spark and want to strengthen your knowledge of how to get around in the world of Spark, then this book is ideal for you. Basic knowledge of Linux, Hadoop and Spark is assumed. Reasonable knowledge of Scala is expected. What You Will Learn Extend the tools available for processing and storage Examine clustering and classification using MLlib Discover Spark stream processing via Flume, HDFS Create a schema in Spark SQL, and learn how a Spark schema can be populated with data Study Spark based graph processing using Spark GraphX Combine Spark with H20 and deep learning and learn why it is useful Evaluate how graph storage works with Apache Spark, Titan, HBase and Cassandra Use Apache Spark in the cloud with Databricks and AWS In Detail Apache Spark is an in-memory cluster based parallel processing system that provides a wide range of functionality like graph processing, machine learning, stream processing and SQL. It operates at unprecedented speeds, is easy to use and offers a rich set of data transformations. This book aims to take your limited knowledge of Spark to the next level by teaching you how to expand Spark functionality. The book commences with an overview of the Spark eco-system. You will learn how to use MLlib to create a fully working neural net for handwriting recognition. You will then discover how stream processing can be tuned for optimal performance and to ensure parallel processing. The book extends to show how to incorporate H20 for. 🐧 @iranopensource
Author: Timothy Boronczyk
Pub Date: 2016
ISBN: 978-1-78328-888-5
Pages: 406
Language: English
Format: EPUB, PDF (conv)
Book Details
CentOS is derived from Red Hat Enterprise Linux (RHEL) sources and is widely used as a Linux server. This book will help you to better configure and manage Linux servers in varying scenarios and business requirements. Starting with installing CentOS, this book will walk you through the networking aspects of CentOS. You will then learn how to manage users and their permissions, software installs, disks, filesystems, and so on. You’ll then see how to secure connection to remotely access a desktop and work with databases. Toward the end, you will find out how to manage DNS, e-mails, web servers, and more. You will also learn to detect threats by monitoring network intrusion. Finally, the book will cover virtualization techniques that will help you make the most of CentOS.
Table of Contents
What You Will Learn
See how to deploy CentOS easily and painlessly, even in multi-server environments
Configure various methods of remote access to the server so you don’t always have to be in the data center
Make changes to the default configuration of many services to harden them and increase the security of the system
Learn to manage DNS, emails and web servers
Protect yourself from threats by monitoring and logging network intrusion and system intrusion attempts, rootkits, and viruses
Take advantage of today’s powerful hardware by running multiple systems using virtualization
Authors
Timothy Boronczyk
Timothy Boronczyk is a native of Syracuse, New York, where he works as a lead developer at Optanix, Inc. (formerly ShoreGroup, Inc.). He’s been involved with web technologies since 1998, has a degree in Software Application Programming, and is a Zend Certified Engineer. In what little spare time he has left, Timothy enjoys hanging out with friends, studying Esperanto, and sleeping with his feet off the end of the bed. He’s easily distracted by shiny objects. 🐧 @iranopensource
Pub Date: 2016
ISBN: 978-1-78328-888-5
Pages: 406
Language: English
Format: EPUB, PDF (conv)
Book Details
CentOS is derived from Red Hat Enterprise Linux (RHEL) sources and is widely used as a Linux server. This book will help you to better configure and manage Linux servers in varying scenarios and business requirements. Starting with installing CentOS, this book will walk you through the networking aspects of CentOS. You will then learn how to manage users and their permissions, software installs, disks, filesystems, and so on. You’ll then see how to secure connection to remotely access a desktop and work with databases. Toward the end, you will find out how to manage DNS, e-mails, web servers, and more. You will also learn to detect threats by monitoring network intrusion. Finally, the book will cover virtualization techniques that will help you make the most of CentOS.
Table of Contents
What You Will Learn
See how to deploy CentOS easily and painlessly, even in multi-server environments
Configure various methods of remote access to the server so you don’t always have to be in the data center
Make changes to the default configuration of many services to harden them and increase the security of the system
Learn to manage DNS, emails and web servers
Protect yourself from threats by monitoring and logging network intrusion and system intrusion attempts, rootkits, and viruses
Take advantage of today’s powerful hardware by running multiple systems using virtualization
Authors
Timothy Boronczyk
Timothy Boronczyk is a native of Syracuse, New York, where he works as a lead developer at Optanix, Inc. (formerly ShoreGroup, Inc.). He’s been involved with web technologies since 1998, has a degree in Software Application Programming, and is a Zend Certified Engineer. In what little spare time he has left, Timothy enjoys hanging out with friends, studying Esperanto, and sleeping with his feet off the end of the bed. He’s easily distracted by shiny objects. 🐧 @iranopensource