آموزش پیاده سازی پیشرفته Cloud Hadoop به کمک Apache Spark

در این دوره آموزشی با آپاچی اسپارک آشنا شده و یاد می گیرید که چطور بوسیله آن کلود هدوپ راه اندازی کنید. مدرس دوره مباحث را به زبانی ساده و در حین کار بر روی پروژه های واقعی به شما عزیزان یاد میدهد. 

عنوان اصلی : Cloud Hadoop: Scaling Apache Spark

سرفصل ها :

معرفی
مقیاس بندی آپاچی هادوپ و اسپارک
آنچه شما باید بدانید
استفاده از خدمات ابری
1. Hadoop and Spark Fundamentals
هادوپ و اسپارک مدرن
سیستم های فایل مورد استفاده با Hadoop و Spark
آپاچی یا توزیع های تجاری Hadoop
کتابخانه هادوپ و اسپارک
Hadoop در Google Cloud Platform
Spark Job در Google Cloud Platform
2. AWS Cloud Spark Environments
برای Databricks Community Edition ثبت نام کنید
کتابخانه های Hadoop را اضافه کنید
Databricks AWS Community Edition
بارگذاری داده ها در جداول
خوشه Hadoop و Spark در AWS EMR
Spark job را روی AWS EMR اجرا کنید
معماری دسته ای را برای ETL در AWS مرور کنید
3. مبانی جرقه
کتابخانه های آپاچی اسپارک
رابط های داده اسپارک
زبان برنامه نویسی خود را انتخاب کنید
اشیاء جلسه جرقه
پوسته جرقه ای
4. استفاده از Spark
از محیط Databricks بازدید کنید
نوت بوک را بگردید
واردات و صادرات نوت بوک
پی را روی اسپارک محاسبه کنید
WordCount of Spark را با Scala اجرا کنید
داده ها را وارد کنید
تحولات و اعمال
ذخیره سازی و DAG
معماری: جریان برای پیش بینی
5. کتابخانه های اسپارک
Spark SQL
SparkR
Spark ML: آماده سازی داده ها
Spark ML: ساخت مدل
Spark ML: ارزیابی مدل
یادگیری ماشینی پیشرفته در Spark
MXNet
جرقه با ADAM برای ژنومیک
معماری جرقه برای ژنومیک
6. جرقه جرقه
خطوط لوله جریان را دوباره بررسی کنید
جریان جرقه
خدمات دریافت جریانی
جریان جرقه پیشرفته با MLeap
7. Scaling Spark در AWS و GCP
Scale Spark در ابر با مثال
با Databricks AWS یک شروع سریع بسازید
مقیاس محاسبات ابری Spark با ماشین های مجازی
بهینه سازی ماشین های مجازی ابری Spark
از کانتینرهای AWS EKS و data lake استفاده کنید
بهینه سازی سطوح داده ابری Spark در Kubernetes
ساخت زیرساخت ابری قابل تکرار
در GCP Dataproc یا Terra.bio مقیاس کنید
نتیجه
به یادگیری برای مقیاس بندی ادامه دهید