آموزش Apacha Spark و Scala

در این دوره آموزشی قدم به قدم آنالیز بیگ دیتا را بوسیله Apache Spark و همچنین Scala یاد گرفته و تجربه و تمرین خواهید کرد.

عنوان اصلی : Apache Spark with Scala - Learn Spark from a Big Data Guru

سرفصل ها :

بررسی اجمالی دوره
مقدمه ای بر اسپارک
جاوا و گیت را نصب کنید
پروژه Spark را با IntelliJ IDEA راه اندازی کنید
اولین کار Apache Spark ما را اجرا کنید
عیب‌یابی: اولین کار Apache Spark ما را اجرا کنید
مبانی RDD در آپاچی اسپارک
RDD ها را ایجاد کنید
تبدیل نقشه و فیلتر در آپاچی اسپارک
راه حل مسئله فرودگاه ها بر اساس عرض جغرافیایی
تبدیل FlatMap در آپاچی اسپارک
عملیات را در آپاچی اسپارک تنظیم کنید
راه حل برای مشکل همان هاست
اقدامات در آپاچی اسپارک
حل مسئله جمع اعداد
جنبه های مهم در مورد RDD
خلاصه ای از عملیات RDD در آپاچی اسپارک
حافظه پنهان و ماندگاری در آپاچی اسپارک
معماری جرقه
اجزای جرقه
مقدمه ای بر جفت RDD در Spark
ایجاد جفت RDD در Spark
تبدیل فیلتر و MapValue در جفت RDD
کاهش با تجمع کلید در آپاچی اسپارک
نمونه راه حل برای مشکل خانه متوسط
تبدیل کلید GroupBy در Spark
SortBy Transformation Key در Spark
نمونه راه حل برای مسئله شمارش کلمات مرتب شده
پارتیشن بندی داده ها در آپاچی اسپارک
به عملیات در Spark بپیوندید
انباشته کننده ها
راه حل مشکل پیگیری StackOverflow Survey
متغیرهای پخش
مقدمه ای بر Apache Spark SQL
Spark SQL در عمل
عمل Spark SQL: مشکل قیمت خانه
Spark SQL Joins
مجموعه داده با تایپ قوی
از Dataset یا RDD استفاده کنید
تبدیل مجموعه داده و RDD
تنظیم عملکرد Spark SQL
مقدمه ای بر Running Spark in a Cluster
Package Spark Application and Use Spark-submit
برنامه Spark را در خوشه آمازون EMR (Elastic MapReduce) اجرا کنید