پردازش بیگ دیتای اینترنت اشیا بوسیله PySpark, Spark Streaming and Kafka

BigData و IoT را با Pyspark ، جرقه جرقه ، کافکا ، معماری IoT ، 40+ RDDS و DataFrames توابع یاد بگیرید- Hands-on

عنوان اصلی : Learn Big-Data-IoT with PySpark, Spark Streaming and Kafka

سرفصل های دوره :

مقدمه:
اخطار مهم
معماری منطقی جرقه
نصب pyspark:
نصب و راه اندازی نصب جرقه
نصب آناکوندا
نصب زمان اجرا جاوا
کتابخانه های Spark-Hadoop
متغیرهای محیط
تنظیم و مجوزهای نهایی
تنظیمات کتابخانه های مبتنی بر ابر - Azure ، AWS ، GCP:
نصب سیستم های فایل ابری - Azure ، AWS ، GCP - 1
نصب سیستم های فایل ابری - Azure ، AWS ، GCP - 2
Pyspark Hands - اولین کار:
اولین کار جرقه
کار جرقه با سیستم های CANT
جرقه هسته:
زمینه جرقه در مقابل جلسات جرقه
Spark Frames Frames
pyspark - تحول و اقدامات:
تحولات و اقدامات RDD - 1
تحولات و اقدامات RDD - 2
DataFrames - تحولات و اقدامات -1
dataframes - تحولات و اقدامات - 2
خوشه های pyspark روی ابر - لاجورد ، AWS ، GCP:
معرفی HDInsights Azure
Azure Hdinsights - 2
نسخه ی نمایشی خوشه ابر - 1
نسخه ی نمایشی خوشه ابر - 2 - عملیات RDD
نسخه ی نمایشی خوشه ابر - 3 - عملیات DataFrames
خوشه های GCP Dataproc
خوشه AWS EMR
نمونه های BigData:
مصرف و پیش پردازش Bigdata
pyspark - sql
جریان جرقه با خط لوله IoT Kafka:
مقدمه جریان جرقه
چارچوب های پردازش پخش داده های بزرگ محبوب
جرقه جرقه در مقابل جرقه جرقه جریان ساختار یافته
Spark Streaming Hand-On Demo مقدمه
جرقه جریان دستی - جریان سوکت
جرقه جریان دستی - جریان پرونده
Kafka ، Zookeeper ، Scripts Startup Pyspark
Kafka - Pyspark ex -1
Kafka - Pyspark ex -2
Kafka - Pyspark EX -3
Kafka - Pyspark EX -4
Kafka - Pyspark EX -5
جرقه جرقه - پنجره ریزش و کشویی
Kafka - Pyspark Ex- 6 و 7
جرقه جرقه - علامت گذاری و سابق - 8