کورس کدنویسی Spark SQL & Hadoop : تحلیل بیگ دیتا

دستورات HDFS، Hadoop، SPARK SQL، SQL Queries، ETL و تجزیه و تحلیل داده ها | جرقه Hadoop Cluster VM | به طور کامل حل QS

عنوان اصلی : Spark SQL & Hadoop (For Data Scientists & Big Data Analysts)

سرفصل های دوره :

مقدمه:
محیط زیست Udemy
مقدمه ای به Hadoop & Spark:
مقدمه بخش
داده های بزرگ
ذخیره سازی توزیع و پردازش
Spark Applications
پوسته تعاملی جرقه
پردازش توزیع شده در یک خوشه Hadoop با استفاده از جرقه
محیط کار ما:
مقدمه بخش
نصب VirtualBox Oracle VM
Verulam Blue VM - فایل های زیپ شده برای دانلود
بارگذاری Verulam Blue VM
بوت شدن VM
Spark-shell
اجرای نوت بوک Zeppelin
مشکلات و تمرین سوالات آزمون
مدیریت فایل های اساسی HDFS:
ارتباط برقرار کردن با HDFS
پوسته سیستم فایل (پوسته FS)
دستورات و عملیات -Help
دستورات و عملیات -LS
دستورات و عملیات --Find
دستورات و عملیات -mkdir
دستورات و عملیات
دستورات و عملیات -CP -MV
دستورات و عملیات -CAT -tail -Text
دستورات و عملیات -RMDIR -RM
دستورات و عملیات - دریافت کنید
هشدار بهداشت
HDFS مدیریت فایل پایه - مشکلات و راه حل ها
ساختارهای داده:
مقدمه بخش
dataframes
جداول
نمایش temp
Spark SQL و ایجاد ساختارهای داده:
مقدمه بخش
ساختار داده های پرس و جو با استفاده از SQL از طریق SQL SQL
ایجاد داده های داده با Spark SQL
ایجاد پایگاه های داده ها و جداول با جرقه SQL
ایجاد دیدگاه های موقت با SQL SQL
عملیات اساسی بر روی ساختارهای داده:
مقدمه بخش
عملیات در ستون های DataFrame
عملیات در ردیف Dataframe
پرسش های اساسی SQL برای جداول
مهندسی داده:
مقدمه بخش
فرایند ETL
مرحله عصاره فرایند ETL
فاز عصاره - بارگذاری فایل های JSON و پارکت
فاز عصاره - بارگذاری فایل های AVRO و ORC
مرحله تبدیل یک فرایند ETL
تحولات رشته فاز - رشته
فاز تبدیل - تحولات عددی
تغییرات فاز - تغییرات تاریخ و زمان
تبدیل فاز تبدیل - تبدیل نوع داده
فاز تبدیل - تبدیل nulls
مرحله بار فرایند ETL
فاز بار - صرفه جویی در داده داده های داده به فایل های I
فاز بار - صرفه جویی در داده داده های داده به فایل های II
فاز بار - صرفه جویی در داده های داده را به جداول ذخیره می کند
مهندسی داده ها - راه حل هایی برای مشکلات
تجزیه و تحلیل داده ها:
مقدمه بخش
جداول متاستور به عنوان منابع ورودی یا خروجی های خروجی
داده های پرس و جو در جرقه
عملکرد ریاضی در SQL
فیلتر کردن
جمع آوری
گروه بندی
نمایش چند جدول
نمایش چند جدول - پیوستن
نمایش چند جدول - انواع پیوندها
نمایش چند جدول - اتحادیه ها
تجزیه و تحلیل داده ها - راه حل هایی برای مشکلات
پایان دوره تست دوره:
پایان راه حل های تست دوره
پیوست - نظریه Hadoop:
معماری HDFS
معماری نخ
پیوست - نظریه جرقه:
فرایند اجرایی
مدل اجرای برنامه جرقه
استفاده از برنامه های جرقه ای در خوشه های Hadoop
** بخش پاداش **:
** BONUS **