آموزش کا بر روی بیگ دیتا بوسیله Flume, Sqoop, Hive and Spark

در این دوره آموزشی قدم به قدم با Flume, Sqoop, Hive and Spark آشنا شده و کدنویسی و استفاده از آن ها را بر روی داده های بزرگ ( Big Data ) یاد می گیرید.

عنوان اصلی : Master Big Data Ingestion and Analytics with Flume, Sqoop, Hive and Spark

سرفصل ها :

مقدمه Hadoop:
Sqoop Import:
مدیریت فهرست های هدف
کار با فرمت های مختلف فایل
کار با فشرده سازی های مختلف
واردات مشروط
پرس و جوهای تقسیم شده و مرزی
جداکننده های میدان
ضمائم افزایشی
واردات کندو Sqoop
Sqoop List جداول/پایگاه داده
Sqoop Import Practice1
Sqoop Import Practice2
Sqoop Import Practice3
صادرات Sqoop:
صادرات از Hive به Mysql
آپاچی فلوم:
Exec Source و Logger Sink
انتقال داده ها از توییتر به HDFS
انتقال داده ها از NetCat به HDFS
رهگیرهای فلوم
مثال Flume Interceptor
فلوم چند عامل جریان
تثبیت فلوم
Apache Hive:
پایگاه داده Hive
جداول مدیریت شده Hive
جداول خارجی کندو
درج کندو
Hive Analytics
کار با پارکت
فشرده سازی پارکت
کار با فرمت فایل ثابت
تغییر فرمان
توابع رشته کندو
توابع تاریخ کندو
پارتیشن بندی کندو
سطل سازی کندو
معرفی اسپارک:
مجموعه داده های توزیع شده انعطاف پذیر
نمای کلی خوشه
گراف غیر چرخشی کارگردانی شده (DAG) و مراحل
تحولات و اقدامات جرقه:
فیلتر/تقاطع
اتحاد/تحول متمایز
GroupByKey/ افراد را بر اساس ماه های تولد گروه بندی کنید
ReduceByKey / تعداد کل دانش آموزان در هر موضوع
SortByKey / مرتب سازی دانش آموزان بر اساس rollno آنها
MapPartition / MapPartitionWithIndex
تغییر تعداد پارتیشن ها
پیوستن / پیوستن به آدرس ایمیل بر اساس نام مشتری
اکشن های جرقه
تمرین RDD اسپارک:
گزارش خطا را از فایل های گزارش استخراج کنید
فراوانی کلمه در فایل متنی
جمعیت هر شهر
سفارشات ارسال شده توسط مشتریان
میانگین امتیاز فیلم بیشتر از 3
Spark Dataframes و Spark SQL:
Dafaframe از Json Files
دیتافریم از فایل های پارکت
دیتافریم از فایل های CSV
دیتافریم از Avro/XML Files
کار با فشرده سازی های مختلف
DataFrame API Part1
DataFrame API Part2
Spark SQL
کار با Hive Tables در Spark