مبانی مهندسی دیتا : استفاده از Spark, Hive, Hadoop

پایه های مهندسی داده PART1: با استفاده از جرقه، کندو، و ابزار Hadoop مقیاس پذیر Liverseons بیش از شش ساعت ویدئو را معرفی می کند که شما را به اکوسیستم داده های بزرگ Apache Hadoop معرفی می کند. آموزش شامل اطلاعات پس زمینه و نشان می دهد اجزای اصلی مهندسی داده ها و مقیاس پذیری، از جمله Apache Pyspark، Hadoop، سیستم های فایل توزیع شده Hadoop، Hadoop، HIVE، و
Notebook وب سایت Zeppelin. همچنین استفاده از ابزار تحلیلی خط فرمان لینوکس پایه را پوشش می دهد. تمام نمونه های درس و نرم افزار منبع باز مورد استفاده در این Livelessonons به صورت آزادانه در یک ماشین مجازی همراه است که امکان ادامه اکتشاف نمونه های درس را فراهم می کند.

عنوان اصلی : Data Engineering Foundations LiveLessons Part 1: Using Spark, Hive, and Hadoop Scalable Tools

سرفصل های دوره :

مقدمه:
پایه های مهندسی داده ها Livelessons قسمت 1: با استفاده از ابزارهای SPARK، HIVE و HADOOP مقیاس پذیر: مقدمه
درس 1: مفاهیم پس زمینه:
اهداف یادگیری
1.1 درک داده های بزرگ و مفاهیم تجزیه و تحلیل داده ها
1.2 Hadoop را به عنوان یک پلت فرم داده بزرگ درک کنید
1.3 درک مبانی MapReduce Hadoop
1.4 اصول زبان جرقه را درک کنید
درس 2: کار با سیستم های مقیاس پذیر:
اهداف یادگیری
2.1 مفاهیم مقیاس پذیر را درک کنید
2.2 سیستم های مقیاس پذیر را تقلید کنید
2.3 استفاده از ابزار تجزیه و تحلیل خط فرمان لینوکس
2.4 استفاده از نوت بوک وب Zeppelin
درس 3: با استفاده از سیستم فایل Hadoop HDFS:
اهداف یادگیری
3.1 اصول HDFS را درک کنید
3.2 استفاده از ابزارهای خط فرمان HDFS
3.3 از رابط وب HDFS استفاده کنید
درس 4: با استفاده از Hadoop MapReduce:
اهداف یادگیری
4.1 درک پارادایم MapReduce و پلت فرم
4.2 درک موازی MapReduce
4.3 اجرای نمونه های MapReduce
4.4 از رابط جریان استفاده کنید
4.5 از رابط وب MapReduce (نخ) استفاده کنید
درس 5: با استفاده از پایگاه داده مقیاس پذیر HIVE:
اهداف یادگیری
درس 6: با استفاده از Apache Pyspark:
اهداف یادگیری
خلاصه:
پایه های مهندسی داده ها Livelessons Part 1: با استفاده از ابزارهای Spark، Hive و Hadoop مقیاس پذیر: خلاصه