آموزش بیگ دیتا ویژه معماران داده و نرم افزار

با مشاهده این کورس آموزشی از طریق انجام پروژه های واقعی و به زبانی بسیار ساده مطالب فراوانی را در رابطه با بیگ دیتا یاد می گیرید.

عنوان اصلی : Big Data for Architects

سرفصل ها :

معرفی:
ساختار و رویکرد دوره
پیش نیاز دوره
مخاطبان دوره
درباره نویسنده
تنظیم محیط:
راه اندازی یک حساب Google Cloud
ایجاد یک کلاستر Dataproc
بهترین روش‌های حساب Google Cloud Platform (GCP).
دیدگاه کل نگر از معماری و خطوط لوله:
معماری منطقی داده های بزرگ
تکامل فن آوری های داده های بزرگ
معماری کلان داده های کلیدی
خط لوله دسته ای کلان داده معمولی
خط لوله انتقال داده های بزرگ معمولی
مثال 01: خط لوله جریان کلان داده
مثال 02: خط لوله جریان کلان داده
چارچوب‌های انتقال/جریان داده کلیدی:
عواملی که باید در هنگام مقایسه چارچوب های مصرف در نظر گرفت
کافکا در مقابل فلوم
NiFi در مقابل کافکا
Sqoop در مقابل Flume
Sqoop در مقابل Kafka Connect
نصب NiFi
نصب کافکا
پس‌زمینه ادغام کافکا و NiFi
ادغام کافکا و نی فای
چارچوب های ذخیره سازی کلیدی:
عواملی که باید در هنگام مقایسه چارچوب های ذخیره سازی در نظر گرفته شوند
سیستم فایل توزیع شده Hadoop (HDFS) در مقابل HBase
HBase در مقابل Kudu
سیستم فایل توزیع شده Hadoop (HDFS) در مقابل Kudu
HBase در مقابل کاساندرا
فرمت های داده:
متن در مقابل باینری
قابلیت همکاری
سطر گرا در مقابل ستون گرا
فرمت های قابل تقسیم
تکامل طرحواره
مقایسه فرمت های داده
نصب Sqoop در Dataproc Cluster
خط لوله دسته ای داده های بزرگ با استفاده از فرمت Avro
چارچوب های کلیدی پردازش داده:
عواملی که باید در هنگام مقایسه چارچوب های پردازش در نظر گرفت
MapReduce (MR) در مقابل Spark Logical Architecture
MapReduce (MR) در مقابل عملکرد Spark
اسپارک در مقابل تز
اسپارک در مقابل فلینک
کافکا استریم در مقابل جرقه استریم
Spark 2.x Streaming در مقابل Spark 1.x Streaming
Spark Core در مقابل Spark Structured Query Language (SQL)
ادغام کافکا و جرقه استریم
چارچوب های کلیدی تجزیه و تحلیل داده ها:
عواملی که باید در هنگام مقایسه چارچوب های تحلیل در نظر گرفت
کندو در مقابل ایمپالا
کندو در مقابل خوک
Hive در مقابل Spark Structured Query Language (SQL)
کندو در مقابل کندو زنده طولانی و فرآیند (LLAP) در مقابل ایمپالا
Hive در مقابل KSQL
KSQL در مقابل KSQLDB
عملی KSQL
نوشتن در یک جریان و جدول با استفاده از KSQL
پس‌زمینه خط لوله استخراج جریان، تبدیل، بارگذاری (ETL).
ساخت یک خط لوله مقیاس پذیر استخراج، تبدیل، بار (ETL) با اتصال کافکا - قسمت 1
ساخت یک خط لوله مقیاس پذیر استخراج، تبدیل، بار (ETL) با اتصال کافکا - قسمت 2
مواد اضافی:
Solr در مقابل Elasticsearch
جستجوی کلودرا در مقابل Solr
Oozie در مقابل جریان هوا
KSQL در مقابل KStreams
خلاصه:
نتیجه