Apache Spark Essential آموزش: مهندسی داده های بزرگ

مهندسی داده ها پایه و اساس برای ساخت و ساز ساختمان های تجزیه و تحلیل و علوم داده ها در جهان جدید بزرگ داده است. مهندسی داده ها نیاز به ترکیب چندین فناوری داده های بزرگ برای ساخت خطوط لوله داده ها و شبکه ها برای جریان، پردازش و ذخیره داده ها دارد. این دوره تمرکز بر ساخت راه حل های کامل را متمرکز می کند که جرقه آپاچی را با سایر ابزارهای داده های بزرگ ترکیب می کند تا خطوط لوله داده های پایان را به پایان برساند.

مربی Kumaran Ponnambalam با تعریف مهندسی داده ها، توابع آن و مفاهیم آن آغاز می شود. بعد، Kumaran بیش از چگونگی قابلیت های جرقه ای مانند پردازش موازی، برنامه های اجرایی، گزینه های مدیریت دولت و کار یادگیری ماشین با عصاره، تبدیل، بار (ETL) می رود. او شما را به استفاده از پرونده ها و فرآیندهای پردازش دسته ای، و همچنین خط لوله پردازش در زمان واقعی معرفی می کند. پس از راه رفتن از طریق چندین بهترین شیوه مفید، کوماران با یک پروژه تمرین پایان به پایان می رسد.

عنوان اصلی : Apache Spark Essential Training: Big Data Engineering

سرفصل های دوره :

مقدمه:
ایجاد مهندسی کلان داده با Apache Spark
پیش نیازهای دوره
تنظیم فایل های تمرین
1. مفاهیم مهندسی داده:
مهندسی داده چیست؟
مهندسی داده در مقابل تجزیه و تحلیل داده در مقابل علم داده
توابع مهندسی داده
پردازش دسته‌ای در مقابل پردازش بی‌درنگ
مهندسی داده با Spark
2. قابلیت های Spark برای ETL:
بررسی معماری Spark
پردازش موازی با Spark
طرح اجرای جرقه
پردازش جریان وضعیتی
تجزیه و تحلیل Spark و ML
3. خطوط لوله پردازش دسته ای:
مورد استفاده از پردازش دسته ای: بیان مشکل
کاربرد پردازش دسته‌ای: طراحی
تنظیم DB محلی
بارگذاری سهام در فروشگاه مرکزی
تجمیع موجودی در انبارها
4. خطوط لوله پردازش بلادرنگ:
مورد استفاده در زمان واقعی: مشکل
مورد استفاده در زمان واقعی: طراحی
ایجاد جریان داده بازدیدکنندگان
ساخت یک کار تجزیه و تحلیل وب سایت
اجرای خط لوله بلادرنگ
5. مهندسی داده با اسپارک: بهترین روش ها:
گزینه های دسته ای در مقابل زمان واقعی
عملیات استخراج و بارگذاری مقیاس
عملیات پردازش مقیاس
ایجاد تاب آوری
6. پروژه تمرینی انتها به انتها:
شرایط تمرین پروژه
طراحی راه حل
استخراج اقدامات طولانی مدت
ساخت کارت امتیازی
نتیجه گیری:
اطلاعات بیشتر در مورد آپاچی اسپارک