در حال حاضر محصولی در سبد خرید شما وجود ندارد.
در این کورس آموزشی با آپاچی اسپارک آشنا شده و پردازش بیگ دیتا بوسیله آن را یاد می گیرید.
عنوان اصلی : Tuning Apache Spark: Powerful Big Data Processing Recipes
توسعه جریان داده با Apache Spark، Kafka و Spring Boot:
بررسی اجمالی دوره
کشف معماری طرح خط لوله جریان داده
تجزیه و تحلیل پاسخ به درخواست ملاقات در زمان واقعی
اجرای ردیف مجموعه (قسمت اول - جمع آوری داده ها)
جمع آوری داده از طریق الگوی جریان و Spring WebSocketClient API
توضیح نقش ردیف پیام
معرفی ردیف صف پیام ما - آپاچی کافکا
اجرای ردیف مجموعه (بخش دوم - ارسال داده)
تشریح ردیف دسترسی به داده
معرفی ردیف دسترسی به داده ما - MongoDB
بررسی Spring Reactive
افشای ردیف دسترسی به داده در مرورگر
غواصی در سطح تحلیل
الگوریتم های جریان برای تجزیه و تحلیل داده ها
معرفی سطح تحلیل ما - آپاچی اسپارک
پلاگین ردیف تجزیه و تحلیل جرقه به خط لوله ما
مروری کوتاه بر Spark RDDs
جریان جرقه
DataFrames، Datasets و Spark SQL
جریان ساختار یافته جرقه
یادگیری ماشینی در 7 مرحله
MLlib (Spark ML)
Spark ML و Structured Streaming
Spark GraphX
تحمل خطا (HML)
کافکا کانکت
ایمن سازی ارتباطات بین لایه ها
دانشتان را امتحان کنید
5 سوال
Apache Spark: نکات، ترفندها و تکنیک ها:
بررسی اجمالی دوره
استفاده از تبدیل جرقه برای به تعویق انداختن محاسبات به زمان بعدی
اجتناب از تحولات
استفاده از Reduce و ReducByKey برای محاسبه نتایج
انجام اقداماتی که محاسبات را آغاز می کنند
استفاده مجدد از همان RDD برای اقدامات مختلف
در زنجیره والد/فرزند Spark RDDs کاوش کنید
استفاده از RDD به روشی غیرقابل تغییر
استفاده از عملیات DataFrame برای تبدیل آن
تغییر ناپذیری در محیط بسیار همزمان
استفاده از Dataset API به روشی غیرقابل تغییر
تشخیص مخلوط در یک پردازش
آزمایش عملیاتی که باعث درهم ریختگی در آپاچی اسپارک می شود
تغییر طراحی مشاغل با وابستگی های گسترده
استفاده از عملیات keyBy() برای کاهش Shuffle
استفاده از پارتیشن سفارشی برای کاهش درهم ریختگی
ذخیره داده ها در متن ساده
استفاده از JSON به عنوان یک فرمت داده
قالب های جدولی - CSV
استفاده از Avro با اسپارک
قالب های ستونی - پارکت
تبدیل‌های موجود در جفت‌های کلید/مقدار
استفاده از aggregateByKey به جای groupBy()
اقدامات روی جفت کلید/مقدار
تقسیم‌کننده‌های موجود در داده‌های کلید/مقدار
پیاده سازی پارتیشن سفارشی
جداسازی منطق از موتور اسپارک - تست واحد
تست یکپارچه سازی با استفاده از SparkSession
تمسخر منابع داده با استفاده از توابع جزئی
استفاده از ScalaCheck برای تست مبتنی بر ویژگی
تست در نسخه های مختلف Spark
ایجاد نمودار از Datasource
با استفاده از Vertex API
با استفاده از Edge API
محاسبه درجه راس
محاسبه رتبه صفحه
دانشتان را امتحان کنید
5 سوال
عیب یابی Apache Spark:
بررسی اجمالی دوره
محاسبات مشتاق: ارزیابی تنبل
مقادیر حافظه پنهان: ماندگاری در حافظه
رفتار غیرمنتظره API: انتخاب RDD API مناسب
وابستگی های گسترده: استفاده از وابستگی های باریک
ساخت محاسبات موازی: استفاده از پارتیشن ها
تعریف توابع سفارشی قوی: درک عملکردهای تعریف شده توسط کاربر
برنامه های منطقی پنهان کردن حقیقت: بررسی نقشه های فیزیکی
لامبداهای آهسته تفسیر شده: بهینه سازی جرقه تولید کد
اجتناب از استراتژی‌های پیوستن نادرست: استفاده از نوع Join بر اساس حجم داده
پیوستن آهسته: انتخاب یک برنامه اجرایی برای پیوستن
مشکل اتصالات توزیع شده: DataFrame API
مشکل اتصال TypeSafe: جدیدترین API DataSet
به حداقل رساندن ایجاد شی: استفاده مجدد از اشیاء موجود
Iterating Transformations - روش mapPartitions().
شروع برنامه Slow Spark: کاهش سربار نصب
انجام محاسبه مجدد غیر ضروری: استفاده مجدد از RDD
تکرار همان کد در خط لوله جریان: استفاده از منابع و سینک ها
تأخیر طولانی مشاغل: درک موارد داخلی دسته ای
تحمل خطا: استفاده از Data Checkpointing
حفظ دسته ای و جریانی: استفاده از نرم افزارهای جریان سازی ساختاریافته
دانشتان را امتحان کنید
Tuning Apache Spark: Powerful Big Data Processing Recipes
در این روش نیاز به افزودن محصول به سبد خرید و تکمیل اطلاعات نیست و شما پس از وارد کردن ایمیل خود و طی کردن مراحل پرداخت لینک های دریافت محصولات را در ایمیل خود دریافت خواهید کرد.
