آموزش استریمینگ دیتا بوسیله Apache Spark بر روی Azure Databricks

این دوره به شما آموزش خواهد داد که چگونه به استفاده از Windowing، Watermarking، و پیوستن به عملیات در جریان داده ها در جرقه برای موارد خاص استفاده خود را.
آنچه که شما یاد می گیرید
جریان ساخت یافته در Apache Spark، داده های زمان واقعی را به عنوان یک جدول که به طور مداوم اضافه شده است، رفتار می کند. در چنین مدل پردازش جریان، بار پردازش جریان جریان از کاربر به سیستم تغییر می کند، و آن را بسیار آسان و بصری برای پردازش داده های جریان با جرقه. Apache Spark پشتیبانی از طیف وسیعی از پنجره ها و پیوستن به عملیات در جریان داده ها با استفاده از زمان پردازش و زمان رویداد.
در این دوره، پنجره ها و عملیات پیوستن در جریان داده ها با Apache Spark در Databricks، شما تفاوت بین عملیات های بی نظیر را یاد خواهید گرفت کار بر روی یک موجودیت تک جریان و عملیات دولتی که در چندین نهاد انباشته شده در جریان عمل می کنند. سپس، شما انواع مختلفی از ویندوز را که توسط Apache Spark پشتیبانی می شود، کشف می کنید که شامل پنجره های کشویی، ویندوز های کشویی و پنجره های جهانی است.
بعدی، شما تفاوت بین زمان رویداد، زمان مصرف و زمان پردازش را درک خواهید کرد و ببینید چگونه شما می توانید عملیات های پنجره را با استفاده از هر دو زمان پردازش و همچنین زمان رویداد انجام دهید. در طول راه، شما به یک خوشه HDInsight Kafka متصل خواهید شد تا سوابق را برای جریان ورودی خود بخوانید. پس از آن از علامت گذاری به منظور مقابله با داده های دیر رسیدن استفاده می کنید و ببینید که چگونه می توانید از WaterMarks برای محدود کردن وضعیتی که Apache Spark Store استفاده می کنید استفاده کنید.
در نهایت، شما عملیات پیوستن را با استفاده از جریان ها انجام می دهید و انواع پیوندها را که جرقه های پشتیبانی می کنند را انجام می دهید برای جریان استاتیک و جریان جریان جریان می پیوندد. شما همچنین می توانید ببینید که چگونه می توانید به مراکز رویداد Azure متصل شوید تا سوابق را بخوانید.
هنگامی که شما با این دوره به پایان رسید، مهارت و دانش پنجره های مورد نیاز برای شناسایی زمانی که این تحولات قدرتمند باید انجام شود، داشته باشید و چگونه آنها انجام می شود.

عنوان اصلی : Windowing and Join Operations on Streaming Data with Apache Spark on Databricks

سرفصل های دوره :

مرور دوره
پیش نیازها و طرح درس
تحولات بی وقفه و شدید
غربالگری، کشویی و پنجره های جهانی
زمان رویداد، زمان مصرف و زمان پردازش
نسخه ی نمایشی: خواندن داده های جریان از یک منبع فایل
نسخه ی نمایشی: عملیات با استفاده از پنجره های جهانی
نسخه ی نمایشی: عملیات با استفاده از پنجره های Tumbling
نسخه ی نمایشی: عملیات بیشتر با استفاده از پنجره های Tumbling
نسخه ی نمایشی: عملیات با استفاده از ویندوز کشویی
نسخه ی نمایشی: تهیه یک خوشه HDInsight Kafka
نسخه ی نمایشی: پیکربندی Kafka به آدرس IP Avertise
نسخه ی نمایشی: دسترسی به کارگزار Kafka، Handname Zookeeper و آدرس های IP
نسخه ی نمایشی: ایجاد یک موضوع کافکا و ایجاد یک تولید کننده
نسخه ی نمایشی: خوشه کافکا با خوشه Databricks
نسخه ی نمایشی: پنجره ها با استفاده از زمان رویداد
نسخه ی نمایشی: ویندوز کشویی با استفاده از زمان رویداد
watermarks و داده های دیر
پیکربندی watermarks در جرقه
Watermarking برای محدود کردن حالت
نسخه ی نمایشی: مراکز رویداد Azure به عنوان یک منبع جریان
نسخه ی نمایشی: رویدادهای انتشارات به مراکز رویداد Azure
نسخه ی نمایشی: پیکربندی watermarks در جریان ها
جریان جریان
نسخه ی نمایشی: پیوستن جریان Static: پیوستن کامل بیرونی
نسخه ی نمایشی: پیوندهای استاتیک جریان: سایر عملیات پیوستن
نسخه ی نمایشی: راه اندازی منابع مختلف جریان
نسخه ی نمایشی: جریان جریان جریان
نسخه ی نمایشی: Inner با watermarks پیوست
نسخه ی نمایشی: بیرونی سمت چپ و نیمه به سمت چپ با علامت های Watermarks
خلاصه و مطالعه بیشتر