کورس پیشرفته Google Dataflow

هنگامی که اصول اولیه Google DataFlow را تسلط کردید ، ممکن است تعجب کنید که چه کار دیگری می توانید با آن انجام دهید. این دوره بر کاربردهای پیشرفته تری برای Apache Beam و Dataflow متمرکز شده است. پس از ارائه یک مرور سریع ، مربی Kishan Iyer شما را به پردازش جریان با DataFlow معرفی می کند. او به شما نشان می دهد که چگونه می توانید پیام هایی را به پیام های میخانه/زیر ، پیام های دسترسی در آنجا منتشر کنید و خط لوله ای را تنظیم کنید که با میخانه/زیر و بزرگ کار می کند. Kishan همچنین نحوه خواندن و نظارت بر پیام ها در Pub/Sub را پیش می برد. در مرحله بعد ، او شما را از طریق چندین عملیات مختلف پنجره ای پیاده می کند و به عملیات در DataFlow می پیوندد. Kishan پردازش جریان بدون کد ، آماده سازی برای استفاده از DataFlow SQL ، اجرای مشاغل با DataFlow SQL و ایجاد نمایش داده های پارامتر شده با DataFlow SQL را پوشش می دهد. به علاوه ، او در مورد نحوه راه اندازی مشاغل جریان با یک الگوی و تأیید نتایج برای یک الگوی کار بحث می کند. Note: این دوره توسط کیشان آیر ایجاد شده است. ما خوشحالیم که میزبان این آموزش در کتابخانه خود هستیم.

عنوان اصلی : Advanced Google Dataflow

سرفصل های دوره :

مقدمه:
نمای کلی فناوری سریع
1. نمای کلی از پرتو Apache و Dataflow:
پردازش جریان با پرتوی آپاچی
فعال کردن API های Google Cloud برای برنامه های DataFlow
تنظیم اعتبار حساب خدمات
ایجاد یک پروژه پرتوی آپاچی با Maven
خواندن داده ها از Google Cloud Storage
عناصر چاپ کنسول
اجرای یک برنامه پردازش دسته ای
2. مقدمه ای برای پردازش جریان با DataFlow:
داده های جریان را تبدیل می کند
پردازش داده های جریان
انجام تجمع در داده های جریان
تعریف پنجره ای برای جمع آوری
با استفاده از یک جمع کننده سفارشی
3. پیام های جریان با Pub/Sub:
انتشار پیام به میخانه/زیر
دسترسی به پیام ها از میخانه/زیر
تنظیم میخانه/زیر و بزرگ
خواندن پیام از میخانه/زیر
نظارت بر پیام ها در میخانه/زیر
4. عملیات پنجره در DataFlow:
عملیات پنجره
نوشتن نتایج به BigQuery
تأیید خروجی خط لوله
محاسبه متوسط ​​بیش از یک پنجره
تنظیم مجدد اندازه پنجره
اجرای پنجره های کشویی
به روزرسانی مشاغل در حال اجرا
5. به عملیات در DataFlow بپیوندید:
پیوستن به pcollections محدود
اجرای جریان جریان
ورودی های تغذیه ای برای پیوستن به جریان
6. با استفاده از سرویس DataFlow SQL:
پردازش جریان بدون کد
آماده سازی برای استفاده از DataFlow SQL
اجرای مشاغل با DataFlow SQL
نمایش داده های پارامتر شده با DataFlow SQL
7. با استفاده از الگوهای جریان Dataflow:
راه اندازی مشاغل جریان با یک الگوی
تأیید نتایج برای یک کار الگوی
نتیجه گیری:
خلاصه و مراحل بعدی