کورس یادگیری کامل Google Dataflow

آیا می خواهید بدانید که با Google DataFlow چه کاری می توانید انجام دهید؟ در این دوره ، Kishan Iyer نمای کلی از Google Dataflow را به شما ارائه می دهد ، شما را از طریق سرویس DataFlow پیاده می کند ، روش های پیکربندی و نظارت بر خطوط لوله را بررسی می کند و نحوه استفاده از الگوهای DataFlow را به شما نشان می دهد. کیشان توضیح می دهد که چگونه می توانید گزینه های خود را برای خط لوله پرتوی آپاچی تعریف کنید ، سپس به شما نشان می دهد که چگونه یک برنامه پرتو آپاچی را اجرا کنید ، یک مرحله تبدیل خط لوله را تعریف کنید و یک خط لوله پرتوی آپاچی بسازید. او از نحوه تنظیم سرویس DataFlow و دریافت آن برای اجرای خط لوله پرتوی Apache قدم می گذارد. کیشان محاسبه یک مقدار متوسط از داده ها ، پیکربندی تعداد کارگران ، انجام محاسبات جهانی و موارد دیگر. به علاوه ، او در مورد چگونگی جمع آوری قطعات برای یک الگوی DataFlow ، تعریف و اجرای یک کار با استفاده از یک الگوی DataFlow از پیش ساخته شده ، بحث می کند و خطوط لوله پرتوی Apache خود را با استفاده از DataFlow Prime.note اجرا می کند. این دوره توسط Kishan Iyer ایجاد شده است. ما خوشحالیم که میزبان این آموزش در کتابخانه خود هستیم.

عنوان اصلی : Learning Google Dataflow

سرفصل های دوره :

مقدمه:
نمای کلی از Dataflow
1. یک مرور سریع از Dataflow:
تنظیم یک پروژه Google Cloud برای Dataflow
ایجاد اعتبار برای یک خط لوله پردازش داده
درک پرتو آپاچی
نقش Dataflow
ایجاد یک پروژه پرتوی آپاچی با Maven
تعریف گزینه های خط لوله
اجرای برنامه پرتو آپاچی
تعیین مرحله تحول خط لوله
ساختمان و اجرای خط لوله پرتوی آپاچی
2. سرویس DataFlow:
تنظیم یک سطل ذخیره سازی ابری
کار با پرونده ها در Apache Beam
اجرای کار پردازش پرونده
اجرای خط لوله با Dataflow
مشاهده پرونده های تولید شده توسط یک کار DataFlow
مقادیر جمع در یک خط لوله
در حال اجرا و تأیید یک کار جمع آوری
3. پیکربندی و نظارت خطوط لوله:
محاسبه یک مقدار متوسط ​​از داده ها
پیکربندی تعداد کارگران
انجام محاسبات جهانی
تغذیه یک ورودی جانبی به مرحله خط لوله
تأیید خط لوله ورودی جانبی
4. با استفاده از الگوهای Dataflow:
قرار دادن قطعات برای یک الگوی جریان داده
تعریف و اجرای یک کار با الگوی DataFlow
5. با استفاده از DataFlow Prime:
کار با DataFlow Prime
نتیجه گیری:
خلاصه و مراحل بعدی