یادگیری Data Pipeline ها در Apache Airflow

یک کتاب جریان هوا مفید برای انواع کاربران، از تازه کار به متخصص.
Rambabu Posa، Sai Aashika Consultancy
یک خط لوله موفق، داده ها را به طور موثر حرکت می دهد، به حداقل رساندن مکث ها و انسداد بین وظایف، حفظ هر فرآیند در طول عملیات. Apache Airflow یک محیط قابل تنظیم را برای ساخت و مدیریت خطوط لوله داده فراهم می کند، از بین بردن نیاز به مجموعه ای از ابزار HodgePodge از ابزارها، کد برف ریزه و فرآیندهای Homegrown. با استفاده از سناریوهای واقعی و نمونه های دنیای دنیای، خطوط لوله داده شده با Apache Airflow به شما می آموزد که چگونه خطوط لوله داده ها را ساده و خودکار، کاهش هزینه های عملیاتی را کاهش دهید و تمام تکنولوژی ها را در پشته خود قرار دهید.
درباره تکنولوژی
خطوط لوله داده ها مدیریت جریان داده ها از مجموعه اولیه از طریق تثبیت، تمیز کردن، تجزیه و تحلیل، تجسم، و بیشتر. Apache Airflow یک پلت فرم واحد را فراهم می کند که می توانید برای طراحی، پیاده سازی، مانیتور و حفظ خطوط لوله خود استفاده کنید. گزینه های آسان برای استفاده از UI، گزینه های پلاگین و بازی، و اسکریپت انعطاف پذیر Python Make airflow را برای هر کار مدیریت داده ای مناسب می سازد.
درباره کتاب
خطوط داده داده شده با Apache Airflow به شما می آموزد که چگونه ساخت و حفظ خطوط لوله داده موثر. شما شایع ترین الگوهای استفاده را کشف خواهید کرد، از جمله جمع آوری منابع داده چندگانه، اتصال به و از دریاچه های داده و استقرار ابر. بخش مرجع و بخش آموزشی، این راهنمای عملی، هر جنبه ای از نمودارهای Acycyclic هدایت شده (DAGS) را که جریان هوای قدرت را پوشش می دهد، و نحوه سفارشی کردن آنها برای نیازهای خط لوله خود را پوشش می دهد.
آنچه در داخل
ساخت، تست، و استقرار است خط لوله های جریان هوا به عنوان DAGS
اطلاعات خودکار حرکت و تبدیل داده ها
تجزیه و تحلیل داده های تاریخی با استفاده از Backfilling
توسعه اجزای سفارشی
تنظیم جریان هوا در محیط های تولید
درباره مخاطبان
برای Devops، مهندسان داده، مهندسان آموزش ماشین، و Sysadmins با مهارت های متوسط ​​پایتون.
درباره نویسنده
Bas Harenslak و Julian de Ruiter مهندسان داده با تجربه گسترده با استفاده از جریان هوا برای توسعه خطوط لوله برای شرکت های بزرگ هستند. BAS نیز یک ترازنر جریان هوا است.
اکتشاف آسان به دنبال مزایای استفاده از جابجایی خط لوله داده های خود را با جریان هوا.
دانیل لامبلین، کوپن
یکی از مرجع شما نیاز به ایجاد، نویسنده، برنامه، و نظارت بر گردش کار با Apache Airflow. توصیه پاک کردن
Thorsten Weber، BBV Software Services AG
تا به حال بهترین منبع برای جریان هوا.
Jonathan Wood، Lexisnexis

عنوان اصلی : Data Pipelines with Apache Airflow, video edition

سرفصل های دوره :

قسمت 1. شروع به کار:
فصل 1 ملاقات Apache Airflow
فصل 1 نمودار خط لوله در مقابل اسکریپت های متوالی
فصل 1 معرفی جریان هوا
فصل 1 هنگامی که برای استفاده از جریان هوا
فصل 2 آناتومی یک جریان هوا
فصل 2 در حال اجرا DAG در جریان هوا
فصل 2 در فواصل منظم اجرا می شود
فصل 3 برنامه ریزی در جریان هوا
فصل 3 فواصل مبتنی بر CRON
اطلاعات پردازش 3 به طور پیوسته
فصل 3 درک تاریخ اعدام جریان هوا
فصل 3 بهترین شیوه های طراحی وظایف
Tasks Templating Tasks با استفاده از زمینه جریان هوا
فصل 4 Templating Pythonoperator
Chapter 4 Hooking Up Systems
فصل 5 تعریف وابستگی بین وظایف
فصل 5 شاخه
فصل 5 وظایف شرطی
فصل 5 بیشتر درباره قوانین ماشه
فصل 5 به اشتراک گذاری داده ها بین وظایف
Chapter 5 Chaining Python وظایف با API TaskFlow
قسمت 2. فراتر از اصول:
فصل 6 راه اندازی گردش کار
فصل 6 نظرسنجی شرایط سفارشی
فصل 6 راه اندازی دیگر dags
فصل 7 ارتباط با سیستم های خارجی
فصل 7 توسعه محلی با سیستم های خارجی
فصل 7 انتقال داده ها از بین سیستم ها
فصل 8 ساخت قطعات سفارشی
فصل 8 ساخت قلاب سفارشی
فصل 8 ساخت یک اپراتور سفارشی
فصل 8 بسته بندی قطعات خود را
فصل 9 تست
فصل 9 راه اندازی خط لوله CI / CD
فصل 9 تست با فایل بر روی دیسک
فصل 9 کار با سیستم های خارجی
فصل 9 با استفاده از آزمون های توسعه
فصل 10 وظایف در حال اجرا در ظروف
فصل 10 معرفی ظروف
فصل 10 ظروف و جریان هوا
فصل 10 ایجاد تصاویر کانتینر برای وظایف
فصل 10 وظایف در حال اجرا در Kubernetes
فصل 10 با استفاده از kubernetespodoperator
قسمت 3. جریان هوا در عمل:
فصل 11 بهترین شیوه ها
فصل 11 مدیریت مدارک Centrally
فصل 11 استفاده از کارخانه ها برای تولید الگوهای مشترک
فصل 11 طراحی وظایف قابل بازیافت
فصل 11 دست زدن به داده ها موثر است
فصل 11 مدیریت منابع شما
فصل 12 عملیات جریان هوا در تولید
فصل 12 کدام مدیر برای من مناسب است؟
فصل 12 نگاهی دقیق تر به برنامه ریز
فصل 12 نصب هر مجزا
فصل 12 راه اندازی KubernetesExecutor
فصل 12 ضبط سیاهههای مربوط به تمام فرایندهای جریان هوا
فصل 12 تجسم و نظارت بر معیارهای جریان هوا
فصل 12 ایجاد داشبورد با گرافان
فصل 12 چگونه از یک کار شکست خورده مطلع شوید
فصل 12 مقیاس پذیری و عملکرد
فصل 13 حفاظت از جریان هوا
فصل 13 رمزگذاری داده ها در حالت استراحت
فصل 13 رمزگذاری ترافیک به وب سرور
فصل 13 دریافت مدارک تحصیلی از سیستم های مدیریت مخفی
پروژه فصل 14: پیدا کردن سریع ترین راه برای به دست آوردن NYC
فصل 14 استخراج داده ها
فصل 14 ساخت یک خط لوله داده
قسمت 4. در ابرها:
فصل 15 جریان هوا در ابرها
فصل 15 آهنگساز Google Cloud
فصل 16 جریان هوا در AWS
فصل 16 Hooks و اپراتورهای خاص AWS
فصل 16 ساخت DAG
فصل 17 Airflow در Azure
بررسی فصل 17
فصل 18 جریان هوا در GCP
فصل 18 ادغام با خدمات Google
فصل 18 قلاب GCP خاص و اپراتورها
فصل 18 گرفتن اطلاعات به Bigquery