از زمان آغاز آن، آپاچی جرقه ای از شرکت ها در سراسر طیف وسیعی از صنایع دیده می شود. بنابراین، تسلط بر آپاچی جرقه طیف گسترده ای از فرصت های حرفه ای را باز می کند. اگر شما یک مهندس یا معمار نرم افزار هستید و می خواهید پروژه های خود را طراحی یا ساخت خود را طراحی کنید، سپس این دوره درست برای شما است.
این یک دوره دستی، به عنوان مثال، پیشرفته با تظاهرات و جلسات برنامه نویسی است. این دوره به شما کمک خواهد کرد تا پردازش جریان واقعی را با استفاده از Apache Spark و بعدا درک کنید، شما می توانید این دانش را برای ایجاد راه حل های پردازش جریان در زمان واقعی اعمال کنید.
این دوره همه چیز را از ابتدا پوشش می دهد، که شامل نصب جرقه آپاچی می شود و دیدن نحوه راه اندازی و اجرای آپاچی کافکا. علاوه بر این، پردازش جریان و نحوه کار با فایل ها و دایرکتوری ها را معرفی می کند. شما همچنین Serialization Kafka و Diserialization برای جرقه و نحوه کار با منبع AVRO Kafka را بررسی خواهید کرد. و در نهایت، این دوره با جریان استاندارد علامت گذاری و اتصالات بیرونی پیچیده می شود.
در پایان این دوره، شما قادر به طراحی و توسعه پروژه های مهندسی داده های بزرگ خواهید بود. شما قادر خواهید بود برنامه های کاربردی پردازش جریان زمان واقعی را با Apache Spark ایجاد کنید. این دوره همچنین به شما کمک خواهد کرد که رشد خود را در پردازش جریان در زمان واقعی ادامه دهید.
تمام منابع و فایل های کد در اینجا قرار می گیرند: https://github.com/packtpublishing/spark-streaming-in-scala
عنوان اصلی : Real-Time Stream Processing Using Apache Spark 3 for Scala Developers
سرفصل های دوره :
قبل از شروع:
درباره دوره
پیش نیازهای دوره
محیط خود را تنظیم کنید:
محیط توسعه اسپارک
پیش نیازهای نصب اسپارک
نصب Apache Spark
IDE خود را تنظیم و آزمایش کنید
آپاچی کافکا را نصب و اجرا کنید
شروع با جریان ساختار یافته Spark:
مقدمه ای بر پردازش جریانی
Spark Streaming API - DStream در مقابل جریان ساختاریافته
ایجاد اولین برنامه پردازش جریانی شما
مدل پردازش جریان در Spark
کار با فایل ها و فهرست ها
منابع جریان، سینک ها و حالت خروجی
تحمل خطا و راه اندازی مجدد
جرقه استریم با کافکا:
پخش از منبع کافکا
کار با کافکا سینک
برنامه جریان های چند پرس و جو
سریال سازی کافکا و سریال زدایی برای اسپارک
ایجاد سینک های Kafka AVRO
کار با منبع Kafka AVRO
پنجره و مصالح:
دگرگونی های بی وطن در مقابل دولت
زمان رویداد و پنجره
مجموعه پنجره چرخشی
واترمارک کردن ویندوز شما
حالتهای واترمارک و خروجی
ویندوز کشویی
پردازش جریانی و پیوستن:
پیوستن استریم به منبع استاتیک
پیوستن به جریان به جریانی دیگر
استریم واترمارک
پخش جریانی اتصالات خارجی
Real-Time Stream Processing Using Apache Spark 3 for Scala Developers
در این روش نیاز به افزودن محصول به سبد خرید و تکمیل اطلاعات نیست و شما پس از وارد کردن ایمیل خود و طی کردن مراحل پرداخت لینک های دریافت محصولات را در ایمیل خود دریافت خواهید کرد.
✨ تا ۷۰% تخفیف با شارژ کیف پول 🎁
مشاهده پلن ها
