شروع به کار با Apache Spark بر روی Azure Databricks

این دوره شما را به پرسش های تحلیلی و پردازش داده های بزرگ با استفاده از آپاچی جرقه در Databricks Azure معرفی می کند. شما یاد خواهید گرفت که چگونه با تحولات جرقه، اقدامات، تجسم ها و توابع با استفاده از Databricks Runtime کار کنید.
آنچه شما یاد خواهید گرفت
Databricks Azure اجازه می دهد تا شما را به کار با پردازش داده های بزرگ و پرس و جو با استفاده از Apache Spark موتور تجزیه و تحلیل یکپارچه. با استفاده از Databricks Azure شما می توانید محیط جرقه آپاچی خود را در عرض چند دقیقه تنظیم کنید، AutoScale خود پردازش، و همکاری و به اشتراک گذاری پروژه ها در یک فضای کاری تعاملی.
در این دوره، شروع به کار با Apache Spark در Databricks، شما اجزاء را یاد بگیرید موتور Apache Spark Analytics که به شما اجازه می دهد تا دسته بندی دسته ای را پردازش کنید و همچنین داده های جریان را با استفاده از یک API متحد کنید. اول، شما یاد خواهید گرفت که چگونه معماری جرقه برای پردازش داده های بزرگ پیکربندی شده است، پس از آن خواهید آموخت که چگونه Databricks زمان اجرا در Azure آن را بسیار آسان به کار با آپاچی جرقه در پلت فرم ابر Azure کار می کند و مفاهیم و اصطلاحات اساسی را برای کاوش خواهد کرد فن آوری های مورد استفاده در Databricks Azure.
بعد، کارهای و تفاوت های زیادی از مجموعه داده های توزیع شده انعطاف پذیر را نیز به عنوان RDDS شناخته می شود که ساختار داده های اصلی مورد استفاده برای پردازش داده های بزرگ در جرقه آپاچی است. شما خواهید دید که RDD ها ساختار داده ها هستند که در بالای آن فریم های داده جرقه ساخته شده اند. شما دو نوع عملیات را که می توانید بر روی فریم های داده انجام دهید، مطالعه کنید - یعنی تغییرات و اقدامات و درک تفاوت بین آنها. شما همچنین یاد خواهید گرفت که چگونه Databricks به شما اجازه می دهد اطلاعات خود را کشف و تجسم کنید با استفاده از عملکرد صفحه نمایش () که کتابخانه های بومی پایتون را برای تجسم استفاده می کنند.
در نهایت، شما تجربه دستکاری را با عملیات پردازش داده های بزرگ مانند پروژکتور دریافت خواهید کرد ، فیلتر کردن و عملیات تجمعی. در طول راه، شما خواهید آموخت که چگونه می توانید داده ها را از یک منبع خارجی مانند ذخیره سازی ابر Azure و نحوه استفاده از توابع ساخته شده در آپاچی را بخوانید تا داده های خود را تغییر دهید.
هنگامی که شما با این دوره به پایان رسید، مهارت ها و توانایی کار با تحولات اساسی، تجسم و جمع آوری با استفاده از آپاچی جرقه در Databricks Azure داشته باشد.

عنوان اصلی : Getting Started with Apache Spark on Databricks

سرفصل های دوره :

مرور دوره
Prequisites و طرح درس
معرفی آپاچی جرقه
معماری جرقه
معرفی databricks
مفاهیم علوم و مهندسی Databricks
Databricks Azure Architectural Overview
نسخه ی نمایشی: ایجاد یک فضای کاری Databricks Azure
نسخه ی نمایشی: مقررات تمام خوشه ای هدف
RDD ها و فریم های داده
API های Spark
نسخه ی نمایشی: dbutils
نسخه ی نمایشی: تحولات و اقدامات RDDS
نسخه ی نمایشی: تحولات و اقدامات بر روی فریم های داده
نسخه ی نمایشی: آپلود یک مجموعه داده به DBFS با استفاده از نوت بوک
نسخه ی نمایشی: انتخاب پایه و عملیات فیلتر کردن
نسخه ی نمایشی: نوشتن فایل های CSV به DBFS
نسخه ی نمایشی: ایجاد یک جدول با استفاده از Databricks UI
نسخه ی نمایشی: تجسم داده ها با استفاده از دستور نمایش
نسخه ی نمایشی: بررسی تجسم Databricks
نسخه ی نمایشی: خواندن و تجزیه اطلاعات JSON
نسخه ی نمایشی: دسترسی به فیلدهای تونیک و عناصر لیست
نسخه ی نمایشی: تنظیم یک حساب ذخیره سازی Azure
نسخه ی نمایشی: اسرار ذخیره سازی در طاق کلید Azure
نسخه ی نمایشی: خواندن از ذخیره سازی داده های Azure
نسخه ی نمایشی: تغییرات اساسی SQL
نسخه ی نمایشی: ساخته شده در توابع
خلاصه و مراحل بعدی