مهندسی داده در مایکروسافت Azure 2021 : دوره DP-203

آماده شدن برای آزمون DP-203 شما

عنوان اصلی : DP-203 - Data Engineering on Microsoft Azure 2021

سرفصل های دوره :

مقدمه:
اختیاری - مروری بر Azure
اختیاری - مفاهیم در Azure
حساب رایگان Azure
ایجاد یک حساب رایگان Azure
اختیاری - گشت سریع در پورتال Azure
دانلود PDF
طراحی و پیاده سازی ذخیره سازی داده ها - مبانی:
مقدمه بخش
Lab - حساب‌های ذخیره‌سازی Azure
Lab - پایگاه داده های Azure SQL
یک یادداشت سریع در مورد حساب رایگان Azure
Lab - برنامه اتصال به Azure Storage و پایگاه داده SQL
اختیاری - نصب Visual Studio 2019
Lab - اتصال برنامه به Azure Storage و پایگاه داده SQL - منابع
فرمت های مختلف فایل
حساب‌های ذخیره‌سازی Azure Data Lake Gen-2
آزمایشگاه - ایجاد یک حساب ذخیره سازی Azure Data Lake Gen-2
استفاده از PowerBI برای مشاهده داده های خود
آزمایشگاه - مجوز Azure Data Lake Gen 2 - کلیدهای دسترسی - Storage Explorer
آزمایشگاه - مجوز Azure Data Lake Gen 2 - امضاهای دسترسی مشترک
حساب ذخیره سازی Azure - افزونگی
حساب ذخیره‌سازی Azure - سطوح دسترسی
حساب ذخیره‌سازی Azure - خط‌مشی چرخه حیات
نکته در مورد هزینه یابی
طراحی و پیاده‌سازی ذخیره‌سازی داده - مروری بر Transact-SQL:
مقدمه بخش
اجزای داخلی موتور پایگاه داده
آزمایشگاه - راه اندازی یک پایگاه داده جدید Azure SQL
کد این بخش
Lab - T-SQL - SELECT clause
Lab - T-SQL - WHERE بند
Lab - T-SQL - ORDER BY clause
آزمایشگاه - T-SQL - توابع جمع
Lab - T-SQL - GROUP BY clause
Lab - T-SQL - HAVING clause
بررسی سریع کلیدهای اصلی و خارجی
آزمایشگاه - T-SQL - ایجاد جداول با کلیدها
Lab - T-SQL - Table Joins
طراحی و پیاده سازی ذخیره سازی داده - Azure Synapse Analytics:
مقدمه بخش
کد این بخش
چرا به انبار داده نیاز داریم؟
به Azure Synapse Analytics خوش آمدید
آزمایشگاه - ایجاد یک استخر SQL
آزمایشگاه - استخر SQL - جداول خارجی - CSV
پاکسازی داده ها
آزمایشگاه - استخر SQL - جداول خارجی - CSV با داده‌های قالب‌بندی شده
آزمایشگاه - استخر SQL - میزهای خارجی - پارکت - قسمت 1
آزمایشگاه - استخر SQL - میزهای خارجی - پارکت - قسمت 2
بارگیری داده ها در Dedicated SQL Pool
آزمایشگاه - بارگیری داده ها در جدول - فرمان COPY - CSV
آزمایشگاه - بارگیری داده ها در جدول - فرمان COPY - پارکت
توقف استخر اختصاصی SQL
آزمایشگاه - بارگیری داده ها با استفاده از PolyBase
آزمایشگاه - درج انبوه از Azure Synapse
تجربه خودم
طراحی انبار داده
اطلاعات بیشتر در مورد جداول ابعاد
آزمایشگاه - ساخت انبار داده - راه اندازی پایگاه داده
آزمایشگاه - ساخت جدول حقایق
آزمایشگاه - ساخت جدول ابعاد
آزمایشگاه - داده ها را به SQL Pool ما منتقل کنید
سایر نکات در فعالیت کپی
آزمایشگاه - استفاده از Power BI برای Star Schema
آشنایی با معماری سیناپس Azure
درک انواع جدول
درک میزهای گرد رابین
آزمایشگاه - ایجاد جداول درهم توزیع شده
نکته در مورد ایجاد جداول تکراری
طراحی میزهای شما
طراحی جداول - بررسی
آزمایشگاه - مثالی در هنگام استفاده از توزیع های مناسب برای جداول خود
نقاط روی میزها در Azure Synapse
آزمایشگاه - توابع پنجره
Lab - خواندن فایل‌های JSON
آزمایشگاه - کلیدهای جایگزین برای جداول ابعاد
به آهستگی تغییر ابعاد
بعد آهسته نوع 3
ایجاد جدول پشته
طرح واره دانه های برف
بیانیه آزمایشگاه - CASE
پارتیشن ها در Azure Synapse
Lab - ایجاد جدول با پارتیشن ها
آزمایشگاه - تعویض پارتیشن
شاخص ها
نکته سریع - معماری مدرن انبار داده
یادداشت سریع در مورد آنچه که به بخش‌های بعدی می‌بریم
در مورد استخر اسپارک چطور؟
طراحی و توسعه پردازش داده - Azure Data Factory:
مقدمه بخش
کد این بخش
استخراج، تبدیل و بارگذاری
Azure Data Factory چیست
شروع با Azure Data Factory
آزمایشگاه - Azure Data Lake به Azure Synapse - فایل Log.csv
Lab - Azure Data Lake تا Azure Synapse - فایل های پارکت
بررسی کارهایی که تاکنون انجام شده است
آزمایشگاه - تولید یک فایل پارکت
آزمایشگاه - در مورد استفاده از پرس و جو برای انتقال داده چطور؟
حذف مصنوعات در Azure Data Factory
نگاشت جریان داده
آزمایشگاه - جریان داده های نقشه برداری - جدول حقایق
آزمایشگاه - نگاشت جریان داده - جدول ابعاد - DimCustomer
آزمایشگاه - جریان داده های نقشه برداری - جدول ابعاد - DimProduct
آزمایشگاه - کلیدهای جایگزین - جداول ابعاد
آزمایشگاه - استفاده از سینک کش
آزمایشگاه - مدیریت ردیف های تکراری
توجه - اگر هیچ داده ای در جدول DimProduct خود نداشته باشیم چه اتفاقی می افتد
تغییر جزئیات اتصال
Lab - تغییر داده های ستون زمان در فایل Log.csv ما
آزمایشگاه - تبدیل پارکت به JSON
Lab - بارگیری JSON در SQL Pool
زمان اجرای یکپارچه سازی خود میزبانی شده
آزمایشگاه - زمان اجرا خود میزبانی شده - راه اندازی nginx
آزمایشگاه - زمان اجرا خود میزبانی شده - تنظیم زمان اجرا
آزمایشگاه - زمان اجرا خود میزبانی - فعالیت کپی
آزمایشگاه - زمان اجرا خود میزبانی - جریان داده نقشه برداری
آزمایشگاه - پردازشآرایه های JSON
آزمایشگاه - پردازش اشیاء JSON
آزمایشگاه - تقسیم شرطی
Lab - Schema Drift
آزمایشگاه - فعالیت فراداده
Lab - Azure DevOps - پیکربندی Git
Lab - Azure DevOps - پیکربندی انتشار
چه منابعی را به پیش می بریم
طراحی و توسعه پردازش داده - هاب رویداد Azure و تجزیه و تحلیل جریان:
کد این بخش
پردازش دسته ای و بلادرنگ
Azure Event Hub چیست؟
Lab - ایجاد یک نمونه از Event Hub
آزمایشگاه - ارسال و دریافت رویدادها
Azure Stream Analytics چیست
آزمایشگاه - ایجاد یک کار تجزیه و تحلیل جریان
آزمایشگاه - تجزیه و تحلیل جریان Azure - تعریف کار
مروری بر آنچه تاکنون دیده‌ایم
آزمایشگاه - خواندن داده های تشخیصی پایگاه داده - راه اندازی
آزمایشگاه - خواندن داده‌ها از یک فایل JSON - راه‌اندازی
آزمایشگاه - خواندن داده ها از یک فایل JSON - پیاده سازی
Lab - خواندن داده‌ها از Event Hub - Setup
آزمایشگاه - خواندن داده ها از رویداد هاب - پیاده سازی
آزمایشگاه - پنجره های زمان بندی
Lab - افزودن خروجی های متعدد
آزمایشگاه - داده های مرجع
آزمایشگاه - بند OVER
Lab - خروجی Power BI
آزمایشگاه - خواندن گزارش‌های گروه امنیت شبکه - راه‌اندازی سرور
آزمایشگاه - خواندن گزارش‌های گروه امنیت شبکه - فعال کردن گزارش‌های جریان NSG
آزمایشگاه - خواندن گزارش‌های گروه امنیت شبکه - پردازش داده‌ها
آزمایشگاه - توابع تعریف شده توسط کاربر
فرمت های سریال سازی سفارشی
آزمایشگاه - هاب رویداد Azure - ویژگی ضبط
آزمایشگاه - کارخانه داده های Azure - کپی اطلاعات افزایشی
دمو در Azure IoT Devkit
چه منابعی را به پیش می بریم
طراحی و توسعه پردازش داده - Scala، Notebooks و Spark:
مقدمه بخش
کد این بخش
معرفی اسکالا
نصب Scala
Scala - بازی با ارزش ها
Scala - در حال نصب IntelliJ IDE
Scala - اگر ساخت
Scala - برای ساخت
Scala - while construct
اسکالا - ساختار موردی
Scala - توابع
Scala - مجموعه فهرست
شروع با پایتون
Python - یک برنامه ساده
Python - If construct
Python - while construct
Python - مجموعه فهرست
Python - توابع
نگاهی سریع به Jupyter Notebook
آزمایشگاه - Azure Synapse - ایجاد یک استخر اسپارک
آزمایشگاه - استخر جرقه - شروع کار با نوت بوک
آزمایشگاه - Spark Pool - Spark DataFrames
آزمایشگاه - Spark Pool - مرتب‌سازی داده‌ها
آزمایشگاه - استخر جرقه - بارگذاری داده‌ها
Lab - Spark Pool - حذف مقادیر NULL
Lab - Spark Pool - استفاده از دستورات SQL
Lab - Spark Pool - داده‌ها را در Azure Synapse بنویسید
استخر جرقه - قدرت ترکیبی
آزمایشگاه - استخر جرقه - میزهای اشتراکی
آزمایشگاه - Spark Pool - ایجاد جداول
Lab - Spark Pool - فایل‌های JSON
طراحی و توسعه پردازش داده - Azure Databricks:
کد این بخش
Azure Databricks چیست
خوشه‌ها در Azure Databricks
آزمایشگاه - ایجاد یک فضای کاری
آزمایشگاه - ایجاد یک خوشه
آزمایشگاه - دفترچه یادداشت ساده
آزمایشگاه - با استفاده از DataFrames
آزمایشگاه - خواندن یک فایل CSV
سیستم فایل Databricks
آزمایشگاه - چارچوب داده SQL
تجسم
آزمایشگاه - عملکردهای کمی در تاریخ ها
Lab - فیلتر کردن بر روی مقادیر NULL
آزمایشگاه - فایل‌های مبتنی بر پارکت
Lab - فایل‌های مبتنی بر JSON
آزمایشگاه - جریان ساخت یافته - اجازه دهید ابتدا داده های خود را درک کنیم
آزمایشگاه - پخش جریانی ساختاریافته - پخش جریانی از هاب رویداد Azure - مراحل اولیه
آزمایشگاه - جریان ساخت یافته - پخش جریانی از هاب رویداد Azure - پیاده سازی
آزمایشگاه - دریافت داده از Azure Data Lake - راه اندازی
آزمایشگاه - دریافت داده از دریاچه داده Azure - پیاده سازی
آزمایشگاه - نوشتن داده در استخر اختصاصی Azure Synapse SQL
Lab - استریم و نوشتن در استخر اختصاصی Azure Synapse SQL
Lab - Azure Data Lake Storage Credential Passthrough
آزمایشگاه - اجرای یک کار خودکار
مقیاس‌سازی خودکار یک خوشه
Lab - حذف ردیف های تکراری
Lab - با استفاده از دستور PIVOT
Lab - Azure Databricks Table
Lab - Azure Data Factory - اجرای یک نوت بوک
معرفی دریاچه دلتا
آزمایشگاه - ایجاد یک جدول دلتا
Lab - پخش جریانی داده ها در جدول
آزمایشگاه - سفر در زمان
یادداشت سریع در مورد تصمیم گیری بین Azure Synapse و Azure Databricks
چه منابعی را به پیش می بریم
طراحی و پیاده سازی امنیت داده ها:
مقدمه بخش
کد این بخش
خدمات Azure Key Vault چیست؟
Azure Data Factory - رمزگذاری
Azure Synapse - کلیدهای مدیریت شده توسط مشتری
Azure Dedicated SQL Pool - رمزگذاری داده های شفاف
Lab - Azure Synapse - Data masking
آزمایشگاه - Azure Synapse - حسابرسی
Azure Synapse - کشف و طبقه بندی داده ها
Azure Synapse - Azure AD Authentication
Lab - Azure Synapse - Azure AD Authentication - تنظیم ادمین
Lab - Azure Synapse - Azure AD Authentication - ایجاد کاربر
آزمایشگاه - Azure Synapse - امنیت در سطح ردیف
آزمایشگاه - Azure Synapse - امنیت در سطح ستون
Lab - Azure Data Lake - کنترل دسترسی مبتنی بر نقش
Lab - Azure Data Lake - Access Cلیست های کنترل
Lab - Azure Synapse - مجوز جداول خارجی از طریق هویت مدیریت شده
Lab - Azure Synapse - مجوز جداول خارجی از طریق Azure AD Authentication
Lab - Azure Synapse - فایروال
آزمایشگاه - دریاچه داده لاجورد - نقطه پایانی خدمات شبکه مجازی
آزمایشگاه - دریاچه داده لاجورد - هویت مدیریت شده - کارخانه داده
بررسی و بهینه سازی ذخیره سازی داده ها و پردازش داده ها:
کد این بخش
بهترین روش ها برای ساخت فایل ها در دریاچه داده شما
حساب‌های ذخیره‌سازی Azure - شتاب جستجو
مشاهده در مانیتور Azure
نمایشگر Azure - هشدارها
Azure Synapse - نمایش های سیستم
Azure Synapse - ذخیره مجموعه نتایج
Azure Synapse - مدیریت حجم کار
Azure Synapse - نقاط نگهداری
Lab - Azure Data Factory - مانیتورینگ
Azure Data Factory - مانیتورینگ - هشدارها و معیارها
Lab - Azure Data Factory - Annotations
Azure Data Factory - Integration Runtime - Note
Azure Data Factory - خطاهای خط لوله
Azure Key Vault - در دسترس بودن بالا
Azure Stream Analytics - Metrics
Azure Stream Analytics - واحدهای جریان
Azure Stream Analytics - مثالی در مورد نظارت بر کار تجزیه و تحلیل جریان
Azure Stream Analytics - اهمیت زمان
Azure Stream Analytics - بیشتر در مورد جنبه زمانی
هاب‌های رویداد Azure و تجزیه و تحلیل جریان - پارتیشن‌ها
Azure Stream Analytics - مثالی در مورد چند پارتیشن
Azure Stream Analytics - اطلاعات بیشتر در مورد پارتیشن ها
Azure Stream Analytics - مثالی در مورد تشخیص خطاها
Azure Stream Analytics - تنظیمات عیب‌یابی
Azure Databricks - مانیتورینگ
Azure Databricks - ارسال گزارش به Azure Monitor
مرکز رویداد Azure - در دسترس بودن بالا
بخش تمرین:
تست تمرین 1
تست 2 را تمرین کنید
سخنرانی پاداش