مهندسی داده ها و کار با ابزارهای کار بر روی Data در کلود آژور

پایگاه داده Microsoft Azure SQL، دریاچه داده، کارخانه داده ها، Synapse Analytics، Cosmos DB، Databricks، HDIsSight، ذخیره سازی

عنوان اصلی : Azure Data Engineer Technologies for Beginners [Bundle] 2022

سرفصل های دوره :

بررسی اجمالی دوره و تعیین انتظارات:
چگونه بعد از 12 ماه به استفاده رایگان از پورتال Azure ادامه دهیم؟
نحوه دریافت اعتبار رایگان برای Azure Portal
قبل از شروع...
مقدمه ای بر محاسبات ابری Azure:
PPT این ماژول را دانلود کنید
اشتراک رایگان Azure ایجاد کنید
نمایش کلی خدمات Azure
سرویس مدیریت شده و مدیریت نشده
گروه مدیریت منابع و اشتراک
گروه های منابع
ارائه‌دهنده منبع
برچسب گذاری
کنترل دسترسی
دمو - ایجاد سرویس پایگاه داده Azure SQL
حذف منابع و تنظیم بودجه
نتیجه گیری
مقدمه ای بر مشخصات مهندس داده:
PPT این ماژول را دانلود کنید
مقدمه
مقدمه ای بر فناوری های مهندس داده
نتیجه گیری
******* پایگاه داده Azure SQL ****** :
معرفی ماژول
دانلود PPT - پایگاه داده Azure SQL
**** بخش **** - مقدمه ای بر پایگاه داده Azure SQL
مقدمه
چرا باید SQL Server را در Azure انتخاب کنیم؟
Iaas در مقابل نمونه مدیریت شده
گزینه های استقرار SQL Server PaaS
مراجع بیشتر از Microsoft Docs
تست تمرینی
**** بخش **** - Azure SQL Server در ماشین مجازی (IaaS)
مقدمه
SQL Server در ماشین مجازی Azure
مراجع بیشتر از Microsoft Docs
تست تمرینی
**** بخش **** - پایگاه داده واحد Azure
مقدمه
دمو - پایگاه داده واحد Azure
خرید مدل ها و ردیف خدمات
پایگاه داده Azure در مقابل انبار داده Azure
مراجع بیشتر از Microsoft Docs
تست تمرینی
**** بخش **** - استخر پایگاه داده الاستیک
مقدمه
پایگاه داده Azure Elastic
دمو - پایگاه داده Azure Elastic
مراجع بیشتر از Microsoft Docs
تست تمرینی
**** بخش **** - پایگاه داده نمونه مدیریت شده
مقدمه
پایگاه نمونه مدیریت شده Azure
تفاوت بین داخل محل و نمونه مدیریت شده
گزینه های مهاجرت برای نمونه مدیریت شده
سطوح خدمات برای نمونه مدیریت شده
عملیات مدیریت
دمو - نمونه مدیریت شده
مراجع بیشتر از Microsoft Docs
تست تمرینی
**** بخش **** - امنیت پایگاه داده Azure
مقدمه
گزینه های امنیت پایگاه داده Azure
امنیت پیشرفته نمونه مدیریت شده Azure
رمزگذاری داده ها در حالت استراحت و حرکت
پوشش داده پویا
در دسترس بودن بالا در مقابل بازیابی فاجعه
RTO در مقابل RPO
گزینه های در دسترس بودن بالا و گزینه های Disaster Recovery پایگاه داده Azure SQL
پشتیبان گیری و بازیابی پایگاه داده Azure SQL
مقیاس‌سازی پایگاه داده Azure SQL
مراجع بیشتر از Microsoft Docs
تست تمرینی
نظارت از طریق پورتال
نظارت از طریق ابزارهای خارجی
عملکرد هوشمند و تنظیم خودکار
Query Performance Insight
******* Azure SQL Data Warehouse ***** :
به روز رسانی های مهم در مورد تغییرات جدید - لطفاً بخوانید
انبار داده - دوره خرابی
معرفی ماژول
Azure Synapse - منابع PPT و نسخه ی نمایشی
**** بخش به روز شده **** - مقدمه ای بر سرویس تحلیل سیناپس Azure
مقدمه
چرا انبارداری در ابر؟
معماری انبار سنتی در مقابل مدرن
Synapse Analytics Service چیست
نسخه ی نمایشی: استخر اختصاصی SQL ایجاد کنید
نسخه ی نمایشی: SQL Pool را با SSMS وصل کنید
نسخه ی نمایشی: فضای کاری Azure Synapse Analytics ایجاد کنید
نسخه ی نمایشی: Synapse Studio V2 را کاوش کنید
دمو: استخر اختصاصی SQL و Spark Pool را از داخل Synapse Studio ایجاد کنید
نسخه ی نمایشی: تجزیه و تحلیل داده ها با استفاده از Dedicated SQL Pool
داده ها را با استفاده از نوت بوک Apache Spark تجزیه و تحلیل کنید
نسخه ی نمایشی: تجزیه و تحلیل داده ها با استفاده از سرور SQL Pool
نمایش: ابزار کپی کارخانه داده از تب Synapse Integrate
نسخه ی نمایشی: مانیتور استودیو Synapse Analytics
Azure Synapse یک تغییر دهنده بازی
مزایای Azure Synapse
تجربه یکپارچه Synpase
خلاصه
تست تمرینی
**** بخش **** - Azure Synapse Internal and Architecture
مقدمه
معماری Azure Synapse MPP
الگوهای ذخیره سازی و خرد کردن
کلیدهای توزیع و توزیع داده
انواع داده و انواع جدول
پارتیشن بندی
بهترین روشها برای جداول واقعیت و ابعاد
دمو - تجزیه و تحلیل توزیع داده ها قبل از مهاجرت به لاجورد
خلاصه
تست تمرینی
**** بخش **** - انتقال داده ها به انبار داده Azure Synapse
مقدمه
5 بهترین روش برای بارگذاری داده
روش های مختلف بارگذاری
بارگیری با SSIS در مقابل PolyBase
دمو - بارگیری با SSIS
دمو - بارگیری با Polybase
دمو - بارگیری با Data Factory
خلاصه
تست تمرینی
سوال تکلیف - آزمایشگاه: دریاچه تا سیناپس
راه حل تکلیف - آزمایشگاه: دریاچه تا سیناپس
**** بخش **** - لایه های امنیتی در سرویس Azure Synapse
مقدمه
امنیت داده پیشرفته
حسابرسی
امنیت شبکه
رمزگذاری شفاف داده ها
پوشش داده پویا
مدیریت دسترسی
خلاصه
تست تمرینی
**** بخش **** - پیکربندی و بهینه سازی سرویس سیناپس Azure
داخلیاستخر
گزینه های پیکربندی
انجام سایر وظایف
پشتیبان گیری و بازیابی
مقیاس بندی
بهینه سازی قیمت
مدیریت بارهای کاری
نظارت
پشتیبانی و عیب یابی
حذف منابع
خلاصه
تست تمرینی
یادداشت‌های سریع/برگ تقلب DP-200
******* دریاچه داده لاجورد ****** :
دریاچه داده - منابع PPT و نسخه ی نمایشی
دیتا لیک در مقابل هادوپ
Data Lake Gen2 چگونه تکامل یافت؟
Blob Storage در مقابل Data Lake
فضای نام سلسله مراتبی
نمایش - ایجاد حساب Azure Data Lake Gen2
نمایش - نمای کلی حساب Data Lake Gen2
دیتا Lake Gen2 ویژگی های دیگر
**** بخش **** - مصرف دریاچه داده از طریق ابزارهای مختلف
ابزارهای مختلف را برای جذب داده در Azure Data Lake Gen2 کاوش کنید
نسخه ی نمایشی - در محل به Data Lake Gen2 با استفاده از پورتال و کاوشگر ذخیره سازی
نسخه ی نمایشی - در محل به Data Lake Gen2 با استفاده از azcopy
دمو - Azure Blob به Data Lake Gen 2 با استفاده از Data Factory
دمو - پایگاه داده Azure SQL به Data Lake Gen2 با استفاده از Data Factory
نمایش - آمازون S3 به Data Lake Gen2 با استفاده از Data Factory
**** بخش **** - جریان داده در اطراف دریاچه داده
جریان داده در اطراف دریاچه داده
دریاچه داده و خوشه های گذرا
پردازش داده با استفاده از HDInsight
**** بخش **** - پردازش دریاچه داده از طریق Databricks
Imp Note درباره این نسخه نمایشی
نمایش کلی
آبریک های داده، خوشه ها و کتاب کار ارائه
Mount Data Lake به Databricks DBFS
کاوش، تجزیه و تحلیل، تمیز کردن، تغییر شکل دادن
**** بخش **** - لایه های امنیتی دریاچه داده
مقدمه
کلیدهای دسترسی به حافظه
SAS - امضای دسترسی مشترک
Azure Active Directory
کنترل دسترسی مبتنی بر نقش (RBAC)
لیست کنترل دسترسی (ACL)
فایروال ها و شبکه های مجازی
رمزگذاری در حمل و نقل
رمزگذاری در حالت استراحت
حفاظت از تهدیدات پیشرفته
**** بخش **** - نظارت و بهینه سازی دریاچه داده ها
گزارش فعالیت
نمایش: گزارش‌های فعالیت
معیارها
نمایش: معیارها
نسخه ی نمایشی: بینش
نسخه ی نمایشی: هشدارها
تنظیمات تشخیصی
نمایش: تنظیمات تشخیصی
بهینه سازی
******** پایگاه های داده NoSQL در Microsoft Azure ****** :
منابع PPT و نسخه ی نمایشی
مقدمه ای بر NoSQL
SQL در مقابل NoSQL
4 نوع پایگاه داده NoSQL
پیشنهادات NoSQL توسط Microsoft Azure
معرفی Azure Storage
نسخه نمایشی: قسمت 1 ارائه حساب ذخیره سازی Azure
نسخه ی نمایشی قسمت 2: تکرار Azure Storage
نسخه نمایشی: قسمت 3 ادامه تهیه حساب ذخیره سازی Azure
ذخیره سازی حباب لاجوردی
مدیریت چرخه حیات داده
ذخیره‌سازی Azure - گزینه‌های HA و DR
******* Azure Cosmos DB ****** :
Cosmos DB - PPT و منابع آزمایشی
بیان مسئله چگونه Cosmos DB تکامل یافت
ویژگی های Cosmos DB
Cosmos DB - چند مدل 5 API
Azure Table Storage vs Cosmos DB Table API
تامین حساب DB Cosmos
Cosmos DB - پایگاه داده، ظروف و موارد
Cosmos DB - واحدهای پردازش و درخواست
Cosmos DB - به صورت افقی مقیاس پذیر
Cosmos DB - کلید پارتیشن و پارتیشن بندی
Cosmos DB - توان عملیاتی اختصاصی در مقابل مشترک
Cosmos DB - اجتناب از پارتیشن های داغ
Cosmos DB - پارتیشن تک در مقابل پارتیشن متقابل
Cosmos DB - کلید ترکیبی
Cosmos DB - بهترین روش کلید پارتیشن
Cosmos DB - نمایه سازی خودکار
دمو داده ها را در DB کیهان خود قرار دهید و جستجو کنید
Cosmos DB - قابلیت Time to Live
Cosmos DB - ویژگی توزیع جهانی
Cosmos DB - ویژگی Multi Master
Cosmos DB - دستی در مقابل خطای خودکار
Cosmos DB - 5 سطح ثابت
Cosmos DB - Azure CLI
Cosmos DB - قیمت گذاری
Cosmos DB - نظارت از طریق AMS (سرویس مانیتور Azure)
Cosmos DB - نظارت از طریق پورتال Cosmos DB
Cosmos DB - امنیت
Cosmos DB - در دسترس بودن بالا و گزینه بازیابی فاجعه
******* Azure Streaming Analytics ****** :
منابع PPT و نسخه ی نمایشی
پردازش رویداد زنده چیست؟
معرفی سرویس تحلیل جریانی Azure
تحلیل جریانی - پنجره زمانی چیست؟
تجزیه و تحلیل جریانی - پنجره نازل
تحلیل جریانی - پنجره پرش
تحلیل جریانی - پنجره کشویی
تجزیه و تحلیل جریانی - پنجره جلسه
تحلیل جریانی - پردازش ورودی ذخیره‌سازی حباب
تحلیل جریانی - پردازش ورودی IOT Hub
تجزیه و تحلیل جریان - نظارت
تجزیه و تحلیل جریان - بهینه سازی
******* Azure Databricks ****** :
منابع PPT و نسخه ی نمایشی
اصول Spark
چرا اسپارک سخت است؟ چرا Databricks تکامل یافت؟
چرا Databricks در Cloud؟ آشنایی با Azure Databricks
نحوه صرفه جویی در هزینه نسخه ی نمایشی Databricks
نمایش کلی
نسخه ی نمایشی: Provision Databricks، Cluster و Workbook
دمو: Mount Data Lake به Databricks DBFS
نسخه ی نمایشی: کاوش، تجزیه و تحلیل، پاک کردن، تبدیل و بارگذاری داده ها در Databricks
خوشه های Azure Databricks
Azure Databricks سایر اجزای مهم دیگر
Databricks - مانیتورینگ
******* Azure Data Factory ****** :
PPT و منابع آزمایشی
Data Factory چیست
کارخانه داده در اکوسیستم Azure
Provision Azure Data Factory Instance
اجزای کارخانه داده
کارخانه داده - خط لوله و فعالیت ها
Data Factory - خدمات مرتبط و مجموعه داده
Data Factory - زمان اجرا یکپارچه
Data Factory - Copy Data Activity Wizard
Data Factory - کپی فعالیت داده با استفاده از نویسنده
Data Factory - ویژگی ورودی/خروجی ایمن
Data Factory - پارامترها
Data Factory - مفهوم جریان داده
Data Factory - Mapping Flow Data
Data Factory - Wrangling Data Flow
Data Factory - مانیتورینگ
کارخانه داده - نظارت از طریق معیارها، هشدارها، تنظیمات تشخیصی
******* سرویس مانیتور Azure ****** :
منابع PPT و نسخه ی نمایشی
چرا نظارت مهم است
معرفی سرویس مانیتور Azure
نسخه ی نمایشی: سرویس مانیتور Azure
******* HDInsight ****** :
PPT - Hadoop و HDInsight
Hadoop - دوره تصادف
نمای کلی HDInsight
جنبه های مهم HDInsight
انواع خوشه HDInsight
معماری HDInsight
**** بخش **** - نسخه ی نمایشی - HDInsight
ایجاد Azure Data Lake Storage Gen 2 (منبع) و SQL Server (مقصد)
هویت مدیریت شده چیست
شناسه مدیریت شده را به حساب های Gen2 و پایگاه داده اضافه کنید
خوشه پرس و جو تعاملی HDInsight را ایجاد کنید
نمای کلی و رابط کاربری Ambari
داده داده را در فضای ذخیره سازی DataLake وارد کنید
استخراج داده با Hive
تغییر داده با Hive
صادرات داده با استفاده از Sqoop
خلاصه
******* دوره های کراش برای مبتدیان مطلق ****** :
دوره های کرش برای مبتدیان مطلق
دوره خرابی Data Warehouse برای مبتدیان مطلق:
PPT این ماژول را دانلود کنید
مقدمه
انبار داده چیست؟
چرا ما به Data Warehouse نیاز داریم
راه حل ایده آل انبار داده
مسئولیت های طراح انبار داده
SQL Server در مقابل Data Warehouse
مدلسازی ابعادی
حقایق و جدول حقایق
جدول ابعاد و ابعاد
ستاره در برابر برف ریزه
خلاصه
دوره تصادف Hadoop برای مبتدیان مطلق:
دانلود PPT
چرا به محاسبات توزیعی نیاز داریم؟
دو راه برای ساختن سیستم
Hadoop در مقابل RDBMS
خلاصه Hadoop
تست های تمرینی:
تست تمرین 1
تست 2 را تمرین کنید
پایان دادن:
بخش پاداش