کار با کلود انبار داده های Snowflake

Master Snowflake Cloud Data-Warehouse با دست در تمرینات از کارشناس زمان واقعی.

عنوان اصلی : Snowflake Masterclass[stored proc+demos+Best practices+Labs]

سرفصل های دوره :

نمای کلی سطح بالا:
ساختار دوره.
آخرین به روز رسانی !!!!
راه اندازی ماشین مجازی.
/******** ماژول-1 شروع می شود********/ :
معرفی ماژول 1.
تنظیم محیط Snowflake :
ایجاد حساب دنباله دانه برف
معرفی کنسول وب Snowflake قسمت 1
معرفی کنسول وب Snowflake قسمت 2
محدودیت کنسول وب.
از snowflake cli وارد snowflake شوید
ایجاد پایگاه داده و جدول و مقدمه داده های نمونه.
خلاصه بخش
تنظیم محیط Snowflake
تکالیف -- بخش -1
معماری دانه‌های برف:
معماری دیسک مشترک.
قسمت 1 معماری هیچ چیز را به اشتراک گذاشت
قسمت 2 معماری هیچ چیز را به اشتراک گذاشت
تاثیر.
معماری دانه های برف.
منابع مطالعه بیشتر
ذخیره سازی در انبار داده برف ریزه:
مقدمه.
[نمونه نمایشی معماری] ذخیره سازی در برف ریزه.
[نمونه نمایشی معماری] در حال ذخیره مجدد.
[نمونه ی معماری] درس های آموخته شده.
توضیحات
ذخیره سازی
تخصیص ذخیره سازی
خوشه‌بندی در دانه‌های برف. :
مقدمه.
عمق پارتیشن های میکرو.
[نمونه] استفاده از مقدمه مختصر خوشه بندی.
خوشه بندی
تخصیص میکرو پارتیشن 1.
تخصیص میکرو پارتیشن 2.
جدول خوشه ای ایجاد کنید.
خوشه‌بندی --- شیرجه عمیق. :
معرفی بخش.
[نمایش] بررسی اطلاعات خوشه بندی
[نمونه] عملکرد را بدون اعمال خوشه‌بندی بهبود بخشید
[Demo] خوشه بندی مجدد دستی
[نمونه] نحوه انتخاب کلیدهای خوشه بندی.
خلاصه بخش.
مستندات خوشه‌بندی دانه‌های برف.
خوشه بندی-- شیرجه عمیق
خوشه بندی تکلیف غواصی عمیق 1.
تکلیف غواصی عمیق خوشه بندی 2.
مقدمه ای بر ایجاد انبار مجازی. :
ایجاد انبار مجازی.
انبار مجازی
تنظیم عملکرد و کاراکترهای DB:
بهینه سازی پرس و جو چگونه کار می کند.
[نمایش] نحوه عملکرد تراکنش به روز رسانی.
[نمونه] بدون محدودیت.
عملکرد: اجرای بیانیه های به روز رسانی.
عملکرد: افزودن ستون جدید.
عملکرد: کدام کوئری خوب است.
داشبورد Snowsight و انبار:
Snowsight_overview_part1
Snowsight_overview_part2
معرفی زمان بیکاری انبار
قیاس انبار
نمایش های فراداده
محاسبه هزینه بیکاری
افزودن فیلترهای پویا
ایجاد مقدمه داشبورد
تجزیه و تحلیل برای در دست استفاده
داشبورد ساختمان
استفاده از برف‌نگاری
نتیجه گیری
/******** ماژول-2 شروع می شود*******/ :
AWS CLI را در ویندوز نصب کنید.
AWS CLI را در مک نصب کنید.
Snow CLI را نصب کنید
چیزهایی که باید مراقب باشند.
بارگیری داده ها در برف ریزه. :
معرفی مراحل در دانه برف.
انواع مرحله داخلی
معرفی شی مرحله، فرمت فایل و دستور کپی.
شی صحنه را ایجاد کنید.
شئ فرمت فایل را ایجاد کنید.
بارگیری داده ها با استفاده از مرحله داخلی. :
معرفی بخش.
داده ها را با استفاده از کنسول وب آپلود کنید.
[نمونه] بارگذاری داده ها از سیستم محلی به برف ریزه.
[نمونه] داده ها را از snowflake به سیستم محلی دانلود کنید.
[Demo] بارگیری داده ها با استفاده از شی مرحله نامگذاری شده.
بارگیری داده ها با استفاده از snowCLI.
بارگیری داده ها از AWS s3:
معرفی بخش.
ایجاد حساب aws.
سطل aws s3 را ایجاد کنید.
خط مشی aws s3 را ایجاد کنید.
نقش aws را ایجاد کنید.
ایجاد ادغام دانه های برف.
داده ها را با استفاده از کنسول وب aws و cli در aws s3 آپلود کنید.
استعلام aws from snowflake.
داده‌ها را از s3 به snowflake بارگیری کنید.
بارگیری داده ها در s3
گزینه های دیگر برای کپی کردن.
فایل زیپ پشتیبانی نمی شود.
خلاصه بخش.
منطقه نمایش خارجی Aws.
داده‌ها را از Google GCS بارگیری کنید. :
ایجاد حساب gcs.
سطل ایجاد کنید.
آناتومی فرمان را کپی کنید.
شئ ادغام ذخیره سازی Gcp را ایجاد کنید.
داده های Gcs را پرس و جو کنید.
داده ها را در دانه برف بارگیری کنید.
داده‌های Gcs را بارگیری کنید.
در حال بارگیری داده ها از Azure. :
ایجاد حساب لاجوردی
اتصال دانه‌های برف به ذخیره‌سازی لکه‌های لاجوردی
آپلود داده ها با استفاده از AZCOPY
اطلاعات پارکت را از azure جستجو کنید
داده های پارکت را روی دانه های برف بارگیری کنید
داده های پارکت را در لاجورد بارگیری کنید
گزینه‌های کپی:
مقدمه.
[نمونه] قبل از بارگیری داده ها در جدول اعتبار سنجی کنید.
گزینه‌های سطح فایل [دمو].
[نمایش] جمع آوری رکوردهای رد شده از دستور کپی.
گزینه [نمایش] اعمال و برش ستون.
گزینه اجباری [دمو].
گزینه [Demo] Purge.
بارگیری تاریخچه و مشاهده تاریخچه کپی
گزینه های فرمان را کپی کنید.
[Demo] کار با دستور کپی. :
در حال آماده سازی داده ها.
داده های نمونه را بارگیری کنید.
عملکرد فرمان را کپی کنید.
تمرین نمایشی.
تکالیف. :
بارگذاری داده ها در جدول دانه های برف با استفاده از مرحله داخلی.
سند تکلیف: برای بارگیری داده ها در دو جدول مختلف.
تخصیص بارگذاری داده ها به چندین جدول
تخصیص بدهnt document: داده ها را در مرحله داخلی بارگیری کنید.
بارگیری داده ها در مرحله داخلی.
سند تخصیص: ایجاد یک شیء یکپارچه سازی.
شئ ادغام ایجاد کنید.
سند تکلیف: استفاده از snowflake به عنوان موتور جستجو.
از snowflake به عنوان موتور جستجو در aws s3 استفاده کنید.
سند تکلیف : در حال بارگیری داده های باز aws.
بارگیری aws داده‌ها را برای برف‌ریزه باز می‌کند.
بارگیری داده های بدون ساختار:
بارگیری معرفی داده های بدون ساختار.
داده های json را بارگیری کنید
داده های xml را بارگیری کنید
بارگیری داده های بدون ساختار: روش-1
بارگیری داده های بدون ساختار: روش-2
بارگیری داده های بدون ساختار: روش-3
داده های کتاب json را بارگیری کنید.
داده های توییتر را بارگیری کنید.
داده های پارکت را تخلیه و بارگیری کنید.
/******** ماژول-3 شروع می شود********/ :
معرفی ماژول 3.
لوله برفی در دانه های برف. :
معرفی لوله برفی.
نسخه نمایشی Snowpipe
تجزیه و تحلیل Snowpipe Part-1
تجزیه و تحلیل Snowpipe قسمت 2
تجزیه و تحلیل Snowpipe قسمت 3
مسابقه لوله برفی.
انتخاب لوله برف.
اشتراک گذاری داده در snowflake:
معرفی سریع به اشتراک گذاری داده ها.
نمایش اشتراک داده
ایجاد نمای ایمن
تفاوت بین نمای ایمن و عادی.
ایجاد حساب برف خوان.
حساب خواننده را پیکربندی کنید.
محدودیت در حساب خواننده.
اهمیت اشتراک داده.
منابع مطالعه بیشتر
Asignment-1: ایجاد حساب مشترک.
Asignment-2 : ایجاد نماها
Assignment-3 : ایجاد پایگاه داده مشترک
آزمون اشتراک داده.
سفر در زمان در دانه های برف:
دمو سفر در زمان.
سفر در زمان در دانه برف و نحوه عملکرد آن.
دوره نگهداری جدول.
مسابقه سفر در زمان
اطلاعات بیشتر در مورد سفر در زمان.
تکلیف: سفر در زمان
سفر در زمان و دوره نگهداری.
ایمن نشدن در دانه‌های برف:
در دانه های برف ایمن شکست بخورید.
دسترسی از کنسول وب ایمن نشد.
رابطه بین ایمن شکست و دوره نگهداری.
انواع میز در دانه های برف.
میز دائمی و ایمن.
جدول گذرا.
جدول موقت.
ایجاد پایگاه داده گذرا در snowflake.
آزمون ایمن شکست خوردن
در ادامه مطلب با مشکل مواجه شوید.
تکلیف: - ایمن نشد.
ویژگی Clone در snowflake:
ویژگی Clone در snowflake و نحوه عملکرد آن.
نمایش ویژگی کلون.
تعویض میز در دانه برف.
آزمون شبیه سازی
تکالیف:-کلون سازی.
نمونه‌گیری داده‌ها در دانه‌های برف. :
معرفی نمونه برداری از دانه های برف.
نمونه‌گیری ردیف در مقابل بلوک.
نمونه نمایشی
کلون در مقابل نمونه برداری.
مرجع- نمونه گیری
تکالیف:-نمونه‌گیری داده‌ها.
برنامه ریزی در snowflake-TASSKS:
معرفی وظایف دانه برف.
نمایش کار Snowflake.
معرفی وابستگی به کار.
نمایش وابستگی به کار
جریان در دانه های برف. :
معرفی استریم ها.
پخش دمو قسمت 1
پخش دمو قسمت 2
انواع جریان
بند تغییر
بعد به آرامی با استفاده از جریان‌ها تغییر می‌کند.
بارگذاری داده پیوسته [دمو] در برف ریزه:
نمای کلی نسخه نمایشی
تهیه کد
اجرا
نماهای مادی شده:
معرفی نمای مادی
MV زیر کاپوت
هزینه تعمیر و نگهداری MV
قبل از استفاده از MV
مسابقه نمایش مادی
محدودیت نماهای مادی شده.
تکلیف: - نماهای مادی شده.
پوشاندن داده ها:
مقدمه ای بر پوشش داده ها.
پوشش داده را درک کنید
سناریوی پوشاندن داده 1
سناریوی پوشاندن داده 2
تفکیک وظایف
اعمال پوشش داده (HIPAA نسخه 1)
قوانین HIPAA نسخه 2
مشکل در پوشاندن
استفاده از نماها
استفاده از نماها (ادامه)
روش های ذخیره شده:
معرفی بخش
اصول رویه ذخیره شده
برگرداندن نتیجه از رویه ذخیره شده
استفاده از دستورات کنترل.
استفاده از متغیرهای bind.
روش نرخ پر شدن جدول.
سناریوهای خطا.
رسیدگی به سناریوهای خطا.
گزارش پیام های خطا.
معاملات در رویه های ذخیره شده.
روش های تماس گیرنده و مالک.
استفاده از متغیرهای جلسه در رویه ها.
موارد استفاده از رویه مالک و تماس گیرنده.
کنترل دسترسی در برف ریزه:
معرفی کنترل دسترسی.
اشیاء و سلسله مراتب نقش.
نقش های پیش فرض.
ایجاد پایگاه داده: Level1
ایجاد پایگاه داده: Level2
ایجاد پایگاه داده: Level3
ایجاد پایگاه داده: Level4
ایجاد پایگاه داده: Level5
معرفی طرحواره مدیریت شده.
نمایشی طرحواره مدیریت شده.
معرفی سلسله مراتب ساختمان.
ساخت دمو سلسله مراتبی.
سلسله مراتب برای تحلیلگر.
کمک های مالی آینده.
اشیاء SharedDB
خلاصه.
بهترین روش های دانه برف:
معرفی بهترین شیوه ها.
بهترین شیوه ها هنگام انجام شبیه سازی.
بهترین تمرین هنگام ایجاد پایگاه داده و جداول.
بهترین تمرین هنگام استفاده از انبار مجازی.
بهترین تمرین هنگام استفاده از دوره نگهداری و سفر در زمان.
بخش پاداش:
دانه برف با جرقه