تست و نظارت بر استقرار مدلهای یادگیری ماشینی

استراتژی های آزمایش ML ، استقرار سایه ، نظارت بر مدل تولید و موارد دیگر

عنوان اصلی : Testing and Monitoring Machine Learning Model Deployments

سرفصل های دوره :

مقدمه:
نحوه رویکرد به این دوره (مهم)
همه یادداشت ها و اسلایدهای این دوره
پرسش‌های متداول: می‌خواهم درباره موضوعاتی که پوشش داده نشده‌اند بیشتر بیاموزم
تنظیم چرخه حیات سیستم صحنه و ML:
استقرار یک مدل در تولید
سناریوی دوره: پیش بینی قیمت فروش خانه
راه اندازی A: نصب پایتون (مهم)
راه اندازی B: راه اندازی Git و Github (کاربران پیشرفته می توانند رد شوند)
دوره Github Repo & Data
دانلود مجموعه داده و مخزن Github: پیوندها و دستورالعمل ها
راه اندازی C: راه اندازی نوت بوک Jupyter
تنظیم D: Dependencies Notebook را نصب کنید
معرفی مجموعه داده و خط لوله مدل
پیوندها و منابع اضافی
مفاهیم تست برای سیستم های ML:
نمای کلی بخش
تست تمرکز در این دوره
ارزش تست
تئوری تست
آزمایش سیستم‌های یادگیری ماشین (مهم)
تنظیم A: نیازهای نصب
تکالیف عملی: داده های ورودی تست واحد
تکالیف عملی: کد مهندسی داده تست واحد
تکلیف 3: تکلیف عملی: کیفیت مدل تست واحد
تکلیف 4: تکلیف عملی: پیکربندی مدل تست واحد
بپیچید
تست واحد یک مدل ML تولیدی:
نمای کلی بخش
کنوانسیون های کد
Pytest
تنظیم - Kaggle Data
دانلود مجموعه داده - خلاصه متن
راه اندازی 2 - Tox
عیب یابی Tox در ویندوز
عیب یابی Tox در Windows II
نمای کلی پایه کد
تئوری آزمایش واحد پیش پردازش و مهندسی ویژگی - چرا این کار را انجام می دهیم؟
اصلاح موقت - مهم است
پیش پردازش و آزمایش واحد مهندسی ویژگی
نکته سریع در مورد بهداشت ناحیه تناسلی برای دوره
تئوری آزمایش واحد پیکربندی مدل - چرا این کار را انجام می‌دهیم؟
تست واحد پیکربندی مدل
تئوری تست داده های ورودی - چرا این کار را می کنیم؟
تست واحد داده ورودی
تئوری تست واحد کیفیت مدل - چرا این کار را انجام دهیم؟
تست واحد کیفیت مدل
سخنرانی سریع در مورد بهبود ابزار
بپیچید
Docker & Docker Compose:
نمای کلی بخش
Recap سریع Docker
چرا از Docker استفاده کنیم؟
معرفی Docker Compose
آزمون Docker
نصب Docker & Docker Compose
مشکل داکر خاص ویندوز
مهم: رفع نیازها
Hands on Exercise: Basic Docker Compose
نکات مصرف فضای Docker
تست یکپارچه سازی API ML:
نمای کلی بخش
راهنمای مفهومی API
مروری بر Codebase
استفاده از Open API Spec Part 1
تنظیمات خاص ویندوز
استفاده از Open API Spec Part 2
تئوری تست ادغام
کار در اطراف سخنرانی - سیستم عامل های 32 بیتی
کد عملی تست ادغام
یادداشتی در مورد تست های یکپارچه سازی معیار
تست دیفرانسیل:
نمای کلی بخش
تئوری تست دیفرانسیل
اجرای تست دیفرانسیل
استقرار حالت سایه:
نمای کلی بخش
نظریه حالت سایه
مدل های آزمایشی در تولید
تست‌ها در Shadow Deployments
نمای کلی کد - راه اندازی DB
نگاشت پورت WINDOWS
Gotcha: شکستن تغییرات در sqlalchemy_utils
تست راه اندازی برای حالت سایه
حالت سایه - پیاده سازی ناهمزمان
پایگاه داده را با پیش بینی های سایه پر کنید
نسخه ی نمایشی Jupyter - راه اندازی
نسخه ی نمایشی Jupyter - تست در حالت سایه
نظارت - معیارها با Prometheus:
نمای کلی بخش
چرا مانیتور؟
نظریه نظارت
معیارها برای سیستم های یادگیری ماشین
بررسی اجمالی Prometheus & Grafana
[WINDOWS ONLY] راه‌اندازی اضافی
راه اندازی اولیه Prometheus - عملی
افزودن معیارها - عملی
افزودن Grafana - عملی
معیارهای زیرساخت - عملی
افزودن نظارت بر معیارها به پروژه نمونه ما
ایجاد داشبورد سیستم ML Grafana
نظارت - گزارش‌ها با Kibana:
نظارت گزارش ها برای ML - تئوری
پشته الاستیک (الاستیک سابق) - مرور کلی
تمرین دستی کیبانا
ادغام کیبانا در پروژه نمونه
تنظیم داشبورد Kibana برای ورودی های مدل
نتیجه گیری:
نتیجه گیری دوره
تبریک
بخش پایانی:
سخنرانی پاداش - موارد بیشتری وجود دارد...