آموزش انجام Data Ingestion در زبان پایتون

در این دوره آموزشی ابتدا با مفهوم Data Ingestion آشنا شده و سپس یاد می گیرید که چطور آن را در زبان برنامه نویسی Python انجام دهید. 

عنوان اصلی : Data Ingestion with Python

سرفصل ها :

معرفی
چرا درج داده مهم است؟
آنچه شما باید بدانید
با استفاده از فایل های تمرین
1. مروری بر هضم داده ها
مروری بر کار دانشمندان داده
داده ها از کجا می آیند؟
انواع مختلف داده
خط لوله داده (ETL)
مقصد نهایی (دریاچه داده)
2. خواندن فایل ها
کار در CSV
کار در XML
کار در پارکت، Avro، و ORC
متن بدون ساختار
JSON
چالش: CSV به JSON
راه حل: CSV به JSON
3. فراخوانی APIها
کار با JSON
برقراری تماس های HTTP
پردازش داده های مبتنی بر رویداد
چالش: مکان از IP
راه حل: مکان از IP
4. Web Scraping
سعی کنید یک API پیدا کنید
کار با سوپ زیبا
کار با Scrapy
کار با سلنیوم
ملاحظات دیگر
چالش: GitHub API
راه حل: GitHub API
5. طرحواره
طرحواره ها چیست؟
کار با هستی شناسی ها
آنچه باید در طرحواره باشد
تغییر طرحواره
اعتبارسنجی طرحواره
6. کار با پایگاه های داده
انواع پایگاه های داده
میزبانی و هزینه عملیات
کار با پایگاه داده های رابطه ای
کار با پایگاه داده های کلیدی یا ارزشی
کار با پایگاه داده اسناد
کار با پایگاه داده های گراف
چالش: ETL
راه حل: ETL
7. عیب یابی داده ها
داده ها هرگز 100٪ خوب نیستند
علل خطاها
پر کردن مقادیر از دست رفته
یافتن نقاط پرت (دستی)
یافتن نقاط پرت (ML)
چالش: سواری ها را با توجه به مدت زمان سواری تمیز کنید
راه حل: سواری ها را با توجه به مدت زمان سواری تمیز کنید
8. KPIهای داده و فرآیند
داده های خود را طراحی کنید
KPI ها
چه چیزی را نظارت کنیم؟
نتیجه
مراحل بعدی