مبانی مهندسی داده ها

علم اطلاعات را می توان به طور کلی به عنوان فرآیند ساخت داده ها تعریف کرد و مهندسی داده ها بخش مهمی از چگونگی و چرا است. اگر شما از علم اطلاعات مانند یک ماشین مسابقه فکر می کنید، مهندسان داده خدمه گودال هستند. آنها ماشین را رانندگی نمی کنند، اما ماشین را بسیار آسان تر می کند. مهندسین داده اطمینان حاصل می کنند که جریان داده ها به طور مساوی در حال اجرا هستند، سیستم های مانیتور، پیش بینی مشکلات را انجام می دهند و هر زمان که مشکلات بوجود می آیند، خط لوله داده را تعمیر کنند. آنها اطلاعات را از منابع چندگانه استخراج و جمع آوری می کنند و آن را به یک پایگاه داده تک، آسان به پرس و جو می رسانند. به طور خلاصه، مهندسان داده ها، زندگی دانشمندان داده را ساده تر می کنند. این دوره، Harshit Tyagi اصول مهندسی داده را توضیح می دهد. او موضوعات کلیدی مانند داده ها را پوشش می دهد، طرح پایگاه داده و توسعه خطوط لوله ETL. او همچنین چندین ابزار مهندسی داده را مانند Hive، Hadoop، Spark و AirFlow جزئیات می دهد. در پایان این دوره، باید به طور گسترده ای روشن شود که چرا مهندس داده یکی از ارزشمند ترین افراد در یک سازمان داده شده است.

عنوان اصلی : Data Engineering Foundations

سرفصل های دوره :

مقدمه:
مهندسی داده چیست؟
1. مقدمه ای بر مهندسی داده:
مقدمه ای بر مهندسی داده
مهندس داده در مقابل دانشمند داده
ابزارهای ضروری برای مهندسی داده
2. پایگاه های داده و چارچوب های داده:
معرفی پایگاه های داده و انواع آنها
درک طرحواره پایگاه داده
محاسبات توزیعی
3. ابزار مهندسی داده:
MapReduce و Hadoop
کندو
جرقه
جریان هوا
4. خطوط لوله ETL:
منابع استخراج داده ها
استخراج داده ها از پایگاه داده PostgreSQL
چالش: استخراج داده ها
راه حل: استخراج داده ها
تغییر داده ها
چالش: تبدیل داده ها
راه حل: تبدیل داده ها
بارگیری داده ها در یک DB
چالش: بارگیری داده ها
راه حل: بارگیری داده ها
برنامه ریزی خط لوله ETL با استفاده از جریان هوا
نتیجه گیری:
مراحل بعدی