در حال حاضر محصولی در سبد خرید شما وجود ندارد.

پنل کاربری

رمز خود را فراموش کرده اید؟ اگر اولین بار است از سایت جدید استفاده میکنید باید پسورد خود را ریست نمایید.
دسته بندی
دسته بندی

در حال حاضر محصولی در سبد خرید شما وجود ندارد.

آموزش کامل کار بر روی بیگ دیتا بوسیله PySpark و AWS

آموزش کامل کار بر روی بیگ دیتا بوسیله PySpark و AWS

14,900 تومان
بیش از یک محصول به صورت دانلودی میخواهید؟ محصول را به سبد خرید اضافه کنید.
افزودن به سبد خرید
خرید دانلودی فوری

در این روش نیاز به افزودن محصول به سبد خرید و تکمیل اطلاعات نیست و شما پس از وارد کردن ایمیل خود و طی کردن مراحل پرداخت لینک های دریافت محصولات را در ایمیل خود دریافت خواهید کرد.

ویدئو معرفی این محصول

با مشاهده این کورس آموزشی از طریق انجام پروژه های واقعی و به زبانی بسیار ساده مطالب فراوانی را در رابطه با آمازون وب سرویسز و PySpark یاد می گیرید.

عنوان اصلی : PySpark & AWS: Master Big Data With PySpark and AWS

سرفصل ها :


مقدمه:
چرا داده های بزرگ
برنامه های کاربردی Pyspark
مقدمه ای بر مربی
مقدمه ای برای دوره
پروژه های پروژه
درخواست برای بررسی صادقانه شما
لینک ها برای مواد و کدهای دوره دوره
01- مقدمه ای به Hadoop، اکوسیستم های جرقه و معماری:
چرا جرقه
اکوسیستم Hadoop
معماری جرقه و اکوسیستم
Databricks ثبت نام
ایجاد نوت بوک Databricks
دانلود جرقه و وابستگی
Java Setup
Python Setup
Spark Setup
Hadoop Setup
فرار جرقه
Ridds Spark:
Spark RDDS
ایجاد جرقه RDD
اجرای کد جرقه محلی
نقشه RDD (Lambda)
نقشه RDD (عملکرد ساده)
مسابقه (نقشه)
راه حل 1 (نقشه)
راه حل 2 (نقشه)
RDD Flatmap
فیلتر RDD
مسابقه (فیلتر)
راه حل (فیلتر)
RDD متمایز
RDD Groupbykey
RDD Cleankbykey
مسابقه (تعداد کلمه)
راه حل (تعداد کلمه)
RDD (تعداد و CountByValue)
RDD (saveastextfile)
RDD (پارتیشن)
پیدا کردن میانگین 1
پیدا کردن میانگین 2
مسابقه (میانگین)
راه حل (میانگین)
پیدا کردن حداقل و حداکثر
مسابقه (حداقل و حداکثر)
راه حل (حداقل و حداکثر)
بررسی پروژه
مجموع دانش آموزان
علامت های کل توسط دانشجوی مرد و زن
مجموع دانشجویان تصویب شده و شکست خورده
کل ثبت نام در هر دوره
علامت های کل در هر دوره
علامت های میانگین در هر دوره
پیدا کردن حداقل و حداکثر علامت
میانگین سن دانش آموزان دختر و پسر
Spark DFS:
مقدمه ای به جرقه DFS
ایجاد جرقه DFS
Spark Infer Schema
Spark ارائه طرح
ایجاد DF از RDD
اصلاح خطا
انتخاب DF Colums
Spark DF Facelumn
Spark DF FairColumnRenamed و نام مستعار
Spark DF Filter Rows
مسابقه (انتخاب، withcolumn، filter)
راه حل (انتخاب، withcolumn، filter)
Spark DF (شمارش، متمایز، تکراری)
مسابقه (متمایز، تکراری)
راه حل (متمایز، تکراری)
Spark DF (مرتب سازی بر اساس، Orderby)
مسابقه (مرتب سازی، Orderby)
راه حل (مرتب سازی، Orderby)
Spark DF (گروه توسط)
Spark DF (گروه توسط - ستون های چندگانه و جمع)
Spark DF (گروه بر اساس -Visualization)
Spark DF (گروه توسط - فیلتر کردن)
مسابقه (گروه توسط)
راه حل (گروه توسط)
مسابقه (تعداد کلمه)
راه حل (تعداد کلمه)
Spark DF (UDFS)
مسابقه (UDFS)
راه حل (UDFS)
راه حل (کش و محافظه کار)
Spark DF (DF به RDD)
Spark DF (Spark SQL)
Spark DF (نوشتن DF)
بررسی پروژه
پروژه (تعداد و انتخاب)
پروژه (گروه توسط)
پروژه (گروهی، جمع آوری و سفارش)
پروژه (فیلتر کردن)
پروژه (UDF و Witcolumn)
پروژه (نوشتن)




فیلتر همکاری
Matrix Utility
رتبه بندی صریح و ضمنی
نتایج مورد انتظار
DataSet
پیوستن به داده ها
داده های قطار و تست
مدل ALS
تنظیم HyperParameter و اعتبار سنجی متقابل
بهترین مدل و ارزیابی پیش بینی ها
توصیه ها
جریان جرقه:
مقدمه ای بر جریان جرقه
جرقه جریان با RDD
جرقه جریان جریان
جرقه جریان داده خواندن
SPARK CLUSTER RESTART RESTART
جرقه جریان تحول RDD
جرقه جریان DF
نمایش جریان جرقه
جرقه جریان جمع آوری DF

خط لوله ETL:
معرفی به ETL
جریان خط لوله ETL
مجموعه داده ها
اطلاعات استخراج
انتقال داده ها
اطلاعات بارگیری (ایجاد RDS-I)
اطلاعات بارگذاری (ایجاد RDS-II)
شبکه RDS
دانلود Postgres
نصب Postgres
اتصال به RDS Thorufh Pgadmin
اطلاعات بارگیری
پروژه - تغییر اطلاعات ضبط / تکرار در حال رفتن:
معرفی پروژه
معماری پروژه
ایجاد RDS MySQL نمونه
ایجاد S3 سطل
ایجاد نقطه پایانی منبع DMS
ایجاد نقطه پایانی DMS DMS
ایجاد نمونه DMS
WorkBench MySQL
اتصال با RDS و داده های تخلیه
quering rds
DMS بار کامل
DMS تکرار در حال انجام
توقف نمونه ها
کار چسب (بار کامل)
GLUE کار (تغییر ضبط)
کار چسب (CDC)
ایجاد عملکرد لامبدا و اضافه کردن ماشه
بررسی ماشه
دریافت نام فایل S3 در لامبدا
ایجاد کار چسب
اضافه کردن دعوت نامه برای کار چسب
تست تست
نوشتن شغل شل چسب
خط لوله کامل بار
تغییر اطلاعات ضبط اطلاعات