در حال حاضر محصولی در سبد خرید شما وجود ندارد.
با مشاهده این کورس آموزشی از طریق انجام پروژه های واقعی و به زبانی بسیار ساده مطالب فراوانی را در رابطه با وب اسکرپینگ یاد می گیرید.
عنوان اصلی : Web Scraping in Nodejs & JavaScript
نرم افزار مورد نیاز:
نرم افزار برای خراش دادن وب در جاوا اسکریپت
(اختیاری) نکته در مورد منسوخ شدن Request/Request-Promise
چیزی که همیشه باید قبل از نوشتن وب اسکریپر بررسی کنید! :
این می تواند شما را در زمان و تلاش زیادی صرفه جویی کند!
مقدمه ای بر انتخابگرهای CSS و ابزارهایی که برای خراش دادن استفاده می کنیم:
مقدمه بخش
استفاده از ابزارهای توسعه دهنده کروم
انتخاب عنصر ما
ساختن اولین اسکراپر ما!
انتخاب عناصر متعدد
انتخاب با استفاده از شناسه CSS
انتخاب با استفاده از کلاس های CSS
انتخاب با استفاده از ویژگی های HTML
شما در راه تبدیل شدن به یک نینجا خراشنده هستید!
خراش دادن جداول HTML با Request/Cheerio:
مقدمه بخش
ساختار جدول HTML
ساختار داده در جاوا اسکریپت
ایجاد انتخابگر در کروم تولز
خراش دادن تمام سلول های جدول در ابزار کروم
خراش دادن داده ها در Nodejs با Cheerio/Request
خراش دادن نام شرکت در Nodejs
خراش دادن تمام ستون های جدول
جایزه - سرصفحه های جدول پویا هنگام تراشیدن جداول
خراش دادن کارهای نرم افزاری در Craigslist با استفاده از Puppeteer:
مقدمه پروژه
چرا به جای Nodejs Request از Puppeteer استفاده می کنیم؟
شروع پروژه
باز کردن URL با Puppeteer
چه داده هایی را می خراشیم؟
ساختار داده ها
انتخاب عنوان شغلی Css
خراش دادن عنوان شغلی با استفاده از Cheerio
خراش دادن URL توضیحات
ایجاد مجموعه ای از اشیاء خراش دهنده
خراش دادن تاریخ ارسال کار
خراش دادن داده های محله
خراش دادن لیست صفحات با Puppeteer
محدود کردن درخواست‌های خراشیدن در هر ثانیه
خراش دادن شرح شغل از صفحات مختلف
حذف غرامت از لیست مشاغل
mLab اکنون MongoDB Atlas است
راه اندازی پایگاه داده MongoDB با Mlab
اتصال به پایگاه داده MongoDB با Mongoose
ایجاد طرحواره فهرست مانگوس
ذخیره داده های فهرست در MongoDB
مشاغل Craigslist Web Scraping با استفاده از درخواست Nodejs:
معرفی
راه اندازی پروژه
دریافت Html از وب سایت
ایجاد نمونه ای از داده ها برای جمع آوری
عنوان/URL از Jobs
زمان خراش دادن کار ارسال شد
محله شغل
شرح شغل خراش دادن
پایان شرح و جبران
خروجی
در صورت مسدود شدن چه باید کرد؟ :
کمک! من مسدود هستم!
اگر بلاک شده اید چه کاری می توانید انجام دهید؟
Scraping API
استفاده از پروکسی در Request
ساختن وب اسکراپر به روش TDD:
راه اندازی پروژه و اضافه کردن بسته ها
ایجاد پوشه tests و تنظیم اسکریپت تست
نوشتن اولین تست ساده ما
ساختن اولین قبولی ساده آزمون ما!
دریافت HTML از وب سایت برای تست های ما
خواندن فایل HTML برای تست های ما
نوشتن تست های ما
قبولی در آزمون عنوان
ساخت آزمون URL!
در حال قبولی تست هود!
انجام آزمون نهایی برای پاس datePosted!
یادداشت های پایانی + refactoring
صادرات نتایج اسکراپی وب به CSV:
صادرات نتایج اسکراپی وب به CSV
رسیدگی به مشکلات شبکه:
رسیدگی به مشکلات شبکه در اسکراپر Craigslist ما
تجزیه Robots.txt:
robots.txt چیست؟
شروع پروژه
نمونه ای از استفاده از ربات های تجزیه کننده
تجزیه robots.txt از یک سایت واقعی
خراش دادن سایت ها با صفحه بندی:
صفحه‌بندی ساده در 10 دقیقه!
خراش دادن سایت ها با احراز هویت:
مقدمه پروژه خراش دادن احراز هویت
در حال بررسی درخواست ورود
ایجاد مجدد لاگین در Postman
ایجاد درخواست لاگین ما در Nodejs
استفاده از Puppeteer به جای Request
خراش دادن یک وب سایت با احراز هویت کوکی/جلسه و توکن های CSRF:
مقدمه پروژه
تکرار درخواست ورود به سیستم در Postman - مشاهده اینکه چگونه کوکی ها مورد نیاز است
ایجاد درخواست ما در Node.js و فعال کردن cookieJar
دریافت رمز CSRF از کوکی های ذخیره شده و استفاده از آن در درخواست ورود به سیستم POST
Scraping Nordstrom.com - چگونه یک API مخفی پیدا کنید و از ساختن اسکراپر اجتناب کنید! :
معرفی پروژه Nordstrom.com
به روز رسانی در مورد API مخفی در پشت Nordstrom
به روز رسانی دیگری در مورد Nordstrom - اکنون از Gzip استفاده می کنید
یافتن API مخفی در پشت Nordstrom.com
ایجاد یک درخواست API در داخل Postman
ایجاد یک REST API در Nodejs Express
ارسال پارامترهای Query به REST API خودمان
شروع پروژه React با create-react-app
ایجاد یک درخواست API در داخل برنامه React
یه چیزی
افزودن فرم به برنامه React
افزودن عبارت جستجو به فرم
خراش دادن Imdb با استفاده از NightmareJs:
مقدمه پروژه
راه اندازی پروژه
بنابراین ما چه چیزی را خراش می دهیم؟
Scraping 100 عنوان فیلم برتر
بیایید چند رتبه خوب دریافت کنیم!
پیزی رتبه آسان و آدرس توضیحات
انتخابگر Css برای آدرس پوستر
خراش دادن URL پوستر
چرا درخواست نمی تواند این صفحه را خراش دهد - چرا اکنون از NightmareJs استفاده می کنیم
وارد کردن NightmareJs و دریافت انتخابگر Css تصویر پوستر ما
خراش دادن URL تصویر پوستر با NightmareJs
ذخیره تصویر پوستر در دیسک!
خراش دادن AirBnb با استفاده از Puppeteer:
مقدمه پروژه
راه اندازی پروژه
دقیقا چی میتراشیم؟
شیء نمونه + افست شاخص
نگاهی به HTML صفحه Index
باز کردن صفحه با Puppeteer
دریافت آدرس های اینترنتی خانه ها از صفحه فهرست
آماده شدن برای خراش URLهای توضیحات
باز کردن Homes در یک صفحه جداگانه
قیمت خراش دادن در هر شب
چرا در حال حاضر از عبارات منظم استفاده می کنیم
حذف تعداد مهمانان مجاز به استفاده از عبارات منظم است
خراش دادن تخت، اتاق خواب، حمام
معماری برای وب scraper با یک API:
معرفی این بخش
خراش دادن زمان‌بندی‌شده در مقابل خراش‌های درخواستی API
ذخیره داده های اسکرپینگ در MongoDB:
یک اسکراپر فوق العاده ساده Reddit در 5 دقیقه بسازید
اتصال به پایگاه داده MongoDB
اتصال به پایگاه داده MongoDB با استفاده از Mongoose
ایجاد یک مدل MongoDB و ذخیره
استقرار یک اسکراپر دوره ای برای تولید:
مقدمه
مقدمه ای برای کد
در حال اعزام به هروکو
استقرار در Google Cloud Platform / Google App Engine
استقرار وب scraper Puppeteer در Heroku
استقرار وب scraper Puppeteer در Heroku با استفاده از buildpacks
جایزه: GraphQL مقدمه:
معرفی GraphQL + ایجاد GraphQL API در 10 دقیقه
خراش دادن یک صفحه اسکرول بی نهایت (فیس بوک، اینستاگرام، پینترست و غیره):
مقدمه ای برای خراش دادن صفحات پیمایش بی نهایت
راه اندازی پروژه
عملکرد استخراج آیتم ها
اسکرول و خراش دادن اقلام
درپشتی مخفی برای خراش دادن فیس بوک بدون فعال کردن جاوا اسکریپت! :
چگونه بدون جاوا اسکریپت به سایت فیسبوک دسترسی پیدا کنیم
چگونه از Postman برای دریافت دیوار فیس بوک استفاده کنیم
راه اندازی پروژه برای فیس بوک Scraper
ایجاد درخواست POST ما در Nodejs
جعل کردن عامل کاربر و ورود به فیس بوک
گرفتن دیوار فیس بوک ما!
پرسش و پاسخ دانشجو:
درخواست HTML با کروم HTML متفاوت است
جایزه - دوره های دیگر Node.js من:
آیا دوره را دوست داشتید؟ دوره های دیگر من را اینجا ببینید :)
Web Scraping in Nodejs & JavaScript
در این روش نیاز به افزودن محصول به سبد خرید و تکمیل اطلاعات نیست و شما پس از وارد کردن ایمیل خود و طی کردن مراحل پرداخت لینک های دریافت محصولات را در ایمیل خود دریافت خواهید کرد.
