آموزش Scrape صفحات وب به زبان Python

با مشاهده این کورس آموزشی از طریق انجام پروژه های واقعی و به زبانی بسیار ساده مطالب فراوانی را در رابطه با پایتون یاد می گیرید.

عنوان اصلی : Scraping Your First Web Page with Python

سرفصل ها :

بررسی اجمالی دوره
نمای کلی ماژول
پیش نیازها و رئوس مطالب دوره
درخواست ها و پاسخ های HTTP
خراش دادن وب
کتابخانه های مشتری HTTP
ایجاد درخواست GET با استفاده از httplib2
ایجاد درخواست های OPTION، POST، PUT با httplib2
مدیریت تغییر مسیرها با httplib2
ایجاد درخواست های HTTP و تجزیه URL ها با استفاده از urllib
دریافت و ارسال درخواست ها با استفاده از کتابخانه درخواست ها
مدیریت تغییر مسیرها با کتابخانه درخواست ها
خلاصه ماژول
نمای کلی ماژول
درخت تجزیه HTML
سوپ زیبا برای تجزیه HTML
معرفی سوپ زیبا
استخراج عناصر صفحه خاص
فیلتر کردن عناصر با استفاده از Find and Find All
جستجو و فیلتر کردن با استفاده از توابع سفارشی
استخراج لینک از یک صفحه
استفاده از صافی سوپ برای تجزیه زیر مجموعه یک سند
خلاصه ماژول
نمای کلی ماژول
تجزیه محتوای وب
معرفی Scrapy
شروع کار با Scrapy
معرفی پوسته Scrapy
انتخاب عناصر با استفاده از انتخابگرهای CSS
انتخاب های پیشرفته با استفاده از انتخابگرهای CSS
انتخاب عناصر با استفاده از انتخابگرهای XPath
خلاصه ماژول
نمای کلی ماژول
Scrapy چگونه کار می کند
ایجاد اولین عنکبوت سفارشی شما
نوشتن مطالب خراشیده شده در یک فایل
کاوش اقلام با استفاده از پوسته Scrapy
استفاده از موارد برای ذخیره محتوای استخراج شده
استفاده از لودرهای آیتم و پردازشگرهای ورودی و خروجی برای داده های خراشیده شده
استفاده از خطوط لوله برای تبدیل داده های خراشیده شده
خلاصه ماژول