ترانسفورماتورها: طبقه بندی متن برای NLP با استفاده از BERT

ترانسفورماتورها با طوفان جهان پردازش زبان طبیعی (NLP) را در دست می گیرند. در این دوره ، مربی جاناتان فرناندز همه چیز را در مورد این معماری برای NLP و کارهای بینایی رایانه و مهارت باید در ابزار هوش مصنوعی خود به شما آموزش دهد. جاناتان از یک رویکرد دستی استفاده می کند تا اصول کار با ترانسفورماتورها را در NLP و تولید به شما نشان دهد. او از اندازه مدل برت ، تعصب در برت ، و نحوه آموزش برت می رود. جاناتان به بررسی یادگیری انتقال می پردازد ، به شما نشان می دهد که چگونه از مدل BERT و نشانه گذاری استفاده کنید و طبقه بندی متن را پوشش می دهد. او پس از توضیح کامل معماری مدل ترانسفورماتور ، او با برخی از تمرینات اضافی به پایان رسید.

عنوان اصلی : Transformers: Text Classification for NLP Using BERT

سرفصل های دوره :

مقدمه:
پردازش زبان طبیعی با ترانسفورماتورها
نحوه استفاده از پرونده های ورزشی
1. NLP و ترانسفورماتور:
نحوه استفاده از ترانسفورماتورها در NLP
ترانسفورماتورها در تولید
تاریخ ترانسفورماتور
چالش: اندازه مدل برت
راه حل: اندازه مدل برت
2. BERT و انتقال یادگیری:
تعصب در برت
چگونه برت آموزش دید؟
یادگیری انتقال
3. معماری ترانسفورماتور و برت:
ترانسفورماتور: نمای کلی معماری
مدل BERT و نشانه گذاری
رمزگذاری های موقعیتی و تعبیه های بخش
نشانه ها
خودآگاهی
شبکه توجه چند سر و شبکه تغذیه
4. طبقه بندی متن:
طبقه بندی BERT و متن
کتابخانه مجموعه داده ها
نمای کلی از مجموعه داده IMDB
با استفاده از یک توکینر
IMDB کوچک
یک اجرای تمرین
نتیجه گیری:
تمرین های اضافی