طی سالهای اخیر - تعمیرات یخچال فریزر بکو قدیمی - پیشرفتهای عظیمی در تعلیم شبکههای هوش مصنوعی با میلیونها پارامتر به دست آمده و مایکروسافت بهتازگی مدل هوش مصنوعی DeBERTa را از طریق تعلیم نسخهی عظیمتر آن با ۴۸ لایهی ترنسفورمر، با ۱٫۵ میلیارد پارامتر بهروزرسانی کرده است.
تقویت چشمگیر عملکرد DeBERTa باعث شده است این مدل برای - تعمیرات یخچال فریزر بکو قدیمی - نخستین بار، در پردازش و فهم زبان SuperGLUE از نظر نمرهی متوسط کلان، سریعتر از انسان ظاهر شود. در این آزمایش مدل DeBERTa امتیاز ۸۹٫۹ کسب کرد و انسان موفق به کسب امتیاز ۸۹٫۸ شد. تفاوت امتیازها با درنظرگرفتن معیارهای پایه بیشتر میشود (۹۰٫۳ در برابر ۸۹٫۸).
بنچمارک SuperGLUE شامل وظایف متنوع مبتنی بر پردازش زبان طبیعی (NLP) است؛ شامل مواردی نظیر پاسخدهی به سؤال و استنتاج زبان طبیعی. مدل DeBERTa مایکروسافت با کسب نمرهی متوسط کلان ۹۰٫۸، در رتبهی نخست بنچمارک SuperGLUE جای میگیرد.
براساس گزارش MSPoweruser، مدل - تعمیرات یخچال فریزر بکو قدیمی - DeBERTa میتواند PLM-های پیشین نظیر BERT،اRoBERTa و UniLM را با استفاده از سه تکنیک نوین، بهبود ببخشد. یکی از این تکنیکها، مکانیسم دقت منظمشده (Disentangled Attention) نام دارد و تکنیک دوم - تعمیرات یخچال فریزر بکو قدیمی - در حقیقت نسخهی بهبودیافتهی ابزار Mask Decoder محسوب میشود. مایکروسافت همچنین به نوعی تعلیمِ رقابتی مجازی برای بهینهسازی مدل DeBERTa اشاره میکند.
مدل ۱٫۵ میلیارد پارامتری DeBERTa در مقایسه - تعمیرات یخچال فریزر بکو قدیمی - با T5 گوگل که شامل ۱۱ میلیارد پارامتر است، مصرف انرژی بسیار کمتری دارد و به شکلی سادهتر امکان فشردهسازی اپلیکیشنها با تنظیمات مختلف را فراهم - تعمیرات یخچال فریزر بکو قدیمی - میکند. عملکرد بهتر DeBERTa hc - تعمیرات یخچال فریزر بکو قدیمی - انسان در بنچمارک SuperGLUE دستاورد بسیار مهمی در حوزهی هوش مصنوعی عمومی محسوب میشود.
با وجود نمایش عملکرد خوب، مدل مایکروسافت با هیچ متر و معیاری به سطح هوش انسان در زمینهی درک زبان طبیعی (NLU) دست پیدا نمیکند. ذهن انسان در زمینهی یادگیری دانش از وظایف مختلف برای - تعمیرات یخچال فریزر بکو قدیمی - حل کردن وظیفهای جدید، عملکردی بسیار هوشمندانه دارد.
مایکروسافت قصد دارد این فناوری را با نسخهی جدید مدل بازنمایی زبان طبیعی Microsoft Turing ادغام کند. شرکت ردموندی از این مدل در Bing،اOffice،اDynamics و Azure Cognitive Services برای ممکن شدن انواع کارها نظیر تعاملات انسان-انسان و تعاملات انسان-دستگاه استفاده میکند. مایکروسافت تصمیم دارد مدل ۱٫۵ میلیارد پارامتری DeBERTa و کد منبع آن را در دسترس عموم قرار دهد.