گوگل در پژوهشی ناامیدکننده به خطرهای هوش مصنوعی پردازش زبان اشاره کرد. این نوع هوش مصنوعی در جستوجوی گوگل و دیگر محصولات تحلیل متنی بهکار میرود. یکی از خطرهای این نوع هوش مصنوعی، اثر کربنی فراوان آن است.
براساس تخمینها، آموزش مدل هوش مصنوعی بهاندازهی تولید خودرو و رانندگی با خودروها در طول عمر آنها به انرژی نیاز دارد. کیت سائنکو، پژوهشگر و نویسندهی اصلی این مقاله، مدلهای هوش مصنوعی بررسی میکند و آن را توسعه میدهد و با انرژی و هزینههای مالی پژوهشهای AI - تعمیرکار یخچال دوقلو دوو قدیمی - آشنا است. چرا مدلهای هوش - تعمیرکار یخچال دوقلو دوو قدیمی - مصنوعی تا این اندازه تشنهی انرژی هستند و چه تفاوتی با رایانش دیتاسنتری یا مرکزدادهای سنتی دارند؟
عملیات سنتی پردازش - تعمیرکار یخچال دوقلو دوو قدیمی - داده در - تعمیرکار یخچال دوقلو دوو قدیمی - دیتاسنترها پخش ویدئو و ایمیل و رسانههای اجتماعی را شامل میشود. هوش مصنوعی ازنظر محاسباتی متمرکز است؛ زیرا به خواندن مقادیر زیادی داده و یادگیری و درک آنها نیاز دارد. این نوع فرایند آموزشی درمقایسهبا یادگیری انسانی غیربهینه است. AI مدرن از شبکههای عصبی استفاده میکند که محاسبات ریاضی را به تقلید از مغز انسان انجام میدهند. میزان قدرت اتصال هر نورون به همسایهی آن یکی از پارامترهای شبکه به نام وزن است. شبکه برای یادگیری چگونگی درک زبان - تعمیرکار یخچال دوقلو دوو قدیمی - با وزنهای تصادفی آغاز میشود و این وزنها را تا زمانی تطبیق میدهد که - تعمیرکار یخچال دوقلو دوو قدیمی - خروجی منطبق با پاسخی صحیح باشد.
یکی از روشهای متداول آموزش شبکهی زبانی تغذیهی شبکه با مقادیر زیادی متن از وبسایتهایی مثل ویکیپدیا و اخباری دارای کلمات نشانهگذاری شده است. سپس شبکه کلمات جداشده را حدس میزند. برای مثال، جملهی «سگ من بامزه - تعمیرکار یخچال دوقلو دوو قدیمی - است» را با کلمهی «بامزه» در نظر بگیرید. در ابتدا، مدل کلمات را بهاشتباه تشخیص میدهد؛ اما با تطبیق بیشتر، وزنهای اتصالی تغییر میکنند و الگوهای دادهای را کشف میکنند؛ درنهایت، شبکه به دقت چشمگیری - تعمیرکار یخچال دوقلو دوو قدیمی - میرسد.
یکی از مدلهای جدید - تعمیرکار یخچال دوقلو دوو قدیمی - به نام BERT (نمایش رمزنگار دوطرفه از مبدلها) از ۳/۳ میلیارد کلمهی کتابهای - تعمیرکار یخچال دوقلو دوو قدیمی - انگلیسی و مقالههای ویکیپدیا استفاده میکند. علاوهبراین، BERT در طول آموزش مجموعههای دادهای را یک جا چهل مرتبه میخواند. درمقابل، کودک بهطورمیانگین میتواند تا پنجسالگی ۴۵ میلیون کلمه را بشنود که سههزار مرتبه کمتر از دادههای BERT است.
فرایند آموزش که معمولا در طول توسعه چند بار تکرار میشد، مدلهای زبانی را پرهزینه میسازد. - تعمیرکار یخچال دوقلو دوو قدیمی - دلیل این مسئله جستوجوی بهترین ساختار برای شبکه ازجمله تعداد - تعمیرکار یخچال دوقلو دوو قدیمی - نورونها، تعداد اتصال بین نورونها، سرعت - تعمیرکار یخچال دوقلو دوو قدیمی - تغییر پارامترها در طول یادگیری - تعمیرکار یخچال دوقلو دوو قدیمی - و... است. هرچه ترکیبهای آزمایشی بیشتر باشند، بخت شبکه برای رسیدن به دقت زیاد افزایش مییابد. درمقابل مغز انسان به یافتن ساختار بهینه نیازی ندارد و از ساختار پیشساختهای برخوردار است که در فرایند تکامل شکل گرفته - تعمیرکار یخچال دوقلو دوو قدیمی - است.
با افزایش شرکتها و مؤسسههای پژوهشی در حوزهی هوش مصنوعی، فشار برای بهبود جدیدترین فناوریها افزایش یافت. حتی دستیابی - تعمیرکار یخچال دوقلو دوو قدیمی - به پیشرفت ۱ درصدی در دقت وظایف دشواری مثل ترجمهی ماشینی هم معنادار - تعمیرکار یخچال دوقلو دوو قدیمی - است و میتواند بهمعنی تولید محصولات بهتر باشد. - تعمیرکار یخچال دوقلو دوو قدیمی - باوجوداین - تعمیرکار یخچال دوقلو دوو قدیمی - برای رسیدن به این بهبود ۱ درصدی، باید مدل را هزاران مرتبه و هر بار با ساختار متفاوتی آموزش داد تا بهترین نتیجه حاصل شود.
پژوهشگران دانشگاه آمهرست ماساچوست با اندازهگیری مصرف برق - تعمیرکار یخچال دوقلو دوو قدیمی - سختافزارهای متداول بهکاررفته در فرایند آموزش، هزینهی انرژی توسعهی مدلهای - تعمیرکار یخچال دوقلو دوو قدیمی - زبانی AI را تخمین زدند. براساس نتایج، مصرف انرژی BERT معادل اثر کربنی - تعمیرکار یخچال دوقلو دوو قدیمی - حاصل از پرواز بین نیویورک و سانفرانسیسکو است. بااینحال، جستوجو در ساختارهای مختلف و آموزش چندبارهی الگوریتم براساس دادهها با تعداد متغیر نورونها و اتصالها و پارامترهای دیگر، هزینهی انرژی همارز با پرواز ۳۱۵ مسافر یا هواپیمای ۷۴۷ کامل است.
مدلهای هوش مصنوعی هر سال بزرگتر میشوند. GPT-2، مدل زبانی جدید مشابه BERT، در شبکهی خود تقریبا ۱/۵ میلیارد و GPT-3 با دقتی بیشتر ۱۷۵ میلیارد وزن دارد. بهطورکلی، شبکههای بزرگتر دقت بیشتر دارند؛ حتی اگر تنها بخش کوچکی از - تعمیرکار یخچال دوقلو دوو قدیمی - شبکهی مفید و کاربردی باشد. فرایند مشابهی در مغز کودکان رخ میدهد؛ در ابتدا اتصالهای عصبی اضافه میشوند و سپس کاهش مییابند؛ اما بهطورکلی مغز بیولوژیکی بهینهتر از مغزهای کامپیوتری است.
مدلهای هوش مصنوعی بر اساس سختافزار ویژهای مثل واحدهای - تعمیرکار یخچال دوقلو دوو قدیمی - پردازندهی گرافیکی آموزش میبینند که انرژی بیشتری درمقایسهبا CPUهای قدیمی مصرف میکند. معمولا در لپتاپهای بازی از این واحدهای پردازنده برای تولید گرافیک پیشرفته برای - تعمیرکار یخچال دوقلو دوو قدیمی - بازیهایی مثل ماینکرفت RTX استفاده میشود. این لپتاپها معمولا داغتر - تعمیرکار یخچال دوقلو دوو قدیمی - از لپتاپهای معمولی هستند.
بهطورکلی، توسعهی مدلهای پیشرفتهی هوش مصنوعی نشر - تعمیرکار یخچال دوقلو دوو قدیمی - کربنی را افزایش میدهد. تا زمانیکه از منابع ۱۰۰ درصد تجدیدپذیر استفاده نکنیم، پیشرفت هوش مصنوعی در تضاد با کاهش گازهای گلخانهای و کاهش سرعت تغییرات اقلیمی قرار میگیرد. هزینهی - تعمیرکار یخچال دوقلو دوو قدیمی - نهایی توسعه هم بسیار گران است و تنها - تعمیرکار یخچال دوقلو دوو قدیمی - تعداد اندکی از آزمایشگاهها از عهدهی آن برمیآیند.
کار بیشتر و انرژی - تعمیرکار یخچال دوقلو دوو قدیمی - کمتر دقیقا چه مفهومی برای پژوهشهای هوش مصنوعی دارد؟ هزینهی آموزش با ابداع روشهای بهینه کاهش خواهد یافت. بهطورمشابه طبق پیشبینی - تعمیرکار یخچال دوقلو دوو قدیمی - سالهای گذشته، قرار بود مصرف انرژی دیتاسنترها رو به انفجار باشد؛ اما این اتفاق بهدلیل پیشرفت در بازدهی دیتاسنترها و فناوریهای سرمایش و سختافزاری بهینه رخ نداد.
همچنین، مبادلهای بین هزینهی آموزش مدلها و هزینهی استفاده از - تعمیرکار یخچال دوقلو دوو قدیمی - آنها وجود دارد؛ درنتیجه مصرف بیشتر انرژی - تعمیرکار یخچال دوقلو دوو قدیمی - در زمان آموزش - تعمیرکار یخچال دوقلو دوو قدیمی - با تولید - تعمیرکار یخچال دوقلو دوو قدیمی - مدل کوچکتری همراه است که استفاده از آن میتواند ارزانتر تمام شود. ازآنجاکه از یک مدل چند بار استفاده میشود، انرژی بیشتری ذخیره خواهد شد.
سائنکو در پژوهش آزمایشگاهی خود، روشهایی برای کوچککردن مدلهای AI ازطریق اشتراکگذاری وزنها یا استفاده از وزنهای یکسان در بخشهای مختلف شبکه جستوجو کرد. به این شبکهها شیپشیفتر یا تبدیلشونده گفته میشود؛ زیرا مجموعهی کوچکی از وزنها را میتوان برای شبکههای بزرگتر با هر شکل و ساختاری تنظیم کرد. پژوهشگران دیگر هم نشان دادهاند اشتراکگذاری - تعمیرکار یخچال دوقلو دوو قدیمی - وزن عملکرد بهتری در زمان یادگیری یکسان دارد.
جامعهی AI با نگاهی به آینده باید برای توسعهی طرحهای آموزشی بهینه تلاش کند؛ درغیراینصورت، تعداد اندکی از توسعهدهندگان میتوانند دستورالعمل دلخواه خود را برای توسعهی مدلها یا نوع دادههای به کاررفته برای آموزش توسعه - تعمیرکار یخچال دوقلو دوو قدیمی - دهند.
مقالهی اصلی در The conversation منتشر شده است.