همکاری اپل و انویدیا در فناوری ReDrafter پردازش گرافیکی_سیاه پوش
نوشته و ویرایش شده توسط مجله سیاه پوش
اپل از همکاری تازه خود با انویدیا برای تسریع استنتاج مدلهای زبانی بزرگ با منفعت گیری از فناوری منبع باز Recurrent Drafter (یا به اختصار ReDrafter) خبر داد. این همکاری به منظور حل چالشهای محاسباتی در تشکیل توکنهای خودکار طراحی شده است که نقش مهمی در بهبود کارایی و افت تاخیر در برنامههای کاربردی LLM (مدلهای زبانی بزرگ) دارند.
به نقل از سرویس رسانه اخبار فناوری تکنا، فناوری ReDrafter که اپل آن را در نوامبر ۲۰۲۴ معارفه کرد، با منفعت گیری از مدل پیشنویس شبکه عصبی بازگشتی (RNN)، جستجوی پرتویی و دقت پویای درخت، رویکردی مبتنی بر رمزگشایی احتمالی را اتخاذ میکند. بر پایه برسیهای اپل، این روش توانسته است تا ۲.۷ برابر توکن بیشتری در ثانیه نسبت به راه حلهای سنتی تشکیل کند.
ReDrafter از طریق ادغام با چارچوب TensorRT-LLM انویدیا، امکان استنتاج سریع تر مدلهای زبانی بزرگ را بر روی پردازندههای گرافیکی انویدیا فراهم میآورد. این پردازندهها به طور گسترده در محیطهای تشکیل منفعت گیری خواهد شد. برای سازگاری با الگوریتمهای ReDrafter، انویدیا عملگرهای جدیدی معارفه کرده و عملگرهای حاضر را در TensorRT-LLM تنظیم کرده است. این فناوری اکنون برای گسترشدهندگانی که به جستوجو بهینهسازی کارکرد مدلهای بزرگمقیاس می باشند، در دسترس قرار گرفته است.
علاوه بر افزایش شدت، اپل معتقد است که ReDrafter قادر به افت تاخیر برای کاربران است، در حالی که نیاز به GPU کمتری دارد. این بهبود کارایی نه تنها هزینههای محاسباتی را افت میدهد، بلکه مصرف انرژی را هم پایین میآورد. این ویژگیها برای سازمانهایی که به مدیریت استقرارهای هوش مصنوعی بزرگمقیاس مشغول می باشند، حیاتی به شمار میآید.
اگرچه تمرکز این همکاری اکنون بر روی زیرساختهای انویدیا است، اما گمان دارد که در آینده مزایای شبیهی به GPUهای رقیب همانند AMD یا Intel نیز گسترش یابد.
انور لئون از مسئولان انویدیا، در این باره میگوید: «این همکاری علتتقویت TensorRT-LLM شده و به جامعه LLM این امکان را میدهد که مدلهای پیچیدهتری را گسترش دهد و به راحتی آنها را با این پلتفرم مستقر کند. این ویژگیهای تازه امکانات جدیدی را تشکیل میکنند و ما چشم به راه نسل بعدی مدلهای گسترش یافتهای هستیم که از قابلیتهای TensorRT-LLM منفعتمند خواهند شد.»
دسته بندی مطالب