آیا گسترش مدل‌های هوش مصنوعی گسترش یافتهتر به بن‌بست خورده است؟_سیاه پوش

چند روز قبل اینفورمیشن در گزارشی او گفت که کارمندان OpenAI مدل جدیدی به نام رمز Orion را آزمایش کرده‌اند که هرچند کارکرد آن از مدل‌های جاری فراتر می‌رود، اما نسبت به جهش از GPT-3 به GPT-4 پیشرفت کمتری دارد. اکنون کارشناسان این قضیه را نقل می‌کنند که احتمالا دیگر گسترش مدل‌های هوش مصنوعی گسترش یافتهتر به یک قله رسیده و اکنون روبه‌روی ما دشت همواری است، یعنی چه بسا تا چند سال آینده، دیگر ناظر جهش‌های شگفت انگیز و قله‌های بلندتری در این عرصه نباشیم.

به حرف های محققان OpenAI که نام آنها آشکار نشده، مدل تازه Orion در انجام برخی کارها بهتر از مدل قبلی خود نخواهد می بود. از سویی حرف های‌های تازه «ایلیا ساتسکیور» (Ilya Sutskever)، یکی از بنیان‌گذاران OpenAI که اغاز سال جاری میلادی این شرکت را ترک کرد، به این نگرانی دامن می‌زند که مدل‌های زبانی بزرگ (LLM) اکنون به یک سطحی رسیده‌اند که دیگر نمی‌توان با راه حلهای آموزش سنتی آنها را گسترش یافتهتر کرد.

ساتسکیور به رویترز او گفت که دهه ۲۰۱۰ عصر مقیاس‌بندی می بود؛ عصری که با افزایش منبع های محاسباتی و داده‌های آموزشی زیاد تر ناظر پیشرفت‌های چشمگیری در مدل‌های بعدی بودیم. اما اکنون قله‌های این عصر فتح شده‌اند و مجدد باید به جستوجو چیزهای جدیدی برای کشف‌کردن باشیم.

گسترش مدل‌های هوش مصنوعی گسترش یافتهتر

به حرف های متخصصان، مشکل بزرگ آموزش مدل‌های هوش مصنوعی فقدان داده‌های متنی تازه و باکیفیت برای آموزش LLMهای آتی است. اگر داده‌های آموزشی یک مدل هوش مصنوعی را به میوه‌های یک درخت تشبیه کنیم، تا بحال همه میوه‌های شاخه‌های پایینی چیده شده‌اند؛ مدل‌های هوش مصنوعی جاری با آرشیو مطالب حاضر اینترنت، اعم از سایت‌های خبری و کتاب‌ها آموزش دیده‌اند، اکنون باید به سمت میوه‌هایی برویم که از شاخه‌های بالاتر درخت آویزان می باشند.

محققان تلاش کردند این مشکل را در مقاله‌ای مقداری‌سازی کنند و مقدار مجموعه داده‌های آموزشی برای LLM را اندازه‌گیری کنند و موجودی متن‌های عمومی تولیدشده توسط انسان را تخمین بزنند. محققان می‌گویند که «مدل‌های زبانی به‌طور کامل از ذخیره متن‌های عمومی تولیدشده توسط انسان بین سال‌های ۲۰۲۶ تا ۲۰۳۲ منفعت گیری خواهند کرد.»

OpenAI و دیگر شرکت‌های پیشرو از اکنون اغاز به آموزش مدل‌های خود با داده‌های مصنوعی (ایجادشده توسط مدل‌های دیگر) کرده‌اند تا از این بن‌بست که به شدت درحال نزدیک‌شدن است، عبور کنند. بااین‌حال امکان پذیر داده‌های مصنوعی بعد از چند دوره آموزش تبدیل «فروپاشی مدل» بشود.

یقیناً شرکت‌های بزرگ فناوری راه حلهای آموزشی فرد دیگر را نیز امتحان کرده‌اند، برای مثال یکی از این راه حلها تخصصی‌کردن‌ فرایند آموزش مدل است. مایکروسافت با مدل‌های زبانی کوچک که روی انواع خاصی از ماموریت های و مسانل تمرکز می‌کنند پیروزی‌هایی را در این عرصه کسب کرده است. برخلاف LLMهای عمومی که امروزه به آنها عادت کرده‌ایم، می‌توانیم در آینده هوش‌های مصنوعی را ببینیم که بر تخصص‌های محدودتری متمرکز می باشند، دقیقاً همانند دانشجویان دکترا که احتمالا دانش عمومی بسیاری نداشته باشند، اما در یک رشته خاص می‌توانند مسیرهای جدیدی را خلق کنند.