کارمندان ناشناس OpenAI به اینفورمیشن گفتهاند که اوریون در برخی وظایف برتری نسبت به مدل پیشین نخواهد داشت
نگرانیها با اظهارات تازه ایلیا ساتسکیور، از بنیانگذاران OpenAI که در اوایل سال جاری این شرکت را ترک کرده، تشدید شده است. او معتقد است مدلهای زبانی بزرگ به سطحی رسیدهاند که با روشهای سنتی آموزش دیگر قابل گسترش نیستند.
ساتسکیور در گفتگو با رویترز (https://www.reuters.com/technology/artificial-intelligence/openai-rivals-seek-new-path-smarter-ai-current-methods-hit-limitations-2024-11-11/) اعلام کرد که دهه ۲۰۱۰ عصر مقیاسبندی بود که افزایش منابع محاسباتی و دادههای آموزشی منجر به پیشرفتهای چشمگیر شد، اما اکنون قلههای این عصر فتح شده و باید راهحلهای نوین جستجو کرد.
گسترش مدلهای هوش مصنوعی پیشرفتهتر
متخصصان مشکل اصلی را فقدان دادههای متنی تازه و باکیفیت برای آموزش مدلهای آینده میدانند. اگر دادههای آموزشی را به میوههای درخت تشبیه کنیم، تمام میوههای شاخههای پایین برداشت شدهاند و مدلهای فعلی با آرشیو محتوای اینترنت آموزش دیدهاند.
محققان در یک مقاله (https://epoch.ai/blog/will-we-run-out-of-data-limits-of-llm-scaling-based-on-human-generated-data) میزان دادههای عمومی تولیدشده توسط انسان را تخمین زده و پیشبینی کردهاند که مدلهای زبانی بین سالهای ۲۰۲۶ تا ۲۰۳۲ به طور کامل از این ذخیره منفعت خواهند برد.
<figcaption class="wp-element-caption"فرایند آموزش مدلهای هوش مصنوعی با دادههای تولیدشده توسط انسانOpenAI و سایر شرکتهای پیشرو از اکنون به آموزش مدلها با دادههای مصنوعی (تولیدشده توسط مدلهای دیگر) روی آوردهاند تا از این بنبست فرار کنند، هرچند احتمال دارد دادههای مصنوعی پس از چند دوره آموزش منجر به فروپاشی مدل شود.
شرکتهای بزرگ فناوری راهحلهای دیگر را نیز امتحان کردهاند، از جمله تخصصیسازی فرآیند آموزش. مایکروسافت با مدلهای زبانی کوچک متمرکز بر وظایف خاص موفقیتهایی کسب کرده است. برخلاف مدلهای عمومی، در آینده هوش مصنوعیهای تخصصیتری خواهیم دید که همانند دانشجویان دکترا در یک حوزه خاص مسیرهای نوین میسازند.
