مخالفت کاربران شبکههای اجتماعی با تحقیق اپل
مقاله جدید ادعای اپل در باره ناتوانی مدلهای استدلالگر را رد کرد
گروه یادگیری ماشینی اپل با انتشار مقالهای با عنوان توهم تفکر ادعا کرد که مدلهای زبانی فعلی در واقع فرایند تفکر یا استدلال جداگانهای را ان جام نمیدهند. این مقاله موجی از واکنشها را میان پژوهشگران هوش مصنوعی به راه انداخت.
الکن لاسن، محقق، در مقالهای تازه با عنوان توهم توهم تفکر یافتههای محققان اپل را به چالش کشید. او استدلال میکند که محدودیتهای مشاهده شده بیشتر به مشکلات طراحی و پیکربندی هوش مصنوعی مربوط است تا ناتوانیهای بنیادی در گفتگو و استدلال.
لاسن سه نکته اصلی را مطرح کرده است اول، محدودیت توکنها در مقاله اپل نادیده گرفته شده و افت توکن دلیل عدم حل معماها است، نه ناتوانی در استدلال. دوم، آزمون عبور از رودخانه مثالهای حلناپذیر داشته و اپل به خاطر شناسایی این معماهای غیرممکن مدلها را سرزنش کرده است. سوم، اسکریپتهای ارزیابی بین ناتوانی در استدلال و تقطیع خروجی تمایز قائل نشده و هر خروجی جزئی یا استراتژیک را ناکامی تلقی میکند.
این محقق برای اثبات ادعاهای خود، آزمونهای اپل را با شرایط متفاوت مجددا اجرا کرد. نتایج نشان داد که وقتی محدودیتهای مصنوعی در خروجی رفع میشود، مدلهای استدلالگر به خوبی میتوانند مسائل پیچیده را حل کنند.
محققان اپل برای بررسی توانایی مدلهای زبانی در حل مسائل منطقی، مجموعهای از چهار معمای کلاسیک شامل برج هانوی، دنیای بلوکها، معمای عبور از رودخانه و پرش مهرهها در بازی چکرز را طراحی کردند. این معماها با افزایش تعداد مراحل و محدودیتها پیچیدهتر شده و نیاز به برنامهریزی چندمرحلهای را الزامی میسازند.
پژوهشگران از مدلها خواستند نه تنها جواب نهایی بدهند، بلکه روال تفکر خود را نیز مرحلهبهمرحله با استفاده از تکنیک زنجیره تفکر توضیح دهند. مطابق مطالعه اپل، با افزایش پیچیدگی، دقت مدلها افت چشمگیری دارد و در سختترین ماموریتها به صفر میرسد. اپل این افت را نشانهای از فروپاشی قدرت استدلال مدلها میداند.
مخالفت کاربران شبکههای اجتماعی با تحقیق اپل
برخی منتقدان مطالعه اپل معتقدند این شرکت تفاوت ناتوانی در تشکیل خروجی کامل و ناتوانی در استدلال را نادیده گرفته است. آنها تأکید میکنند مدلها حتی در برخی ماموریتها، استراتژیهای صحیحی ارائه کردهاند اما به علت محدودیت در تعداد توکن، نتوانستهاند خروجی را تکمیل کنند.
علاوه بر این، برخی معماها همانند برخی نسخههای عبور از رودخانه، اساسا قابل حل نبودهاند اما همچنان مدلها بابت جواب نادرست نمره منفی گرفتهاند.