ادعای اوپن‌ای‌آی درباره هوش جامع مصنوعی با تردید پژوهشگران مواجه شد

اوپن‌ای‌آی در سوم سپتامبر با معرفی مدل جدید خود به نام GPT-6 Astra، مدعی شد که بشر به آستانه دستیابی به هوش جامع مصنوعی (AGI) رسیده است. گراگ براکمن، رئیس این شرکت، در نشست خبری اعلام کرد که این مدل می‌تواند نقطه عطفی در تاریخ توسعه هوش مصنوعی باشد. اوپن‌ای‌آی در نمایش‌های اولیه از این مدل، توانایی‌هایی نظیر تولید کدهای طراحی سه‌بعدی (CAD)، چیدمان بردهای مدار، تبدیل مدل‌های دیجیتال به محیط‌های تعاملی و مستقرسازی برنامه‌های وب را برجسته کرد. همچنین در اطلاعیه‌ای به توانایی این مدل در انجام کارهای حقوقی با رویکردی شبیه به وکلا اشاره شد.

یکی از محورهای اصلی ادعای اوپن‌ای‌آی، عملکرد مدل در بنچمارک ARC-AGI-3 است که برای سنجش یادگیری مهارت‌های جدید در محیط‌های ناآشنا طراحی شده است. اوپن‌ای‌آی اعلام کرد که Astra در این آزمون به امتیاز ۹۹.۹ درصد دست یافته است. آزمایش مستقل بنیاد غیرانتفاعی ARC Prize نیز نشان داد که این مدل در ۹۶ درصد مراحل آزمون از معیارهای کارآمدی انسانی فراتر رفته و به‌طور میانگین به ۵۱.۷ درصد اقدام کمتری نسبت به حل‌کنندگان انسانی نیاز داشته است. رئیس بنیاد ARC Prize این عملکرد را جهشی معنادار در مدل‌های پیشرفته توصیف کرد.

با این حال، این نتایج با انتقادات و تردیدهای جدی از سوی پژوهشگران مستقل و خود ناظران بنچمارک مواجه شده است. بنیاد ARC Prize تأکید کرده است که رسیدن به امتیاز نزدیک به کامل در این آزمون، به‌تنهایی اثبات‌کننده دستیابی به هوش جامع مصنوعی نیست. دلیل اصلی این تردید، شیوه اجرای آزمون است. بالاترین امتیاز گزارش‌شده با استفاده از روشی اختصاصی به نام Provider Adapter به دست آمده که چارچوب ارزیابی را برای اجرای مدل آماده می‌کند و در دسترس توسعه‌دهندگان رقیب نیست. هنگامی که Astra با چارچوب استاندارد و بی‌طرف این بنچمارک آزمایش شد، امتیاز آن به ۶۲.۷ درصد کاهش یافت.

علاوه بر این، تفاوت‌هایی در اعداد منتشرشده مشاهده شده است. به گزارش فورچون، در نسخه‌ای از اطلاعات پیش از عرضه رسمی، امتیاز مدل در ARC-AGI-3 برابر با ۹۸.۶ درصد اعلام شده بود، اما این رقم در وب‌سایت رسمی آزمون به ۹۹.۹ درصد تغییر یافت. آنکا رویل و مایک هاردی، پژوهشگران دانشگاه استنفورد، نیز به تغییرات مکرر معیارها اعتراض کردند. آن‌ها اشاره کردند که اوپن‌ای‌آی نرخ توهم مدل را از ۴.۲ درصد به ۲ درصد کاهش داد و سپس دوباره آن را به رقم اولیه بازگرداند. این پژوهشگران این پدیده را «بنچمارک‌مکسینگ» می‌نامند؛ روشی که در آن توسعه‌دهندگان با تغییرات جزئی در دستورات یا چارچوب‌ها، بارها آزمون‌ها را تکرار می‌کنند تا بالاترین امتیاز نظری ممکن را کسب کنند. این رویکرد می‌تواند نتایجی را نشان دهد که بازتاب‌دهنده عملکرد معمول مدل در شرایط واقعی نیست، بلکه توانایی آن را در شرایط آزمایشگاهی بهینه‌شده منعکس می‌کند.