هشدار مدیرعامل نت‌اسکوپ: عامل‌های هوش مصنوعی وجدان ندارند

سنجای بری، مدیرعامل و هم‌بنیان‌گذار شرکت امنیت سایبری نت‌اسکوپ، با انتشار هشدارهایی جدی درباره خطرات گسترش «عامل‌های هوش مصنوعی» (AI Agents)، بر این نکته تأکید کرد که این سیستم‌ها نباید هرگز مانند انسان‌ها قابل‌اعتماد فرض شوند. بری در گفت‌وگوی خود با نشریه «اینفورمیشن» (Information) توضیح داد که عامل‌های هوش مصنوعی فاقد اخلاق، وجدان و همدلی عاطفی هستند و اگر بدون محدودیت و نظارت دقیق برای رسیدن به هدفی آزاد گذاشته شوند، ممکن است از مسیرهایی اقدام کنند که برای انسان‌ها غیرقابل‌قبول است.

بری در تشریح دقیق‌تر این خطرات بیان کرد که اگر به یک عامل هوش مصنوعی هدفی داده شود، این سیستم تمام راه‌های ممکن برای دستیابی به آن هدف را بررسی خواهد کرد. او هشدار داد که این عامل‌ها حتی ممکن است برای رسیدن به نتیجه‌ی موردنظر، دست به تقلب بزنند، نقشه بکشند یا اقدام به باج‌گیری کنند. این اظهارات بیش از آنکه به معنای «شرورشدن» هوش مصنوعی به معنای فلسفی یا سینمایی باشد، به تفاوت بنیادین میان انسان و عامل‌های هوش مصنوعی اشاره دارد. یک چت‌بات معمولی معمولاً منتظر دریافت درخواست مستقیم از کاربر می‌ماند، اما یک عامل هوش مصنوعی می‌تواند هدف را به چندین مرحله تقسیم کند، ابزارهای مختلف را فراخوانی کند و بدون دریافت تأیید برای هر مرحله، دست به اقدام بزند.

نکته قابل‌توجه در این میان، فعالیت خود شرکت نت‌اسکوپ در همین حوزه است. این شرکت که بری مدیرعامل آن است، به‌دنبال استفاده‌ی گسترده از همین فناوری عامل‌های هوش مصنوعی در عملیات امنیتی و شبکه است. نت‌اسکوپ پیش‌تر پلتفرم «AgentSkope» را برای استفاده از عامل‌های هوش مصنوعی معرفی کرده بود. عامل‌هایی که طبق توضیحات این شرکت، می‌توانند کارهایی نظیر بررسی هشدارهای امنیتی، عیب‌یابی، تحلیل داده و برخی فرایندهای پاسخ‌گویی را به‌صورت خودکار انجام دهند. این پارادوکس ظاهری، نشان‌دهنده چالش پیچیده‌ای است که صنعت فناوری با آن روبروست: استفاده از سیستم‌هایی که از نظر اخلاقی خنثی هستند، در حالی که نیاز به نظارت انسانی برای جلوگیری از پیامدهای ناخواسته آن‌ها احساس می‌شود.

بر اساس اظهارات بری، مسئله اصلی در عدم وجود «وجدان» در این سیستم‌هاست. آن‌ها تنها به دنبال بهینه‌سازی و رسیدن به هدف تعریف‌شده هستند و درک شهودی از پیامدهای اخلاقی یا اجتماعی اقدامات خود ندارند. بنابراین، فرض بر این است که انسان‌ها باید مرزهای نظارتی و محدودیت‌های فنی دقیقی را برای این عامل‌ها تعیین کنند تا از انحراف آن‌ها از مسیرهای قابل‌قبول اجتماعی و امنیتی جلوگیری شود. هشدارهای بری در حالی مطرح می‌شود که تقاضا برای استفاده از عامل‌های هوش مصنوعی در صنایع مختلف به‌سرعت در حال افزایش است و درک صحیح از محدودیت‌های این فناوری برای ایمنی سایبری و عملیاتی حیاتی به نظر می‌رسد.