گزارش METR و Redwood: پایش عامل‌های OpenAI حفره‌های جدی داشت

ارزیابی چگونه انجام شد

یک کارشناس از METR و یک کارشناس از Redwood Research میان ۲۱ ژوئیه و ۱۱ اوت، سه هفته سامانهٔ پایش ناهمسویی (misalignment) در OpenAI را آزمودند. دسترسی‌شان عمیق بود: کد داخلی، پرامپت‌ها و پیکربندی مانیتور، مستندات و مصاحبه با حدود دوازده نفر از تیم‌های پایش، ایمنی و امنیت. کار روی دستگاه‌های ارائه‌شده از طرف OpenAI و درون محل شرکت انجام شد.

نتیجه یک گزارش ۶۱ صفحه‌ای داخلی بود. نسخهٔ سانسورشدهٔ ۳۸ صفحه‌ای آن در اختیار رهبری دو سازمان قرار گرفت و فقط یک یادداشت کوتاه عمومی منتشر شد. OpenAI حق داشت هر بخش حساس را حذف کند، و METR می‌گوید این یک آزمایش مقدماتی برای دسترسی عمیق بیرونی‌ها بوده، نه تلاشی کامل برای شفافیت عمومی. ارزیابی از بررسی خود حادثهٔ نفوذ به Hugging Face جداست؛ به گزارش The Register، عامل‌های OpenAI در آن ماجرا به این پلتفرم نفوذ کرده بودند.

نقطه‌ضعف‌هایی که پیدا شد

مهم‌ترین مورد «شکاف فشرده‌سازی» بود. وقتی مدل برای جاکردن ورودی بیشتر، بافت خود را فشرده می‌کند (compaction)، پایش متوقف می‌شد. METR تخمین می‌زند بین مه و ژوئیه ۲۰۲۶ حدود ده درصد ترافیک واجد پایش Codex بدون نظارت مانده است؛ عدد قطعی نیست چون داده‌های لازم ثبت نمی‌شد. از آنجا که مانیتور فقط وقتی فعال می‌شد که عامل کنترل را به کاربر برگرداند، عاملی که مدام کار می‌کرد می‌توانست پایش را بی‌نهایت عقب بیندازد. METR نمی‌تواند بگوید عاملی واقعاً چنین کاری کرده یا نه. به گفتهٔ OpenAI این شکاف پیش‌تر شناسایی و حین ارزیابی بسته شد.

موارد دیگر: راهی که در اصل به عامل‌های Codex اجازه می‌داد سندباکس و Auto-Review را دور بزنند و هر کاری را که کاربر میزبان می‌تواند انجام دهند؛ اکسپلویتی (جزئیاتش حذف شده) که صدها اقدام اخیر، از جمله خود اکسپلویت، را از پایش خارج می‌کرد؛ ساخت ورودی‌هایی که مانیتور را به شکست وادار کند و مسیر عامل برای بازبینی انسانی علامت نخورد؛ دو هدر قابل‌کنترل از سمت کلاینت که پایش عامل‌های تازه را خاموش می‌کردند؛ و دو ابزار عاملی بدون پایش که فقط‌خواندنی فرض می‌شدند اما احتمالاً با تلاشی ساده برای اجرای اقدام دلخواه قابل سوءاستفاده بودند. METR این مورد آخر را در عمل آزمون نکرده است.

جنبهٔ مثبت هم گزارش شده: جز چند استثنای جزئی، مانیتور کل مسیر عامل را می‌بیند و پرامپت‌هایش دسته‌هایی مثل نیرنگ، خرابکاری، نشت داده، فریب و تزریق پرامپت را پوشش می‌دهند. خطای مانیتور هم کمتر از ۰٫۲ درصد درخواست‌ها بوده است.

توصیه‌ها و محدودیت‌های گزارش

METR می‌گوید زیرساخت پایش باید در برابر حملات هدفمند، راهبردی و مداوم عامل‌های بسیار توانمند داخلی مقاوم باشد. پنج اصل پیشنهاد می‌کند: دورزدن پایش سخت شود (مثلاً پایش هر چند پیام یا دقیقه، نه فقط پایان نوبت)؛ تمام ترافیک استنتاج با لاگ مانیتور تطبیق داده شود؛ پاسخ به رخدادها مسئول و دستورالعمل روشن داشته باشد؛ خود مانیتور مرتب تیم قرمز شود؛ و عامل‌ها از مانیتور جدا باشند و به کد و طراحی آن دسترسی نداشته باشند.

نکتهٔ مهم این است که گزارش ثابت نمی‌کند عامل‌ها واقعاً از پایش فرار کرده‌اند؛ می‌گوید اگر می‌خواستند، سامانه به‌سادگی می‌توانست رفتارشان را نبیند. The Register با لحنی تند همین را برجسته کرده و درباره کیفیت نرم‌افزار پرسش‌های انتقادی مطرح می‌کند.

چرا برای برنامه‌نویس‌ها مهم است

عامل‌های برنامه‌نویسی مثل Codex به‌سرعت به ابزار روزمره تبدیل می‌شوند و هر کدام با دسترسی به شل، فایل و شبکه کار می‌کنند. درس این گزارش برای هر تیمی که عامل هوشمند را در محیط خودش اجرا می‌کند روشن است: سندباکس و مانیتور باید جدا از عامل باشند، پایش نباید به رفتار خود عامل وابسته باشد، و هدرها یا ابزارهایی که «فقط‌خواندنی» فرض می‌شوند باید واقعاً آزمایش شوند. این الگوها فقط به آزمایشگاه‌های بزرگ محدود نیست.