کلودفلر نظارت مداوم بر رفتار ربات‌های «تأییدشده» را آغاز کرد
کلودفلر سامانه‌ای برای ارزیابی مداوم ربات‌های تأییدشده معرفی کرد که رعایت robots.txt و واکنش به کد ۴۲۹ را می‌سنجد و «نوار اعتماد» می‌سازد.
کلودفلر در ۱۶ اکتبر ۲۰۲۶ از سامانه‌ای تازه برای «پاسخ‌گویی مداوم» ربات‌های دارای نشان Verified خبر داد. این سامانه به‌طور پیوسته بررسی می‌کند که این ربات‌ها به ترجیحات صاحبان سایت، از جمله robots.txt و کد وضعیت HTTP 429، پایبند می‌مانند یا نه. به گفته کلودفلر، هویت درست به‌تنهایی تضمین نمی‌کند که ربات مسئولانه رفتار کند.
چه چیزی معرفی شد؟
کلودفلر برای ربات‌هایی که در فهرست Verified قرار می‌گیرند سه شرط دارد: هویت خود را دقیق و امن اعلام کنند، فقط کاری را انجام دهند که گفته‌اند، و رفتار سوءاستفاده‌گرانه نداشته باشند. تا امروز بخش هویت با Web Bot Auth پوشش داده می‌شد؛ در این روش ربات‌ها درخواست‌هایشان را امضا می‌کنند. سامانه جدید دو شرط دیگر، یعنی «آسیب نزدن»، را دنبال می‌کند.
کلودفلر این وضع را به گواهینامه رانندگی تشبیه می‌کند: گواهینامه نشان می‌دهد شما کیستید و آزمون داده‌اید، اما نحوه رانندگی آینده‌تان را تضمین نمی‌کند. به گفته این شرکت، رفتار نادرست ربات‌ها اغلب نتیجه پیکربندی اشتباه یا باگ است و لزوماً نیت بد در کار نیست.
نکات کلیدی
- ارزیابی پیوسته، نه فقط تأیید یک‌باره
- نتیجه به‌صورت «نوار اعتماد» قابل‌توضیح ارائه می‌شود
- فعلاً به‌صورت داخلی در کلودفلر استفاده می‌شود
سیگنال‌هایی که سنجیده می‌شود
در مرحله اول دو سیگنال به‌کار رفته است. نخست، تطابق ترافیک واقعی ربات با فایل robots.txt منتشرشده سایت، بر پایه استاندارد RFC 9309. کلودفلر تأکید می‌کند robots.txt حداقل قواعد را تعیین می‌کند و هر چیزی که در آن ذکر نشده، خودبه‌خود مجاز نیست. ربات باید در صورت دریافت نشانه‌های دیگر مبنی بر ناخواسته بودن دسترسی هم متوقف شود.
دوم، واکنش به پاسخ ۴۲۹ (Too Many Requests). برخی ربات‌ها از مسیرهای مجاز خارج نمی‌شوند ولی فشار سنگینی به سرور وارد می‌کنند. سامانه می‌سنجد که پس از دریافت ۴۲۹ ربات سرعتش را کم می‌کند، مکث می‌کند یا با همان آهنگ ادامه می‌دهد. کند شدن یا مکث مداوم جایگاه ربات را بالا می‌برد و نادیده گرفتن مکرر ۴۲۹ آن را پایین می‌آورد. تخلف‌های پراکنده و یک‌باره معمولاً معنادار تلقی نمی‌شوند و الگوهای پایدار مبنا هستند.
زمینه و برنامه‌های بعدی
کلودفلر در سال ۲۰۲۵ ربات Perplexity را از فهرست Verified حذف کرد؛ به گفته این شرکت، آن ربات به سایت‌هایی که اسکرپ را رد کرده بودند دسترسی یافت و هنگام مسدود شدن کوشید کنترل‌ها را دور بزند. مقاله جدید این حذف را مستقیماً به امتیازهای سامانه تازه ربط نمی‌دهد و مجازات خودکار یا آستانه مشخصی هم تعریف نکرده است.
برنامه‌های اعلام‌شده شامل انتشار عمومی امتیازها در دایرکتوری ربات‌های Cloudflare Radar، افزودن معیارهای بیشتر و عرضه سامانه به همه مشتریان با آستانه اعتماد قابل‌تنظیم است. این بخش‌ها هنوز در دسترس نیستند. کلودفلر سامانه را به Bot Preference Sync و Bot Management پیوند می‌دهد و مجموعه را «چرخه پاسخ‌گویی» می‌نامد.
چرا مهم است؟
برای مدیران و توسعه‌دهندگان وب، تفاوت میان «ربات شناخته‌شده» و «ربات رفتارشایسته» اهمیت دارد، به‌ویژه با رشد خزنده‌های هوش مصنوعی که محتوا را برای آموزش مدل‌ها جمع می‌کنند. اگر آستانه اعتماد قابل‌تنظیم عرضه شود، صاحب سایت می‌تواند به‌جای مسدودسازی کامل یا اجازه کامل، بر اساس سابقه رفتار تصمیم بگیرد.
برای کسانی که خودشان خزنده یا عامل خودکار می‌نویسند نیز پیام روشن است: احترام به robots.txt و مدیریت درست نرخ درخواست و کد ۴۲۹ حالا می‌تواند اعتبار عمومی ربات را تعیین کند. کلودفلر نکته‌ای درباره ایران بیان نکرده است؛ اما سایت‌های ایرانی که پشت CDN هستند ممکن است در صورت فعال بودن این قابلیت از آن بهره ببرند.
جمع‌بندی
این اعلام فعلاً بیشتر یک چارچوب و نقشه راه است: فقط دو سیگنال به‌کار رفته، روش امتیازدهی تشریح نشده و ادعاها از سوی کلودفلر و بدون راستی‌آزمایی مستقل است. با این حال، حرکت از «تأیید هویت» به «پایش رفتار» می‌تواند به قاعده‌ای رایج در مدیریت ترافیک ربات‌ها تبدیل شود.
منابع
- Continuous accountability for Verified bots - Cloudflare Blogblog.cloudflare.com
این خبر بر اساس منابع بالا به فارسی بازنویسی و خلاصه شده است؛ برای جزئیات کامل به منبع اصلی مراجعه کنید.