ما همیشه در حال ساخت راهکارهایی هستیم که با هدف‌های مختلف مشتری‌ها هماهنگ باشد. بعضی از مشتری‌ها می‌خواهند محتواشان بهتر دیده شود، اما بعضی دیگر ترجیح می‌دهند با سخت‌گیرانه‌ترین policyهای امنیتی از آن محافظت کنند. بین این نیازهای متفاوت، روش‌های مختلفی برای مدیریت bot traffic وجود دارد؛ از روش‌هایی که فقط preference شما را اعلام می‌کنند و روی حسن‌نیت crawlerها حساب دارند، تا روش‌هایی که با یک Bot Management واقعی، دسترسی را کاملاً محدود می‌کنند. 🤖
مشکل اینجاست که نگه‌داشتن چند لایه محافظت روی یک وب‌سایت، واقعاً می‌تواند دردسرساز باشد. برای مثال، ممکن است در robots.txt نوشته باشید یک crawler اجازه دسترسی ندارد، اما در عمل، ruleهای اجرایی شما آن crawler را block نکنند. وقتی preference اعلام‌شده و policy اجرایی با هم هم‌خوانی نداشته باشند، بعضی crawlerها این تناقض را بهانه می‌کنند تا preference شما را نادیده بگیرند یا حتی تلاش کنند از enforcement شما عبور کنند. ⚠️
چند سال پیش، Cloudflare راه ساده‌تری برای disallow کردن AI training روی وب‌سایت معرفی کرد؛ راهی که دو لایه را هم‌زمان درگیر می‌کرد: یک managed value برای robots.txt که به یک فهرست ثابت از مهم‌ترین Training crawlerها می‌گفت اجازه training روی محتوا را ندارند، و در کنار آن، blockهای edge-enforced برای Training crawlerها. این یعنی هم در سطح اعلام policy و هم در سطح اجرا، مسیر یک‌دست‌تری برای حفاظت از محتوا شکل گرفت. 🔒
در 1 جولای 2026 هم گزینه‌های ساده‌تری برای مدیریت انواع مختلف AI traffic معرفی شد. حالا می‌توانید برای trafficهای Search، Agent و Training مشخص کنید دقیقاً چه رفتاری می‌خواهید روی وب‌سایتتان اعمال شود. این موضوع برای تیم‌های devops و SRE مهم است، چون کنترل دقیق‌تر روی ترافیک‌های غیرانسانی، هم به پایداری سیستم کمک می‌کند و هم جلوی ambiguity در policy enforcement را می‌گیرد. 🚀
اکنون Bot Preference Sync معرفی شده و برای همه مشتری‌ها، از Free tier تا Enterprise در دسترس است. این قابلیت کمک می‌کند preferenceهای شما در لایه‌های مختلف هماهنگ‌تر شوند و مدیریت رفتار botها شفاف‌تر و قابل اتکاتر پیش برود. برای تیم‌هایی که روی observability، امنیت و مدیریت ترافیک حساس هستند، این هماهنگی می‌تواند اختلاف بین «آنچه گفته‌اید» و «آنچه واقعاً اجرا می‌شود» را خیلی کمتر کند. 🛠️
