امروز چند بهبود تجربهٔ توسعه‌دهنده برای Cloudflare AI Search معرفی شد تا راه‌اندازی یک موتور جستجوی آماده برای عوامل (agents) شما ساده‌تر شود 😊. قبلاً باید دستی اجزای Cloudflare مثل Workers AI, AI Gateway, Vectorize, R2 و Browser Run را با هم می‌چسباندید، اما حالا AI Search این کار را خودکار و بهینه انجام می‌دهد. هدف این است که هر عامل بتواند یک موتور جستجوی اختصاصی داشته باشد تا سریع‌تر و دقیق‌تر به داده‌ها دسترسی پیدا کند و جواب‌های بهتری به کاربر انسان ارائه دهد.
یک پیش‌نمایش از مدل قیمت‌گذاری هم منتشر شده تا ببینید مقیاس‌پذیری چه‌طور خواهد بود. طراحی قیمت‌گذاری طوری است که قابل پیش‌بینی باشد: embedding و reranking وقتی از مدل‌های پیش‌فرض استفاده کنید، رایگان‌اند — یعنی لازم نیست نگران پیش‌بینی دقیق تعداد توکن‌ها باشید. این رویکرد برای تیم‌های SRE/DevOps که می‌خواهند هزینه‌ها را قابل پیش‌بینی نگه دارند، کاربردی است.
قابلیت‌های جدید برای ایندکس کردن داده: می‌توانید هم داده‌های ساخت‌یافته و هم غیرساخت‌یافته را برای عامل خود در دسترس بگذارید؛ از فایل‌های مستقل تا کل وب‌سایت‌هایی که مالکشان هستید. فعلاً منبع وب باید یک zone در حساب Cloudflare شما باشد (یعنی همان DNS zone)، ولی روش‌های بیشتری برای احراز مالکیت به‌زودی اضافه می‌شود — این موضوع برای رعایت حریم خصوصی و کنترل دسترسی خیلی مهم است.
اگر وب‌سایت sitemap ندارد نگران نباشید: قبلاً وجود sitemap شرط بود، ولی حالا گزینهٔ «Discover» برای parsing اضافه شده تا بتوانید سایت‌هایی بدون sitemap را هم به‌عنوان منبع اضافه کنید. برای تیم‌های عملیات: به نکات مربوط به crawl budget، رعایت robots.txt و محدودسازی نرخ درخواست‌ها دقت کنید تا بار اضافی روی origin نیفتد؛ و اگر لازم است، اول در محیط staging کراول را تست کنید.
با فعال‌سازی public URLs برای namespaceها، می‌توانید یک endpoint عمومی واحد برای جستجو روی آن namespace داشته باشید. این موضوع امکانات خوبی برای سرویس‌دهی به عوامل یا سرویس‌های دیگر فراهم می‌کند، اما از نظر امنیتی باید نکاتی مثل authentication، ACLها، rate limiting و caching را تنظیم کنید تا از افشای ناخواستهٔ داده جلوگیری شود و عملکرد پایدار بماند.
نکاتی برای عملیات و مقیاس‌بندی: چون embedding و reranking با مدل‌های پیش‌فرض هزینهٔ اضافه ندارند، تمرکز شما باید روی monitoring مصرف IO، latency ایندکسینگ، freshness ایندکس و هزینهٔ نگهداری storage (مثل R2) باشد. متریک‌ها، لاگ‌ها و alertها را از همان ابتدا طراحی کنید؛ مثلا metric برای تأخیر query، اندازهٔ index، خطاهای parsing و نرخ بازسازی ایندکس. قابلیت versioning و rollback ایندکس را در pipeline CI/CDتان وارد کنید تا در صورت خطا سریع برگردید.
همچنین چند نکتهٔ امنیتی و حاکمیتی: قبل از ایندکس کردن داده‌های حساس، مطمئن شوید که ownership و permissions درست است، داده‌ها encryption-at-rest و in-transit دارند، و policies برای حذف/refresh ایندکس تعریف شده‌اند. برای داده‌های حساس توصیه می‌کنم ابتدا در یک zone جدا یا محیط تست ایندکس کنید و روی کنترل دسترسی‌های namespace سخت‌گیری داشته باشید.
در مجموع، این به‌روزرسانی‌ها باعث می‌شوند ادغام یک موتور جستجوی برداری و کلیشه‌ای (vector + rerank) در فرایندهای RAG و agent-driven workflows خیلی ساده‌تر شود. اگر تیم شما در حال ساخت agentهایی است که به داده‌های داخلی وابسته‌اند، این قابلیت‌ها می‌توانند زمان توسعه و هزینهٔ نگهداری را کم کنند و تجربهٔ پاسخ‌دهی را بهبود دهند 🚀.
