یک سال پیش روز استقلال محتوا را اعلام کردیم؛ چون کم‌کم داشت روشن می‌شد که اقتصاد پایه‌ای اینترنت به‌شکلی بنیادین در حال تغییر است. پذیرش گسترده AI، سقوط سریع ترافیک ارجاعی برای ناشران و خزش‌های عظیم شرکت‌های AI روی وب — اغلب بدون اعلام شفاف هدف و تقریباً همیشه بدون جبران — محرک این تصمیم بود. 🔍🤖

برای محافظت از ناشران، پیش‌فرض‌ها را تغییر دادیم: برای دامنه‌های جدید، دسترسی crawlerهای AI برای training به‌صورت پیش‌فرض مسدود شد مگر اینکه مالک دامنه صراحتاً اجازه دهد. هدف دیوارکشی نبود؛ هدف شفافیت، کنترل، ایجاد کمیابی و در نهایت شکل‌دادن به بازاری بود که محتوای باکیفیت بتواند ارزش اقتصادی معقولی دریافت کند.

امروز، آن بازار دارد شکل می‌گیرد — و تغییرات سریع‌تر از چیزی که پیش‌بینی می‌کردیم رخ داده‌اند. در ادامه نکات کلیدی درباره چگونگی تحول مدل کسب‌وکار اینترنت و پیامدهای آن برای ناشران و مدیران سایت را با تمرکز عملیاتی برای تیم‌های DevOps/SRE می‌آورم.

پذیرش AI در حال جهش است: این بار فقط یک چرخه تکنولوژیک نیست؛ یک تغییر پلتفرمی است که با سرعتی بیش از دو برابر سریع‌تر از گوشی‌های هوشمند رخ داده. ظرف 3.5 سال بیش از 30٪ جمعیت جهان — حدود 2.5 میلیارد کاربر فعال — استفاده منظم از generative AI را پذیرفته‌اند. منحنی پذیرش عمودی شده و این یعنی بار کاری و الگوهای ترافیک بالقوه بسیار متفاوت‌اند. 📈

وبِ باز (open web) دچار فروپاشی رفتاری شده: نسبت زمانی که کاربران برای جستجو صرف می‌کنند به زمانی که روی وبِ باز می‌مانند جابه‌جا شده — برای هر ساعت جستجو، تنها حدود 15 دقیقه روی open web می‌ماند. رفتار سنتی جستجو در حال کم‌رنگ شدن است چون کاربران به‌جای مراجعه به چند سایت برای جمع‌آوری و مقایسه، یک prompt تایپ می‌کنند و پاسخ ترکیب‌شده و فوری می‌گیرند.

اینترنت عامل‌محور (agentic Internet) رسماً آمده: در سال جاری سهم ترافیکی که متعلق به non-human agents است از مرز 50٪ عبور کرد. این جابه‌جایی پیامدهای بزرگی برای ناشران و مالکین محتوا دارد — از کاهش بازدید انسانی گرفته تا استفاده برای training بدون بازگشت ترافیک.

نقش crawlerها تغییر کرده: زمانی که crawlerها را بر اساس هدفشان دسته‌بندی می‌کنیم، تصویر واضح می‌شود — تا ژوئن 2026 حدود 52٪ درخواست‌های crawler برای AI training بوده، در حالی که در بهار 2025 این عدد 22٪ بود. crawlerهای mixed-use (ترکیبی از search، agent و training) بیش از 36٪ فعالیت‌ها را شامل می‌شوند. crawlerهای صرفاً جستجو اکنون سهمی کوچک و رو به کاهش دارند، هرچند برای دیده‌شدن ناشران هنوز حیاتی‌اند.

مشکل اصلی این است که وقتی training تبدیل به نیروی اصلی crawler activity می‌شود، تمایز بین discovery و training حیاتی می‌شود. crawlerهای mixed-use این تمایز را محو می‌کنند و صاحبین محتوا را در موقعیتی قرار می‌دهند که باید میان قابل‌کشف ماندن در عصر agentic و اعطای محتوای ارزشمند خود بدون جبران اقتصادی یکی را انتخاب کنند. ⚖️

مدل کسب‌وکار قدیمی عملاً از بین رفته: سال‌ها مدلِ ساده این بود که محتوا در ازای دیده‌شدن در search بازدید می‌آورد و آن بازدید منبع درآمد ناشران بود. حالا محتوا همچنان خزش و ایندکس می‌شود و استفاده می‌گردد — اما اغلب بدون برگشت ترافیک به منبع. وقتی AIها پاسخ‌ها را مستقیماً ارائه می‌دهند، تحقیق می‌کنند یا کارها را انجام می‌دهند بدون اینکه کاربر به سایت‌ها برود، سوال اساسی مطرح می‌شود: اگر محتوا مصرف می‌شود ولی مخاطب هرگز به منبع سر نزند، سازوکار اقتصادی تولیدکنندگان محتوا چیست؟

این تأثیر صنایعی را که زودتر درگیر شدند — مثل خبر و رسانه — فراتر رفته: امروز خرده‌فروشی، نرم‌افزار، IT و مالی هم درگیر هستند. برخی دسته‌ها کاهش ترافیک انسانی تا 40٪ در کمتر از یک سال را تجربه کرده‌اند. ناشران درباره «Google Zero» — دنیایی که تقریباً هیچ ترافیکی از ارجاع‌های جستجو دریافت نمی‌شود — آماده‌گی نشان می‌دهند.

اما بازار هم شکل گرفته: وقتی Content Independence Day را شروع کردیم، سه هدف داشتیم — شفافیت و کنترل برای مالکان سایت، ابزارهایی برای ایجاد scarcity و بازارگاهی برای کشف، لایسنس‌دهی و تعیین ارزش محتوا. الان بازار لایسنس‌دهی برای محتوا پدید آمده و شرایط یک اقتصاد محتوا-محوری در حال تثبیت است. 💡

شفافیت و کنترل باعث ایجاد کمیابی شد: ناشران قبلاً دید محدودی نسبت به چگونگی دسترسی AIها به محتوایشان داشتند. ابزارهای attribution و telemetry در سطح شبکه به مالکین امکان داد تا میزان مصرف محتوایشان توسط AIها را مشاهده کنند — و این مرزبندی و اعمال سیاست را اثربخش‌تر از قواعد داوطلبانه مثل robots.txt کرد. این کنترل، کمیابی ساخت و دوباره تعادل عرضه و تقاضا را تا حدی به نفع ناشران تغییر داد.

این کمیابی به leverage تبدیل شد: ناشرانی که کنترل اعمال کردند توانستند مذاکره‌های بهتری انجام دهند؛ داده‌های attribution سطح اپراتور (مثل اینکه کدام LLMها چقدر سعی در دسترسی داشتند، کدام URLها پرتقاضاترند و نسبت crawl-to-referral چگونه است) باعث کاهش عدم تقارن اطلاعاتی در بحث‌های لایسنس شد. در نتیجه تعادل قدرت بین ناشران و شرکت‌های AI در حال تغییر است و چندین قرارداد publisher-AI امضا شده‌اند.

با این حال بازار هنوز ناکارآمد است: قراردادهای اولیه نشان دادند تقاضا وجود دارد، ولی لایسنس‌دهی فعلاً عمدتاً سفارشی است و احتمالاً به‌تنهایی جایگزین کامل درآمدهای از دست‌رفته referral/ads نخواهد شد. ارزش‌گذاری دقیق محتوا حل‌نشده مانده و تطبیق کارآمد عرضه و تقاضا هنوز چالش است.

مسئله Google متفاوت و مهم است: Google هنوز نزدیک به 88٪ از referral traffic را در اختیار دارد اما رفته‌رفته کاربران را داخل تجربه‌های AI-محورِ متعلق به Google نگه می‌دارد. Google از mixed-use bot استفاده می‌کند که تشخیص هدف دسترسی (discovery یا AI consumption) را دشوار می‌سازد و شفافیت کمتری برای صاحبین سایت فراهم می‌آورد — موضوعی که انتخاب سیاست‌های دسترسی را پیچیده‌تر می‌کند.

پیام برای تیم‌های DevOps/SRE — نکات عملی و اولویت‌ها:

• اندازه‌گیری و مانیتورینگ: شاخص‌های کلیدی مثل crawl_to_referral_ratio، درصد ترافیک non-human، نرخ تغییر user-agentها و الگوهای session انسانی را درداشبوردها پیگیری کنید. 📊

• تمایز crawlerها: به‌دنبال metadata و الگوهای رفتاری باشید تا crawlerهای mixed-use را شناسایی کنید. robots.txt کافی نیست — نیاز به telemetry سطح شبکه و لاگ‌های دقیق دارید.

• اعمال سیاست در لایه شبکه: از کنترل‌های سطح شبکه برای تعیین اجازه/مسدودسازی دسترسی‌های training استفاده کنید، از rate-limiting، IP allow/block lists، و header-based signals بهره ببرید. پیاده‌سازی APIهای اختصاصی برای data access با authentication و قراردادهای لایسنس می‌تواند مسیر قابل‌پیش‌بین‌تری برای دسترسی فراهم کند. 🛡️

• اتریبیوشن و شواهد: لاگ‌هایی که نشان‌دهنده تلاش‌های دسترسی LLMها، نرخ‌های خزیدن و URLهای پرتقاضا باشند به شما قدرت مذاکره می‌دهند. این داده‌ها را آماده کنید تا در بحث‌های تجاری و حقوقی قابل‌استفاده باشند.

• مدل‌های دسترسی و محتوای قابل‌تجارت: بررسی کنید کدام محتوا ارزش اقتصادی بالاتری دارد و برای آن مدل‌های اشتراک، API-محور یا لایسنس‌دهی تنظیم کنید. همه محتوا یک‌سان نیست؛ باید طبقه‌بندی و ارزش‌گذاری شود.

• آماده‌سازی برای Google mixed-use: اگر به Google وابسته‌اید، بفهمید چگونه mixed-use crawler اثرات شما را تغییر می‌دهد و برنامه‌ای برای حفظ دیده‌شدن انسانی و محافظت از ارزش محتوا تدوین کنید.

خلاصه: اینترنت به سرعت به سمت یک اقتصاد محتوای جدید حرکت می‌کند؛ جایی که شفافیت، کنترل شبکه‌ای و داده‌های attribution برای حفظ ارزش محتوای تولیدی حیاتی‌اند. به‌عنوان تیم‌های DevOps/SRE، وظیفه شما عملیاتی‌کردن این شفافیت، پیاده‌سازی کنترل‌های قابل اتکا و فراهم‌کردن شواهد برای مذاکره است — تا ناشران و مالکین محتوا بتوانند در این بازار نو شکل بگیرند و پایدار بمانند. ⚙️📉