روند پیدا شدن محتوا و کسب‌وکارها در وب با سرعت به سمت یک تغییر اساسی می‌رود. قبلاً بیشتر ترافیک از موتورهای جستجوی سنتی می‌آمد و SEO تعیین‌کنندهٔ دیده‌شدن صفحات بود. امروز بخش مهمی از ترافیک از طرف AI crawlers و agents ایجاد می‌شود که انتظار دارند محتوا در قالب‌های ساختاریافته (مثل Markdown) در دسترس باشد، نه فقط HTMLِ قالب‌بندی‌شده برای انسان‌ها. اگر می‌خواهید جلوتر بمانید، باید از امروز agents را به‌عنوان «شهروندان درجه‌یک» در نظر بگیرید، نه فقط بازدیدکنندگان انسانی یا راهکارهای قدیمی SEO 🚀

چرا Markdown مهم است؟

دادن HTML خام به یک مدل AI مثل این است که او را مجبور کنید بسته‌بندی طولانی یک نامه را بخواند به‌جای متن اصلی؛ هزینهٔ پردازشی و مصرف token افزایش می‌یابد. مثلاً یک عنوان ساده مانند ## About Us در Markdown حدود 3 token مصرف می‌کند، در حالی‌که معادل HTML آن — <h2 class="section-title" id="about">About Us</h2> — معمولاً 12–15 token می‌سوزاند و این قبل از محاسبهٔ wrapperها، navها و scriptها است که هیچ ارزش معنایی برای محتوا ندارند.

به عنوان نمونه، همین پست وبلاگ در قالب HTML حدود 16,180 token مصرف می‌کند و وقتی به Markdown تبدیل شد فقط 3,150 token شد؛ یعنی حدود 80٪ کاهش در مصرف token. Markdown به‌سرعت به lingua franca برای agents و سیستم‌های AI تبدیل شده است؛ ساختار صریح آن پردازش را ساده‌تر و کم‌هزینه‌تر می‌کند.

مشکل این است که وب از HTML ساخته شده و وزن صفحات به مرور افزایش یافته؛ برای agents لازم است همهٔ عناصر غیرضروری فیلتر شوند و محتوای مرتبط استخراج شود. تبدیل HTML به Markdown حالا در هر مسیر AI رایج است، اما این تبدیل هزینهٔ محاسباتی، پیچیدگی و احتمالاً اختلاف با نیت خالق محتوا را به همراه دارد. فرض کنید اگر agents بتوانند مستقیماً Markdown ساختاریافته را از منبع دریافت کنند، بسیاری از این هزینه‌ها و ابهامات حذف می‌شود.

تبدیل خودکار HTML به Markdown در لبه

Cloudflare اکنون در شبکهٔ خود از تبدیل محتوا در مبدأ به‌صورت real-time پشتیبانی می‌کند، برای زون‌هایی که این قابلیت را با content negotiation headers فعال کرده‌اند. وقتی AIها صفحه‌ای را با تمایل به دریافت text/markdown درخواست کنند، شبکهٔ Cloudflare به‌صورت on-the-fly HTML را به Markdown تبدیل می‌کند و پاسخ کم‌حجم‌تر و ساختاریافته‌تری تحویل می‌دهد.

شیوهٔ کار ساده است: کلاینت در درخواست خود هدر Accept را داشته باشد و text/markdown را قبول کند. Cloudflare HTML را از origin می‌گیرد، تبدیل را انجام می‌دهد و Markdown را برمی‌گرداند. مثال curl:

curl https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/ 
  -H "Accept: text/markdown"

اگر در Worker بنای ساخت یک AI Agent را دارید و از TypeScript استفاده می‌کنید، مثال فراخوانی شبیه این است:

const r = await fetch(
  `https://developers.cloudflare.com/fundamentals/reference/markdown-for-agents/`,
  {
    headers: {
      Accept: "text/markdown, text/html",
    },
  },
);
const tokenCount = r.headers.get("x-markdown-tokens");
const markdown = await r.text();

ما شاهد هستیم برخی از محبوب‌ترین coding agents مثل Claude Code و OpenCode هم این هدرها را ارسال می‌کنند. پاسخ به چنین درخواست‌هایی حالا در قالب Markdown فرمت می‌شود — بسیار ساده و موثر. نمونهٔ هدرهای پاسخ:

HTTP/2 200
date: Wed, 11 Feb 2026 11:44:48 GMT
content-type: text/markdown; charset=utf-8
content-length: 2899
vary: accept
x-markdown-tokens: 725
content-signal: ai-train=yes, search=yes, ai-input=yes

---
title: Markdown for Agents · Cloudflare Agents docs
---

## What is Markdown for Agents

The ability to parse and convert HTML to Markdown has become foundational for AI.
...

نکتهٔ کلیدی: ما یک هدر کمکی به نام x-markdown-tokens با پاسخ بازگشت می‌دهیم که نشان‌دهندهٔ تخمینی تعداد tokenها در سند Markdown است. این مقدار برای تصمیم‌گیری در مورد اندازهٔ context window یا استراتژی chunking بسیار مفید است 💡

Content Signals Policy

Cloudflare قبلاً قابلیتی به نام Content Signals معرفی کرده که به ناشران اجازه می‌دهد ترجیحات خود را دربارهٔ نحوهٔ استفاده از محتوا پس از دسترسی بیان کنند. وقتی Markdown بازگردانده می‌شود، لازم است مشخص کنیم کِی و چگونه agents می‌توانند از محتوا استفاده کنند؛ بنابراین پاسخ‌های Markdown شامل هدر Content-Signal: ai-train=yes, search=yes, ai-input=yes هستند تا نشان دهند محتوا برای AI Training، Search و AI Input (شامل agentic use) قابل‌استفاده است. در آینده تنظیمات سفارشی‌تری برای سیاست‌های Content Signal فراهم خواهد شد.

آزمون روی Blog و Developer Documentation

این قابلیت در Documentation و وبلاگ Cloudflare فعال شده تا AI crawlers و agents بتوانند محتوای ما را به‌صورت Markdown مصرف کنند. مثال curl برای درخواست وبلاگ:

curl https://blog.cloudflare.com/markdown-for-agents/ 
  -H "Accept: text/markdown"

و نمونهٔ نتیجه که شامل frontmatter و محتوای Markdown است:

---
description: The way content is discovered online is shifting, from traditional search engines to AI agents that need structured data from a Web built for humans. It’s time to consider not just human visitors, but start to treat agents as first-class citizens. Markdown for Agents automatically converts any HTML page requested from our network to markdown.
title: Introducing Markdown for Agents
image: https://blog.cloudflare.com/images/markdown-for-agents.png
---

# Introducing Markdown for Agents

The way content and businesses are discovered online is changing rapidly. In the past, traffic originated from traditional search engines and SEO determined who got found first. Now the traffic is increasingly coming from AI crawlers and agents that demand structured data within the often-unstructured Web that was built for humans.

...

روش‌های دیگر تبدیل به Markdown

اگر در سیستم خود نیاز به تبدیل اسناد از منابعی خارج از Cloudflare دارید یا Markdown for Agents برای منبع محتوا در دسترس نیست، راهکارهای دیگری هم وجود دارد: Workers AI با متد AI.toMarkdown() از چند نوع سند پشتیبانی می‌کند و قابلیت خلاصه‌سازی هم دارد. همچنین Browser Rendering و /markdown REST API برای رندر صفحات داینامیک در یک مرورگر واقعی و سپس تبدیل مفید هستند.

ردیابی استفاده از Markdown

برای پیش‌بینی تغییر نحوهٔ پیمایش AI در وب، Cloudflare Radar اکنون بینش‌هایی دربارهٔ content type برای ترافیک bot و crawlerهای AI ارائه می‌دهد؛ به‌صورت جهانی در AI Insights و در صفحات مربوط به هر bot. بعد جدید content_type توزیع MIME types بازگردانده‌شده به agents را نشان می‌دهد و می‌توانید درخواست‌هایی که Markdown برمی‌گردانند را بر اساس agent یا crawler فیلتر کنید — مثلاً درخواست‌هایی که Markdown به OAI-Searchbot برمی‌گردانند. این داده‌ها کمک می‌کند روند مصرف محتوای وب توسط bots و agents را در طول زمان دنبال کنیم.

شروع کنید — امروز

برای فعال‌سازی Markdown for Agents در زون خود، وارد داشبورد Cloudflare شوید، حساب و زون را انتخاب کنید، در بخش Quick Actions دکمهٔ Markdown for Agents را روشن کنید. این قابلیت در Beta و بدون هزینه برای پلن‌های Pro، Business و Enterprise و همچنین SSL for SaaS در دسترس است. مستندات توسعه‌دهنده اطلاعات بیشتری ارائه داده و بازخورد شما برای بهبود این ویژگی ارزنده است — کنجکاویم ببینیم AI crawlers و agents چگونه با طبیعت ناپیوستهٔ وب سازگار می‌شوند و از آن بهره می‌برند ⚙️