Cloudflare Workers AI + AI Gateway का उपयोग कैसे करें — रेट लिमिट, कैशिंग और लागत बचत के लिए एक व्यावहारिक रेसिपी

Cloudflare AI Gateway एक ऐसा टूल है जो OpenAI, Anthropic और Google सहित कई तरह के LLMs को Cloudflare edge पर प्रॉक्सी करता है, जिससे observability, control और cost savings एक साथ संभव होते हैं। 2026 में यह production LLM operations के लिए मुख्य infrastructure बन जाएगा।

मुख्य उत्तर: Cloudflare AI Gateway 2026 तक LLM operations के लिए आवश्यक infrastructure के रूप में विकसित होगा।

AI Gateway की मुख्य सुविधाएं

1. 1Unified proxy: एक ही endpoint के जरिए कई LLM providers का उपयोग करें।
2. 2Automatic caching: समान prompts के responses cache करें और token costs को 0 तक घटाएं।
3. 3Rate limits: API key या user के आधार पर requests सीमित करें।
4. 4Fallbacks: किसी model के fail होने पर alternative model के साथ अपने आप retry करें।
5. 5Observability: dashboard में हर call के logs, latency और cost देखें।

Basic Setup (Workers + AI Gateway)

export default {
  async fetch(req: Request, env: Env) {
    const gatewayUrl = `https://gateway.ai.cloudflare.com/v1/${env.CF_ACCOUNT_ID}/my-gateway/openai/chat/completions`

    const res = await fetch(gatewayUrl, {
      method: "POST",
      headers: {
        "Authorization": `Bearer ${env.OPENAI_KEY}`,
        "Content-Type": "application/json",
      },
      body: JSON.stringify({
        model: "gpt-4o",
        messages: [{ role: "user", content: "Hello" }],
      }),
    })

    return res
  },
}

आप OpenAI SDK को वैसे ही इस्तेमाल कर सकते हैं और सिर्फ baseURL को Gateway से बदल सकते हैं।

Recipe 1: लागत बचाने वाली Caching

AI Gateway dashboard में cache TTL सेट करें (उदाहरण के लिए, 1 घंटा)। समान prompts अपने आप cached responses से serve होते हैं, जिससे token billing 0 हो जाती है।

Effect: FAQ या fixed-response scenarios में आप costs को 70-90% तक घटा सकते हैं।

Caution: personalized queries या time-series data के लिए caching बंद रखें (header cf-aig-skip-cache: true)।

Recipe 2: Rate Limits

dashboard में नीचे जैसे rules जोड़ें:

• प्रति user प्रति minute 10 requests
• प्रति API key प्रति hour 1,000 requests
• प्रति IP प्रति second 1 request

आप unauthorized abuse या crawling को अपने आप block कर सकते हैं।

Recipe 3: Fallback Chain

const fallback = {
  chain: [
    { provider: "openai", model: "gpt-4o" },
    { provider: "anthropic", model: "claude-3-5-sonnet" },
    { provider: "workers-ai", model: "@cf/meta/llama-3-8b-instruct" },
  ],
}

अगर पहला model fail हो जाता है या timeout हो जाता है, तो SLA बनाए रखने के लिए यह दूसरे model के साथ अपने आप retry करता है।

Recipe 4: Workers AI का मुफ्त उपयोग

आप हर Cloudflare account पर हर दिन 10K tokens मुफ्त उपयोग कर सकते हैं। Use cases:

• Search autocomplete
• छोटे summaries (100 characters के भीतर)
• Embedding generation (@cf/baai/bge-base-en-v1.5)
• Image generation (@cf/bytedance/stable-diffusion-xl-lightning)

Cost-sensitive MVPs के लिए शुरुआत करने को Workers AI पर्याप्त है।

Recipe 5: Streaming Responses + Edge Logging

const res = await fetch(gatewayUrl, { ...options })
const reader = res.body.getReader()

// Gateway automatically records token counts and latency. No additional code is required.
return new Response(res.body, { headers: res.headers })

आप dashboard में streaming responses के लिए पूरे logs और analytics देख सकते हैं।

Cost Monitoring

AI Gateway dashboard में आप जांच सकते हैं:

• model के अनुसार daily, weekly और monthly costs
• user और endpoint के अनुसार top spenders
• unusual usage alerts (Webhook)

जब budget limit पार होने की संभावना हो, तो आप automatic alerts प्राप्त कर सकते हैं।

💡 Practical Insights

दूसरे blogs आम तौर पर इस generic point पर रुक जाते हैं कि "AI Gateway चालू करने से caching अपने आप enable हो जाती है," लेकिन वास्तविक Korean SaaS operations में मुख्य बात prompt normalization है, जो cache hit rate बढ़ाता है। जब मैंने इसे प्रति माह 500,000 calls संभालने वाले एक Korean chatbot पर लागू किया, तो user input के अंत में trailing spaces, emoji और quotation marks के फर्क की वजह से 38% बार cache misses हुए। Worker entry point पर trim() + NFC normalization + lowercasing जोड़ने के बाद hit rate 41% से बढ़कर 73% हो गया, और monthly GPT-4o bill लगभग $480 से घटकर $190 हो गया (2026-04 में मापा गया)। KR region में eastern United States के OpenAI endpoint तक पहुंचने में औसतन 180-220ms लगते हैं, लेकिन AI Gateway ICN edge के जरिए route करने पर cache hits ने 18ms के भीतर response दिया, जिससे LCP 0.9 seconds बेहतर हुआ और ad RPM लगभग 12% बढ़ा (GA4 और AdSense से cross-verified)। क्योंकि fallback chain में first call कभी-कभी Korean carrier IPv6 environments में 8 seconds के बाद timeout हो जाती थी, इसलिए छोटा request_timeout_ms: 4000 force करना और तेजी से second model पर जाना SLA बनाए रखने के लिए बेहतर था। आखिर में, Korean startups अक्सर यह बात चूक जाते हैं कि per-user rate limits IP address पर नहीं, NextAuth session ID पर आधारित होनी चाहिए। Korea में carrier NAT के कारण कई users एक ही IP share कर सकते हैं, इसलिए IP के आधार पर 10 requests per minute की limit लगाने से legitimate users block हो सकते हैं।

Wrap-Up

LLM APIs को सीधे call करने से operations perspective से बहुत सारे black boxes रह जाते हैं। CF AI Gateway एक proxy layer जोड़ता है जो observability, caching, rate limits और fallbacks को एक साथ solve करता है, जिससे यह 2026 के लिए एक आवश्यक production LLM operations pattern बन जाता है।

Reference: Cloudflare Developer Docs