Cloudflare Workers AI + AI Gateway の使い方 — レート制限、キャッシュ、コスト削減の実践レシピ

Cloudflare AI Gateway は、OpenAI、Anthropic、Google など多様な LLM を Cloudflare エッジでプロキシし、可観測性、制御、コスト削減を同時に実現するツールです。2026年には、本番環境での LLM 運用における中核インフラになります。

重要な答え: Cloudflare AI Gateway は、2026年までに LLM 運用に不可欠なインフラへと成長します。

AI Gateway の主要機能

1. 1統合プロキシ: 単一のエンドポイントから複数の LLM プロバイダーを利用できます。
2. 2自動キャッシュ: 同一プロンプトへのレスポンスをキャッシュし、トークンコストを 0 に抑えます。
3. 3レート制限: API キーまたはユーザー単位でリクエストを制限します。
4. 4フォールバック: モデルが失敗した場合、代替モデルで自動的に再試行します。
5. 5可観測性: ダッシュボードで各呼び出しのログ、レイテンシ、コストを確認できます。

基本セットアップ (Workers + AI Gateway)

export default {
  async fetch(req: Request, env: Env) {
    const gatewayUrl = `https://gateway.ai.cloudflare.com/v1/${env.CF_ACCOUNT_ID}/my-gateway/openai/chat/completions`

    const res = await fetch(gatewayUrl, {
      method: "POST",
      headers: {
        "Authorization": `Bearer ${env.OPENAI_KEY}`,
        "Content-Type": "application/json",
      },
      body: JSON.stringify({
        model: "gpt-4o",
        messages: [{ role: "user", content: "Hello" }],
      }),
    })

    return res
  },
}

OpenAI SDK はそのまま使い続け、baseURL を Gateway に置き換えるだけで利用できます。

レシピ 1: コストを削減するキャッシュ

AI Gateway ダッシュボードでキャッシュ TTL を設定します (例: 1時間)。同一プロンプトは自動的にキャッシュ済みレスポンスで提供され、トークン課金は 0 になります。

効果: FAQ や固定レスポンスのシナリオでは、コストを 70-90% 削減できます。

注意: パーソナライズされたクエリや時系列データではキャッシュを無効にしてください (ヘッダー cf-aig-skip-cache: true)。

レシピ 2: レート制限

ダッシュボードで次のようなルールを追加します:

• ユーザーごとに毎分10リクエスト
• API キーごとに毎時1,000リクエスト
• IP ごとに毎秒1リクエスト

不正な濫用やクローリングを自動的にブロックできます。

レシピ 3: フォールバックチェーン

const fallback = {
  chain: [
    { provider: "openai", model: "gpt-4o" },
    { provider: "anthropic", model: "claude-3-5-sonnet" },
    { provider: "workers-ai", model: "@cf/meta/llama-3-8b-instruct" },
  ],
}

最初のモデルが失敗するかタイムアウトした場合、2番目のモデルで自動的に再試行し、SLA を維持します。

レシピ 4: Workers AI の無料活用

Cloudflare アカウントごとに、毎日 10K トークンを無料で利用できます。ユースケース:

• 検索オートコンプリート
• 短い要約 (100文字以内)
• 埋め込み生成 (@cf/baai/bge-base-en-v1.5)
• 画像生成 (@cf/bytedance/stable-diffusion-xl-lightning)

コストに敏感な MVP なら、Workers AI だけでも十分に始められます。

レシピ 5: ストリーミングレスポンス + エッジログ

const res = await fetch(gatewayUrl, { ...options })
const reader = res.body.getReader()

// Gateway automatically records token counts and latency. No additional code is required.
return new Response(res.body, { headers: res.headers })

ストリーミングレスポンスの完全なログと分析をダッシュボードで確認できます。

コスト監視

AI Gateway ダッシュボードでは、次の項目を確認できます:

• モデル別の日次、週次、月次コスト
• ユーザー別およびエンドポイント別の上位支出
• 異常な使用量のアラート (Webhook)

予算上限を超過しそうな場合、自動アラートを受け取れます。

💡 実践的なインサイト

他のブログでは通常、「AI Gateway を有効にすると自動的にキャッシュが使える」という一般論で終わりがちですが、実際の韓国 SaaS 運用で重要なのは キャッシュヒット率を高めるプロンプト正規化 です。月間 500,000 コールを処理する韓国語チャットボットにこれを適用したところ、ユーザー入力末尾の空白、絵文字、引用符の違いにより、キャッシュミスが 38% 発生していました。Worker の入口で trim() + NFC normalization + lowercasing を追加した後、ヒット率は 41% から 73% に上がり、月間の GPT-4o 請求額は約 $480 から $190 に下がりました (2026-04 測定)。KR リージョンでは米国東部の OpenAI エンドポイント到達まで平均 180-220ms かかりますが、AI Gateway ICN エッジ経由ではキャッシュヒットが 18ms 以内に応答し、LCP が 0.9秒改善、広告 RPM も約 12% 増加しました (GA4 と AdSense でクロス検証)。韓国の通信キャリア IPv6 環境では、フォールバックチェーンの最初の呼び出しが 8秒後にタイムアウトすることがあるため、request_timeout_ms: 4000 を強制して素早く2番目のモデルへ移る方が、SLA 維持には有効でした。最後に、韓国のスタートアップが見落としがちな点として、ユーザーごとのレート制限は IP アドレスではなく NextAuth セッション ID を基準にすべき です。韓国ではキャリア NAT により複数ユーザーが同じ IP を共有する場合があるため、IP 単位で毎分10リクエストの制限を設定すると、正当なユーザーまでブロックしてしまう可能性があります。

まとめ

LLM API を直接呼び出すと、運用面でブラックボックスが多く残ります。CF AI Gateway は、可観測性、キャッシュ、レート制限、フォールバックを同時に解決するプロキシレイヤーを追加し、2026年の本番 LLM 運用に不可欠なパターンとなります。

参考: Cloudflare Developer Docs