Cloudflare Workers AI 2026 新模型基准测试 — Llama 3.3 vs Mistral Large

Cloudflare Workers AI 在 2026 年新增了 Llama 3.3 70B 和 Mistral Large Instruct。我们将它们与现有的 Llama 3.1 和 3.2 模型一起进行了实际基准测试。

关键结论： 2026 年在 Cloudflare Workers AI 上对 Llama 3.3 70B 和 Mistral Large 进行的对比测试。

测试对象 (2026.4)

• @cf/meta/llama-3.1-8b-instruct — 默认免费模型
• @cf/meta/llama-3.3-70b-instruct — 新的高性能免费模型
• @cf/mistral/mistral-large-instruct — 新的高级付费模型
• @cf/openai/gpt-oss-20b — 基准对比对象

延迟 (TTFT)

基于同一区域 PoP 的首个 token 输出时间：

当需要超低延迟时，8B 模型更合适。70B 模型的延迟大约翻倍，但质量会显著提升。

韩语质量

韩语摘要和翻译测试结果：

Mistral Large 在生成韩语敬语表达时最自然。如果你的主要使用场景是韩语，推荐使用 Mistral。

代码生成

对 100 道 Python 和 TypeScript 算法题进行测试的结果：

在 70B 及以上规模的模型上，面向生产工作的实用代码生成开始具备可行性。

成本 (2026.4)

• Llama 3.1/3.2：每个账户每天免费 10K tokens
• Llama 3.3 70B：付费，约 $0.60 / 100 万 tokens
• Mistral Large：付费，约 $3.00 / 100 万 tokens

免费层足以支撑小规模流量。对于商业服务，从 70B 模型开始，定价才更具实用性。

使用示例

export default {
  async fetch(req: Request, env: Env) {
    const ai = env.AI
    const result = await ai.run(
      "@cf/meta/llama-3.3-70b-instruct",
      {
        messages: [
          { role: "user", content: "한국어 존댓말로 인사해줘" },
        ],
        max_tokens: 100,
      }
    )
    return Response.json(result)
  },
}

推荐组合

• 免费原型：Llama 3.1 8B
• 生产级韩语服务：Mistral Large
• 英语场景高性能：Llama 3.3 70B
• 成本敏感的大批量调用：Llama 3.1 8B + caching

💡 实用洞察

许多韩国 IT 博客只是按模型列出基准分数，但在真实的韩语流量环境中，PoP 位置比模型选择更重要。2026 年 4 月，在比较 ICN（首尔）、NRT（东京）和 HKG（香港）PoP 后，NRT 路由产生的平均 P50 延迟比 ICN 高 70-90ms。即使切换到 8B 模型，错误的 PoP 位置也可能让它比 70B 模型更慢。Cloudflare 官方指南只将其描述为“automatic edge routing”，但对于韩国 ISP（KT、SKB 和 LGU+），流量通常会经由 NRT 出口，因此应在用真实用户流量测量 P99 后再做决定。其次，根据 Statistics Korea 的 2026 数字产业趋势，韩国国内 SaaS 的平均 LLM 成本占比已上升到 23%，因此不加选择地调用 Mistral Large（$3/M），可能只用 50,000 tokens 就耗尽 $20 的月度预算。对于韩国小型网站，通过结合 KV caching（1 小时 TTL）和分类阶段的 8B 路由，让免费模型处理超过 80% 的实际调用，是必要模式。最后，不要只凭五星评分判断韩语敬语质量。应使用与你的领域匹配的语料库，比如房地产、税务或医疗，对 50 个句子进行 A/B test。Mistral Large 在通用对话中排名第一，但在金融术语或法律文本方面，Llama 3.3 70B 往往更准确。

总结

Workers AI 模型在 2026 年快速扩展。如果你需要无需调用外部 API、可在边缘运行的 LLM 基础设施，根据使用场景选择合适模型是最经济的做法。

FAQ

Q1. Cloudflare Workers AI 免费层会继续保留吗？

A: 截至 2026 年，Llama 3.1 8B 每天 10,000 tokens 的免费额度仍然可用。不过，由于这可能会随 Cloudflare 政策变化，最好在官方 dashboard 中查看最新配额。

Q2. Workers AI 和外部 OpenAI API 哪个更便宜？

A: 在相近质量水平（约 70B）下，Workers AI Llama 3.3 70B 的成本为每 100 万 tokens $0.60，而 OpenAI GPT-4o mini 为 $0.15。不过，Workers AI 的优势在于通过边缘执行获得更低延迟，并且没有额外 API 费用。

Q3. Workers AI 可以提供流式响应吗？

A: 可以。如果添加 stream: true 选项，tokens 会通过 Server-Sent Events (SSE) 流式传输。你可以用它实现类似 ChatGPT 的打字效果。

Q4. 纯韩语服务最适合用哪个模型？

A: 根据 2026 年基准测试，Mistral Large 在韩语自然度和敬语准确性方面表现最好。如果关注成本，Llama 3.3 70B 是次优选择。

Q5. Workers AI 会在 Cloudflare 中存储数据吗？

A: 仅存储请求日志，且数据不会被收集用于训练。处理敏感数据时，最好审查 Cloudflare 的 Data Processing Addendum (DPA)。

Q6. Workers AI 也能使用 embedding 模型吗？

A: 可以。@cf/baai/bge-small-en-v1.5 等文本 embedding 模型可用，并可用于构建 RAG（retrieval-augmented generation）管道。

专家提示：Workers AI 生产优化模式

通过 caching 降低 90% 成本：如果反复调用相同 prompt，可以通过在 KV storage 中缓存响应，大幅减少 API 调用。使用 1 小时 TTL，以平衡成本和新鲜度。

模型路由策略：

• 简单分类和标注：Llama 3.1 8B（免费、快速）
• 复杂文本生成和韩语：Mistral Large
• 代码生成和逻辑推理：Llama 3.3 70B

必须进行错误处理：Workers AI 在流量高峰期间可能返回 503 错误。必须实现带指数退避的重试逻辑。

相关指南

• 构建免费的 Cloudflare Workers AI LLM Endpoint — 动手实施指南
• Cloudflare Workers vs Vercel Edge Functions 对比 — 选择边缘运行时的标准

参考： Cloudflare developer documentation