IT기술· 5분 읽기
🆓
Cloudflare Workers AI로 무료 LLM 엔드포인트 구축하기
Cloudflare Workers AI로 완전 무료 LLM API 엔드포인트 구축 실전. 셋업, 프록시 패턴, 레이트리밋, 사이드 프로젝트 MVP용 가이드.
Cloudflare Workers AI로 무료 LLM 엔드포인트 구축하기
CF Workers AI는 계정당 매일 10,000 토큰 무료. 사이드 프로젝트·MVP·프로토타입에서 LLM을 무료로 쓸 수 있는 강력한 옵션입니다. 완전한 엔드포인트 구축 가이드.
사전 준비
- Cloudflare 계정 (무료 플랜 OK)
- wrangler CLI:
npm install -g wrangler wrangler login으로 인증
1단계: 프로젝트 셋업
bash
mkdir my-llm-api && cd my-llm-api
npm init -y
npm install --save-dev wrangler @cloudflare/workers-typeswrangler.toml:
toml
name = "my-llm-api"
main = "src/index.ts"
compatibility_date = "2026-04-01"
[ai]
binding = "AI"AI 바인딩 추가하면 Workers 내에서 env.AI 사용 가능.
2단계: 기본 엔드포인트
ts
// src/index.ts
export default {
async fetch(req: Request, env: Env): Promise<Response> {
if (req.method !== "POST") return new Response("POST only", { status: 405 })
const { prompt } = await req.json<{ prompt: string }>()
if (!prompt) return new Response("prompt required", { status: 400 })
const result = await env.AI.run(
"@cf/meta/llama-3.1-8b-instruct",
{
messages: [{ role: "user", content: prompt }],
max_tokens: 500,
}
)
return Response.json(result)
},
}
interface Env {
AI: Ai
}3단계: 배포
bash
wrangler deploy약 5초 후 https://my-llm-api.{계정}.workers.dev에서 즉시 사용 가능.
4단계: 테스트
bash
curl -X POST https://my-llm-api.{계정}.workers.dev \
-H "Content-Type: application/json" \
-d '{"prompt": "자기소개 짧게"}'추가 기능: 스트리밍 응답
ts
const stream = await env.AI.run(
"@cf/meta/llama-3.1-8b-instruct",
{
messages: [{ role: "user", content: prompt }],
stream: true,
}
)
return new Response(stream, {
headers: { "Content-Type": "text/event-stream" },
})추가 기능: 레이트리밋
ts
// CF KV로 IP당 분당 10회 제한
const ip = req.headers.get("cf-connecting-ip")
const key = `rate:${ip}:${Math.floor(Date.now() / 60000)}`
const count = parseInt(await env.KV.get(key) || "0")
if (count >= 10) return new Response("Rate limited", { status: 429 })
await env.KV.put(key, String(count + 1), { expirationTtl: 120 })사용 가능한 무료 모델
@cf/meta/llama-3.1-8b-instruct— 범용@cf/meta/llama-3.2-3b-instruct— 빠른 응답@cf/mistral/mistral-7b-instruct-v0.1— 영어 품질 좋음@cf/baai/bge-base-en-v1.5— 임베딩@cf/bytedance/stable-diffusion-xl-lightning— 이미지 생성
활용 사례
- 1챗봇 MVP: 사이드 프로젝트 데모용
- 2문서 요약 API: 내부 도구
- 3임베딩 생성: 벡터 DB용
- 4번역기: 간단한 언어 변환
한계
- 하루 10K 토큰: 대략 쿼리 30~50회
- 응답 품질: 유료 GPT-4o·Claude Opus 대비 떨어짐
- 컨텍스트 제한: 모델별 4K~32K 토큰
마무리
CF Workers AI는 "LLM API를 무료로 시작"하는 가장 빠른 길입니다. 초기 검증·프로토타입에선 충분한 품질과 한도. 트래픽 늘면 자연스럽게 유료 모델로 업그레이드 (코드 3줄만 수정). 사이드 프로젝트 시작하는 개발자에게 2026년 최고의 무료 자산 중 하나.
🔧 이 글과 관련된 무료 도구
이 글과 관련된 상품 (CloudflareWorkersAI)[광고/제휴]
이 포스팅은 쿠팡 파트너스, 아마존 어소시에이트, 알리익스프레스 제휴 활동의 일환으로, 이에 따른 일정액의 수수료를 제공받습니다. 이는 상품 가격에 영향을 주지 않습니다.
As an Amazon Associate, Coupang Partner, and AliExpress affiliate, I earn from qualifying purchases at no extra cost to you.