Panduan Integrasi Kong Router

Kong Router dirancang sebagai drop-in replacement untuk OpenAI SDK dan Anthropic SDK. Anda tidak perlu mengubah logika prompt, parameter, streaming response, atau tool-calling. Cukup arahkan baseURL ke server Kong Router.

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: process.env.KONG_API_KEY, // Kunci: kr_live_...
  baseURL: "https://api.kongrouter.com/v1"
});

const completion = await client.chat.completions.create({
  model: "deepseek-r1", // otomatis fallback bila satu upstream limit
  messages: [{ role: "user", content: "Halo, jelaskan konsep recursion!" }],
  stream: true,
});

for await (const chunk of completion) {
  process.stdout.write(chunk.choices[0]?.delta?.content || "");
}

Sistem Billing Flat KR (PRD §30)

Kong Router tidak mengharuskan Anda memantau rasio harga prompt vs completion token yang membingungkan. Setiap model memiliki tarif flat KR per request.

1 KR = Rp1. Saldo Anda dipotong sesuai tarif tetap model saat request pertama menghasilkan First Token (TTFT).

Jika seluruh upstream gagal merespons, saldo reserved 100% di-release kembali ke akun Anda secara otomatis. Anda tidak pernah membayar untuk request yang gagal.

Combo & Multi-Provider Fallback (PRD §15)

Ketika Anda memanggil model seperti deepseek-r1, Kong Router secara cerdas mengevaluasi pool provider upstream:

Mencoba Provider Primer (misal: DeepSeek Official API)
Jika menerima HTTP 429 (Rate Limit) atau 5xx, router otomatis beralih ke Provider Sekunder (Together AI)
Jika masih terkendala, router melanjutkan ke Provider Tersier (Fireworks AI)
Jika semua upstream habis, router mengembalikan error terstruktur combo_exhausted.