AI Gateway Docs
Docs Gateway
Internal Guide · EONS reIMAGINED

Hướng dẫn tạo Virtual Key trên Eons AI Gateway

Tài liệu này hướng dẫn từng bước để đăng nhập, tạo key, cấu hình fallback chain và lưu key an toàn trước khi dùng API tại https://llm.eonsr.net/v1.

1

Vào gateway và đăng nhập

Truy cập portal chính trước, sau đó đăng nhập để quản lý Virtual Keys.

1

Mở trang chủ Eons AI Gateway

Vào https://llm.eonsr.net. Kiểm tra trạng thái Online ở góc phải để chắc chắn gateway đang hoạt động.

Trang chủ Eons AI Gateway
Mở portal chính của Eons AI Gateway trước khi đăng nhập.
2

Mở Login và đăng nhập

Nhấn Login và đăng nhập bằng tài khoản nội bộ được cấp quyền.

Nếu bạn không thấy menu Virtual Keys sau khi đăng nhập, hãy liên hệ admin để kiểm tra quyền team/organization.
2

Tạo Virtual Key mới

Virtual Key là key bạn dùng để gọi API OpenAI-compatible của Eons AI Gateway.

3

Vào Virtual Keys → Create New Key

Trong sidebar bên trái, chọn Virtual Keys, sau đó nhấn nút + Create New Key.

LiteLLM UI ở trang Virtual Keys với nút Create New Key
Danh sách key hiện tại sẽ hiển thị ở bảng bên dưới. Không dùng chung key của người khác.
3

Thiết lập các trường cần thiết

Điền đúng Team, Key Name, Models và Key Type để key có quyền gọi model phù hợp.

Owned By
You — key thuộc về tài khoản đang đăng nhập.
Organization
EONSR — organization mặc định của hệ thống.
Team
Chọn team được cấp quyền, ví dụ Tech.
Key Name
Đặt tên dễ nhận biết, ví dụ project-name-dev hoặc automation-prod.
Models
Chọn All Team Models nếu cần dùng tất cả model team được cấp.
Key Type
Giữ AI APIs để gọi chat completions/embeddings/images.
Form tạo key với Team, Key Name và Models được đánh dấu
Các vùng được đánh dấu là những trường cần kiểm tra trước khi tạo key.
4

Thiết lập fallback chain trong Optional Settings

Fallback giúp request tự động chuyển sang model dự phòng khi model chính lỗi, quá tải hoặc timeout.

4

Mở Optional Settings → Router Settings → Fallbacks

Trong form tạo key, mở Optional Settings, vào phần Router Settings và chọn tab Fallbacks.

1
gemini-3-flash
Primary model — model chính khi request bắt đầu.
↓ nếu lỗi
2
gemini-2.5-flash
Fallback nhanh, chi phí thấp, phù hợp đa số tác vụ.
3
gemini-2.5-flash-lite
Dự phòng nhẹ hơn nếu cần tiếp tục giảm tải.
4
gemini-2.5-pro
Dự phòng mạnh hơn cho tác vụ cần chất lượng cao.
Optional Settings với Router Settings và Fallback Chain
Ví dụ: chọn gemini-3-flash làm Primary Model. Nếu model này fail, gateway tự thử các model trong Fallback Chain theo thứ tự.
Gợi ý: Fallback Chain cho phép chọn nhiều model. Hãy đặt model rẻ/nhanh trước nếu ưu tiên tốc độ, hoặc đặt model mạnh hơn trước nếu ưu tiên chất lượng.
5

Tạo key và lưu ngay lập tức

Sau khi cấu hình xong, tạo key và copy Virtual Key trước khi đóng popup.

5

Nhấn Create Key

Kiểm tra lại các trường, sau đó nhấn Create Key ở góc dưới bên phải modal.

Modal tạo key với nút Create Key ở góc dưới bên phải
6

Copy Virtual Key trong popup Save your Key

Khi popup Save your Key xuất hiện, nhấn Copy Virtual Key và lưu key vào nơi an toàn.

Key chỉ hiện 1 lần. LiteLLM sẽ không cho xem lại secret key sau khi đóng popup. Nếu mất key, bạn cần tạo key mới.
Popup Save your Key với nút Copy Virtual Key
Không chụp màn hình hoặc gửi key qua chat công khai. Ảnh minh họa đã che key.
6

Sử dụng key để gọi API

Eons AI Gateway tương thích với OpenAI API. Dùng Base URL https://llm.eonsr.net/v1.

cURL quick testOpenAI-compatible
curl https://llm.eonsr.net/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "gemini-3-flash",
    "messages": [{"role": "user", "content": "Hello!"}],
    "temperature": 0.7
  }'
Python OpenAI SDKbase_url
from openai import OpenAI

client = OpenAI(
    api_key="YOUR_API_KEY",
    base_url="https://llm.eonsr.net/v1",
)

response = client.chat.completions.create(
    model="gemini-3-flash",
    messages=[{"role": "user", "content": "Hello!"}],
)

print(response.choices[0].message.content)
Tip: Khi đã cấu hình fallback chain, code vẫn gọi primary model như bình thường. Gateway sẽ tự xử lý fallback phía sau nếu model chính fail.
7

Checklist bảo mật trước khi dùng

API key là credential nhạy cảm. Hãy lưu và sử dụng theo nguyên tắc tối thiểu quyền truy cập.

Lưu key trong password manager, secret manager hoặc file .env đã nằm trong .gitignore.
Không commit key lên Git, không paste key vào issue, Slack, email hoặc tài liệu công khai.
Đặt tên key theo project/môi trường để dễ audit usage và xoá đúng key khi cần.
Nếu nghi ngờ lộ key, xoá key cũ trong Virtual Keys và tạo key mới ngay.
Không dùng chung key cá nhân giữa nhiều người. Mỗi user/project nên có key riêng để theo dõi usage.