Panduan Menggunakan API LLM pada Platform Chat-AI UB

Chat-AI UB (https://chat-ai.ub.ac.id/) adalah sebuah platform kecerdasan artifisial berbasis teks berbasis LLM (Large Language Model) yang dirancang khusus untuk mendukung kegiatan civitas akademika Universitas Brawijaya, termasuk dosen, mahasiswa, dan tenaga kependidikan. Platform ini memiliki fungsi serupa dengan ChatGPT dari OpenAI, namun bersifat lokal dan dioptimalkan untuk kebutuhan akademik dan institusional Universitas Brawijaya.

Platform ini tidak hanya dapat digunakan melalui antarmuka web, tetapi juga menawarkan kemampuan akses programable melalui API (Application Programming Interface) dengan alamat https://api-llm.ub.ac.id/. Fitur ini memungkinkan pengguna yang terautentikasi untuk memanfaatkan kemampuan Chat-AI UB dalam berbagai aplikasi, seperti pembuatan otomatisasi, integrasi dengan sistem lain, atau pengembangan proyek berbasis kecerdasan artifisial.

Siapa yang dapat menggunakan API ini?
Hanya pengguna yang telah terautentikasi dalam sistem Chat-AI UB yang dapat mengakses API. Panduan ini disusun untuk membantu civitas akademika memahami proses autentikasi, pembuatan API Key, dan cara menggunakan API ini untuk mendukung aktivitas pengembangan aplikasi atau penelitian.

Persiapan: Autentikasi dan Pembuatan API Key

Untuk menggunakan API dari Chat-AI UB, langkah pertama adalah mendapatkan API Key, yang berfungsi sebagai token identifikasi untuk mengakses layanan. Berikut adalah langkah-langkahnya:

1. Login ke Akun Chat-AI UB
  • Akses platform Chat-AI UB melalui https://chat-ai.ub.ac.id.
  • Masuk menggunakan kredensial Single Sign-On (SSO) Universitas Brawijaya Anda.
2. Akses Menu API Key
  • Setelah berhasil login, cari ikon akun di bagian pojok kiri bawah layar. Klik ikon tersebut.
  • Pilih menu Settings > Accounts > API Keys
3. Mendapatkan API Key
  • Di halaman API Keys, Anda akan menemukan dua opsi untuk kunci akses:
    1. JWT Token: Token yang digunakan untuk autentikasi berbasis JSON Web Token.
    2. API Key: Kunci akses sederhana berbasis string unik.
  • Klik tombol Generate pada jenis kunci yang diinginkan. Kunci yang dihasilkan dapat langsung disalin, digunakan, atau disimpan untuk kebutuhan integrasi.
  • Catatan Penting:
    • Simpan API Key dengan aman, karena akan digunakan dalam setiap permintaan ke API.
    • Jangan membagikan API Key Anda kepada pihak lain.
4. Daftar API dan Endpoint
  • Retrieve All Models
    • Endpoint: GET /api/models
    • Deskripsi: Mengambil daftar semua model yang tersedia atau ditambahkan melalui Chat-AI UB.
    • Contoh: 

curl -H "Authorization: Bearer YOUR_API_KEY" https://api-llm.ub.ac.id/api/models
  • Chat Completions
    • Endpoint: POST /api/chat/completions
    • Deskripsi: Endpoint ini untuk menghasilkan respons berbasis model LLM seperti berdasarkan model yang dipilih.
    • Contoh:

curl -X POST https://api-llm.ub.ac.id/api/chat/completions \
-H "Authorization: Bearer YOUR_API_KEY" \
-H "Content-Type: application/json" \
-d '{
   "model": "nemotron:70b-instruct-q8_0",
   "messages": [
      {
         "role": "user",
         "content": "Berikan penjelasan tentang cara kerja LLM secara singkat"
      }
            ]
    }'

Contoh kode Python: 


import requests

def chat_completion(token, model, query):
    url = 'https://api-llm.ub.ac.id/api/chat/completions'
    headers = {
        'Authorization': f'Bearer {token}',
        'Content-Type': 'application/json'
    }
    payload = {
        'model': model,
        'messages': [{'role': 'user', 'content': query}]
    }
    response = requests.post(url, headers=headers, json=payload)
    return response.json()