Sains & Teknologi

Cara Menghubungkan Ollama Proxmox ke VS Code untuk Coding AI Lokal

Cara Menghubungkan Ollama Proxmox ke VS Code untuk Coding AI Lokal

Cara Menghubungkan Ollama di LXC Proxmox ke VS Code untuk Coding AI Lokal

Setelah berhasil menjalankan Llama 3 melalui Ollama di server sendiri, tahap berikutnya adalah mengubah server tersebut menjadi asisten coding lokal.

Dengan konfigurasi yang tepat, model coding seperti Qwen2.5-Coder dapat diakses dari komputer pribadi melalui VS Code. Server Proxmox bertugas menjalankan model AI, sedangkan VS Code digunakan sebagai antarmuka untuk menulis, memperbaiki, dan menjelaskan kode.

Konsep ini memiliki alur kerja yang mirip dengan asisten coding modern. Namun, model yang digunakan tetap berjalan di server milik sendiri dan bukan Codex resmi.

Arsitektur Integrasi Ollama dan VS Code

Alur koneksinya dapat digambarkan sebagai berikut:

  1. Model AI berjalan di dalam LXC Container Proxmox.
  2. Ollama menyediakan API pada port 11434.
  3. VS Code di komputer pribadi mengirimkan permintaan ke IP container.
  4. Model coding memproses instruksi dan mengirimkan jawaban kembali ke VS Code.

Contoh alamat server:

http://192.168.1.50:11434

Ganti alamat tersebut dengan IP LXC Container milik Anda.

Persiapan Sebelum Integrasi

Pastikan beberapa hal berikut sudah tersedia:

  • Ollama sudah terpasang di LXC Container.
  • Model Llama atau model coding sudah diunduh.
  • LXC Container memiliki alamat IP yang dapat dijangkau komputer pribadi.
  • VS Code sudah terpasang di komputer pengguna.
  • Port 11434 hanya dibuka untuk jaringan yang diperlukan.

Untuk coding, Qwen2.5-Coder tersedia dalam beberapa ukuran. Model 1.5B atau 3B lebih ringan, sedangkan varian 7B membutuhkan sumber daya lebih besar tetapi biasanya lebih baik untuk percakapan dan perbaikan kode.

Membuka Akses Ollama di LXC Container

Secara bawaan, Ollama hanya menerima koneksi dari komputer yang sama melalui localhost. Agar VS Code dapat mengaksesnya dari komputer lain, ubah alamat bind Ollama pada service systemd.

1. Membuat Override Service Ollama

Masuk ke Console LXC Container, lalu jalankan:

sudo systemctl edit ollama.service

Tambahkan konfigurasi berikut:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Simpan file tersebut, kemudian jalankan:

sudo systemctl daemon-reload
sudo systemctl restart ollama.service

Alamat 0.0.0.0:11434 membuat Ollama mendengarkan koneksi pada semua interface jaringan container. Karena itu, firewall tetap harus digunakan agar port tersebut tidak terbuka ke jaringan yang tidak diperlukan.

2. Memeriksa Status Service

sudo systemctl status ollama.service

Pastikan status service menunjukkan kondisi aktif atau active (running).

3. Menguji API dari Dalam Container

curl http://127.0.0.1:11434/api/tags

Jika berhasil, Ollama akan menampilkan daftar model yang sudah terpasang.

4. Menguji API dari Komputer Pribadi

Dari komputer yang menjalankan VS Code, jalankan:

curl http://IP_CONTAINER:11434/api/tags

Contohnya:

curl http://192.168.1.50:11434/api/tags

Jika muncul pesan koneksi ditolak, periksa IP container, firewall Proxmox, firewall di dalam container, dan status service Ollama.

Mengunduh Model Coding untuk Ollama

Untuk mengunduh Qwen2.5-Coder versi ringan, gunakan:

ollama pull qwen2.5-coder:1.5b

Untuk model yang lebih besar:

ollama pull qwen2.5-coder:3b
ollama pull qwen2.5-coder:7b

Uji model secara langsung dengan perintah:

ollama run qwen2.5-coder:1.5b

Cobalah memberikan instruksi sederhana, misalnya:

Buatkan fungsi JavaScript untuk memvalidasi alamat email.

Gunakan nama model yang sama persis pada konfigurasi VS Code. Jika model yang diunduh adalah qwen2.5-coder:1.5b, jangan menuliskan hanya qwen2.5-coder:7b di konfigurasi.

Menghubungkan Ollama ke VS Code dengan Continue

Continue adalah ekstensi pihak ketiga yang dapat menghubungkan VS Code dengan berbagai penyedia model, termasuk Ollama.

1. Instal Ekstensi Continue

  1. Buka VS Code.
  2. Pilih menu Extensions.
  3. Cari ekstensi Continue.
  4. Instal ekstensi tersebut.
  5. Buka panel Continue setelah instalasi selesai.

2. Buka File config.yaml

Continue saat ini menggunakan konfigurasi YAML sebagai format utama. Buka file konfigurasi Continue, lalu masukkan contoh berikut:

name: Ollama Proxmox
version: 0.0.1
schema: v1

models:
  - name: Qwen Coder Lokal
    provider: ollama
    model: qwen2.5-coder:1.5b
    apiBase: http://IP_CONTAINER:11434
    roles:
      - chat
      - edit
      - apply
      - autocomplete

Ganti IP_CONTAINER dengan alamat IP LXC Container. Contohnya:

apiBase: http://192.168.1.50:11434

Setelah menyimpan konfigurasi, lakukan reload konfigurasi Continue dari VS Code.

3. Menentukan Model untuk Autocomplete

Untuk fitur pelengkapan kode, model kecil biasanya lebih responsif. Anda dapat menggunakan konfigurasi berikut:

name: Qwen Autocomplete Lokal
version: 0.0.1
schema: v1

models:
  - name: Qwen2.5-Coder 1.5B
    provider: ollama
    model: qwen2.5-coder:1.5b
    apiBase: http://192.168.1.50:11434
    roles:
      - autocomplete

Jika respons terasa lambat, gunakan model yang lebih kecil atau kurangi panjang konteks yang dikirim ke server.

Menguji Coding AI dari VS Code

Setelah konfigurasi selesai, coba beberapa tugas sederhana:

  • Menjelaskan fungsi kode.
  • Mencari penyebab error.
  • Membuat fungsi PHP atau JavaScript.
  • Mengubah kode dari satu bahasa ke bahasa lain.
  • Membuat query SQL.
  • Membuat unit test.
  • Merapikan struktur kode.

Mulailah dari file kecil agar waktu respons dapat dibandingkan. Jangan langsung mengirim seluruh proyek jika kapasitas server masih terbatas.

Integrasi Ollama dengan Aplikasi Node.js

Selain VS Code, API Ollama dapat digunakan oleh aplikasi Node.js, backend Express, webhook, atau bot otomatisasi.

Contoh berikut menggunakan endpoint /api/chat:

const OLLAMA_URL =
  process.env.OLLAMA_URL || "http://192.168.1.50:11434";

async function tanyaCoding(instruksi) {
  const response = await fetch(`${OLLAMA_URL}/api/chat`, {
    method: "POST",
    headers: {
      "Content-Type": "application/json"
    },
    body: JSON.stringify({
      model: "qwen2.5-coder:1.5b",
      messages: [
        {
          role: "user",
          content: instruksi
        }
      ],
      stream: false
    })
  });

  if (!response.ok) {
    throw new Error(`Ollama gagal: ${response.status}`);
  }

  const data = await response.json();
  return data.message?.content || "";
}

tanyaCoding(
  "Buatkan fungsi JavaScript untuk memformat tanggal ke format Indonesia."
)
  .then(jawaban => console.log(jawaban))
  .catch(error => console.error(error));

Alamat server sebaiknya disimpan melalui environment variable, bukan ditulis langsung di banyak file aplikasi.

Contoh Environment Variable

OLLAMA_URL=http://192.168.1.50:11434

Dengan cara ini, alamat server dapat diganti tanpa mengubah source code.

Contoh Integrasi untuk Webhook

Integrasi ini dapat digunakan untuk membuat webhook yang menerima instruksi pengguna, mengirimkannya ke model coding, lalu mengembalikan jawaban.

Namun, jangan biarkan pengguna anonim mengirim permintaan tanpa batas. Tambahkan autentikasi, validasi input, pembatasan ukuran prompt, dan rate limit.

Keamanan Port 11434

Mengatur OLLAMA_HOST=0.0.0.0:11434 memang membuat server dapat diakses dari jaringan lain, tetapi konfigurasi ini tidak menyediakan autentikasi bawaan untuk aplikasi publik.

Gunakan perlindungan berikut:

  • Batasi akses port 11434 hanya dari IP komputer pribadi.
  • Aktifkan firewall pada Proxmox dan LXC Container.
  • Jangan melakukan port forwarding langsung dari internet.
  • Gunakan reverse proxy jika API perlu diakses melalui domain.
  • Tambahkan autentikasi atau token pada reverse proxy.
  • Gunakan HTTPS untuk koneksi di luar jaringan lokal.
  • Jangan menjalankan aplikasi publik tanpa rate limit.

Untuk penggunaan di jaringan lokal, lebih aman membuka port hanya pada subnet internal daripada mengizinkan seluruh sumber koneksi.

Masalah yang Sering Terjadi

VS Code Tidak Bisa Terhubung

Periksa apakah API dapat diakses dari komputer pribadi:

curl http://IP_CONTAINER:11434/api/tags

Jika gagal, periksa service Ollama, firewall, IP container, dan konfigurasi jaringan Proxmox.

Model Tidak Ditemukan

Jika muncul pesan model tidak ditemukan, lihat model yang tersedia:

ollama list

Kemudian gunakan nama dan tag yang sama pada konfigurasi Continue.

Model Membutuhkan Memori Terlalu Besar

Gunakan varian yang lebih kecil, seperti qwen2.5-coder:1.5b atau qwen2.5-coder:3b. Anda juga dapat mengurangi panjang konteks pada konfigurasi Continue.

Autocomplete Terasa Lambat

Autocomplete membutuhkan respons cepat. Gunakan model kecil dan hindari mengirim konteks proyek yang terlalu besar pada setiap permintaan.

Kesimpulan

Ollama yang berjalan di LXC Container Proxmox dapat dikembangkan menjadi mesin coding AI pribadi. Dengan membuka akses jaringan secara terbatas, VS Code dapat menggunakan model seperti Qwen2.5-Coder yang berjalan di server sendiri.

Selain Continue, API Ollama juga dapat dihubungkan ke Node.js, Express, webhook, bot WhatsApp, dan aplikasi internal.

Keberhasilan integrasi tidak hanya ditentukan oleh model, tetapi juga oleh konfigurasi jaringan, kapasitas RAM atau GPU, kecocokan tag model, dan keamanan port API.

FAQ

Apakah Ollama di Proxmox bisa digunakan dari VS Code?

Bisa. VS Code dapat terhubung ke API Ollama menggunakan IP LXC Container dan port 11434.

Model apa yang cocok untuk coding di Ollama?

Qwen2.5-Coder dapat digunakan untuk coding. Varian 1.5B cocok untuk autocomplete ringan, sedangkan varian 3B atau 7B lebih sesuai untuk percakapan dan perbaikan kode yang lebih kompleks.

Apakah port 11434 aman dibuka ke internet?

Jangan membuka port tersebut secara langsung ke internet. Gunakan firewall, autentikasi, reverse proxy, HTTPS, dan pembatasan akses.

Apakah Continue harus dipasang di server Proxmox?

Tidak. Continue dipasang di VS Code pada komputer pribadi. Ollama dan model AI tetap berjalan di LXC Container.

Apakah integrasi ini sama dengan Codex?

Alur penggunaannya dapat menyerupai asisten coding, tetapi model yang digunakan adalah model lokal dari Ollama dan bukan Codex resmi.