Cara Menghubungkan Ollama di LXC Proxmox ke VS Code untuk Coding AI Lokal
Setelah berhasil menjalankan Llama 3 melalui Ollama di server sendiri, tahap berikutnya adalah mengubah server tersebut menjadi asisten coding lokal.
Dengan konfigurasi yang tepat, model coding seperti Qwen2.5-Coder dapat diakses dari komputer pribadi melalui VS Code. Server Proxmox bertugas menjalankan model AI, sedangkan VS Code digunakan sebagai antarmuka untuk menulis, memperbaiki, dan menjelaskan kode.
Konsep ini memiliki alur kerja yang mirip dengan asisten coding modern. Namun, model yang digunakan tetap berjalan di server milik sendiri dan bukan Codex resmi.
Arsitektur Integrasi Ollama dan VS Code
Alur koneksinya dapat digambarkan sebagai berikut:
- Model AI berjalan di dalam LXC Container Proxmox.
- Ollama menyediakan API pada port 11434.
- VS Code di komputer pribadi mengirimkan permintaan ke IP container.
- Model coding memproses instruksi dan mengirimkan jawaban kembali ke VS Code.
Contoh alamat server:
http://192.168.1.50:11434
Ganti alamat tersebut dengan IP LXC Container milik Anda.
Persiapan Sebelum Integrasi
Pastikan beberapa hal berikut sudah tersedia:
- Ollama sudah terpasang di LXC Container.
- Model Llama atau model coding sudah diunduh.
- LXC Container memiliki alamat IP yang dapat dijangkau komputer pribadi.
- VS Code sudah terpasang di komputer pengguna.
- Port 11434 hanya dibuka untuk jaringan yang diperlukan.
Untuk coding, Qwen2.5-Coder tersedia dalam beberapa ukuran. Model 1.5B atau 3B lebih ringan, sedangkan varian 7B membutuhkan sumber daya lebih besar tetapi biasanya lebih baik untuk percakapan dan perbaikan kode.
Membuka Akses Ollama di LXC Container
Secara bawaan, Ollama hanya menerima koneksi dari komputer yang sama melalui localhost. Agar VS Code dapat mengaksesnya dari komputer lain, ubah alamat bind Ollama pada service systemd.
1. Membuat Override Service Ollama
Masuk ke Console LXC Container, lalu jalankan:
sudo systemctl edit ollama.service
Tambahkan konfigurasi berikut:
[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"
Simpan file tersebut, kemudian jalankan:
sudo systemctl daemon-reload
sudo systemctl restart ollama.service
Alamat 0.0.0.0:11434 membuat Ollama mendengarkan koneksi pada semua interface jaringan container. Karena itu, firewall tetap harus digunakan agar port tersebut tidak terbuka ke jaringan yang tidak diperlukan.
2. Memeriksa Status Service
sudo systemctl status ollama.service
Pastikan status service menunjukkan kondisi aktif atau active (running).
3. Menguji API dari Dalam Container
curl http://127.0.0.1:11434/api/tags
Jika berhasil, Ollama akan menampilkan daftar model yang sudah terpasang.
4. Menguji API dari Komputer Pribadi
Dari komputer yang menjalankan VS Code, jalankan:
curl http://IP_CONTAINER:11434/api/tags
Contohnya:
curl http://192.168.1.50:11434/api/tags
Jika muncul pesan koneksi ditolak, periksa IP container, firewall Proxmox, firewall di dalam container, dan status service Ollama.
Mengunduh Model Coding untuk Ollama
Untuk mengunduh Qwen2.5-Coder versi ringan, gunakan:
ollama pull qwen2.5-coder:1.5b
Untuk model yang lebih besar:
ollama pull qwen2.5-coder:3b
ollama pull qwen2.5-coder:7b
Uji model secara langsung dengan perintah:
ollama run qwen2.5-coder:1.5b
Cobalah memberikan instruksi sederhana, misalnya:
Buatkan fungsi JavaScript untuk memvalidasi alamat email.
Gunakan nama model yang sama persis pada konfigurasi VS Code. Jika model yang diunduh adalah qwen2.5-coder:1.5b, jangan menuliskan hanya qwen2.5-coder:7b di konfigurasi.
Menghubungkan Ollama ke VS Code dengan Continue
Continue adalah ekstensi pihak ketiga yang dapat menghubungkan VS Code dengan berbagai penyedia model, termasuk Ollama.
1. Instal Ekstensi Continue
- Buka VS Code.
- Pilih menu Extensions.
- Cari ekstensi Continue.
- Instal ekstensi tersebut.
- Buka panel Continue setelah instalasi selesai.
2. Buka File config.yaml
Continue saat ini menggunakan konfigurasi YAML sebagai format utama. Buka file konfigurasi Continue, lalu masukkan contoh berikut:
name: Ollama Proxmox
version: 0.0.1
schema: v1
models:
- name: Qwen Coder Lokal
provider: ollama
model: qwen2.5-coder:1.5b
apiBase: http://IP_CONTAINER:11434
roles:
- chat
- edit
- apply
- autocomplete
Ganti IP_CONTAINER dengan alamat IP LXC Container. Contohnya:
apiBase: http://192.168.1.50:11434
Setelah menyimpan konfigurasi, lakukan reload konfigurasi Continue dari VS Code.
3. Menentukan Model untuk Autocomplete
Untuk fitur pelengkapan kode, model kecil biasanya lebih responsif. Anda dapat menggunakan konfigurasi berikut:
name: Qwen Autocomplete Lokal
version: 0.0.1
schema: v1
models:
- name: Qwen2.5-Coder 1.5B
provider: ollama
model: qwen2.5-coder:1.5b
apiBase: http://192.168.1.50:11434
roles:
- autocomplete
Jika respons terasa lambat, gunakan model yang lebih kecil atau kurangi panjang konteks yang dikirim ke server.
Menguji Coding AI dari VS Code
Setelah konfigurasi selesai, coba beberapa tugas sederhana:
- Menjelaskan fungsi kode.
- Mencari penyebab error.
- Membuat fungsi PHP atau JavaScript.
- Mengubah kode dari satu bahasa ke bahasa lain.
- Membuat query SQL.
- Membuat unit test.
- Merapikan struktur kode.
Mulailah dari file kecil agar waktu respons dapat dibandingkan. Jangan langsung mengirim seluruh proyek jika kapasitas server masih terbatas.
Integrasi Ollama dengan Aplikasi Node.js
Selain VS Code, API Ollama dapat digunakan oleh aplikasi Node.js, backend Express, webhook, atau bot otomatisasi.
Contoh berikut menggunakan endpoint /api/chat:
const OLLAMA_URL =
process.env.OLLAMA_URL || "http://192.168.1.50:11434";
async function tanyaCoding(instruksi) {
const response = await fetch(`${OLLAMA_URL}/api/chat`, {
method: "POST",
headers: {
"Content-Type": "application/json"
},
body: JSON.stringify({
model: "qwen2.5-coder:1.5b",
messages: [
{
role: "user",
content: instruksi
}
],
stream: false
})
});
if (!response.ok) {
throw new Error(`Ollama gagal: ${response.status}`);
}
const data = await response.json();
return data.message?.content || "";
}
tanyaCoding(
"Buatkan fungsi JavaScript untuk memformat tanggal ke format Indonesia."
)
.then(jawaban => console.log(jawaban))
.catch(error => console.error(error));
Alamat server sebaiknya disimpan melalui environment variable, bukan ditulis langsung di banyak file aplikasi.
Contoh Environment Variable
OLLAMA_URL=http://192.168.1.50:11434
Dengan cara ini, alamat server dapat diganti tanpa mengubah source code.
Contoh Integrasi untuk Webhook
Integrasi ini dapat digunakan untuk membuat webhook yang menerima instruksi pengguna, mengirimkannya ke model coding, lalu mengembalikan jawaban.
Namun, jangan biarkan pengguna anonim mengirim permintaan tanpa batas. Tambahkan autentikasi, validasi input, pembatasan ukuran prompt, dan rate limit.
Keamanan Port 11434
Mengatur OLLAMA_HOST=0.0.0.0:11434 memang membuat server dapat diakses dari jaringan lain, tetapi konfigurasi ini tidak menyediakan autentikasi bawaan untuk aplikasi publik.
Gunakan perlindungan berikut:
- Batasi akses port 11434 hanya dari IP komputer pribadi.
- Aktifkan firewall pada Proxmox dan LXC Container.
- Jangan melakukan port forwarding langsung dari internet.
- Gunakan reverse proxy jika API perlu diakses melalui domain.
- Tambahkan autentikasi atau token pada reverse proxy.
- Gunakan HTTPS untuk koneksi di luar jaringan lokal.
- Jangan menjalankan aplikasi publik tanpa rate limit.
Untuk penggunaan di jaringan lokal, lebih aman membuka port hanya pada subnet internal daripada mengizinkan seluruh sumber koneksi.
Masalah yang Sering Terjadi
VS Code Tidak Bisa Terhubung
Periksa apakah API dapat diakses dari komputer pribadi:
curl http://IP_CONTAINER:11434/api/tags
Jika gagal, periksa service Ollama, firewall, IP container, dan konfigurasi jaringan Proxmox.
Model Tidak Ditemukan
Jika muncul pesan model tidak ditemukan, lihat model yang tersedia:
ollama list
Kemudian gunakan nama dan tag yang sama pada konfigurasi Continue.
Model Membutuhkan Memori Terlalu Besar
Gunakan varian yang lebih kecil, seperti qwen2.5-coder:1.5b atau qwen2.5-coder:3b. Anda juga dapat mengurangi panjang konteks pada konfigurasi Continue.
Autocomplete Terasa Lambat
Autocomplete membutuhkan respons cepat. Gunakan model kecil dan hindari mengirim konteks proyek yang terlalu besar pada setiap permintaan.
Kesimpulan
Ollama yang berjalan di LXC Container Proxmox dapat dikembangkan menjadi mesin coding AI pribadi. Dengan membuka akses jaringan secara terbatas, VS Code dapat menggunakan model seperti Qwen2.5-Coder yang berjalan di server sendiri.
Selain Continue, API Ollama juga dapat dihubungkan ke Node.js, Express, webhook, bot WhatsApp, dan aplikasi internal.
Keberhasilan integrasi tidak hanya ditentukan oleh model, tetapi juga oleh konfigurasi jaringan, kapasitas RAM atau GPU, kecocokan tag model, dan keamanan port API.
FAQ
Apakah Ollama di Proxmox bisa digunakan dari VS Code?
Bisa. VS Code dapat terhubung ke API Ollama menggunakan IP LXC Container dan port 11434.
Model apa yang cocok untuk coding di Ollama?
Qwen2.5-Coder dapat digunakan untuk coding. Varian 1.5B cocok untuk autocomplete ringan, sedangkan varian 3B atau 7B lebih sesuai untuk percakapan dan perbaikan kode yang lebih kompleks.
Apakah port 11434 aman dibuka ke internet?
Jangan membuka port tersebut secara langsung ke internet. Gunakan firewall, autentikasi, reverse proxy, HTTPS, dan pembatasan akses.
Apakah Continue harus dipasang di server Proxmox?
Tidak. Continue dipasang di VS Code pada komputer pribadi. Ollama dan model AI tetap berjalan di LXC Container.
Apakah integrasi ini sama dengan Codex?
Alur penggunaannya dapat menyerupai asisten coding, tetapi model yang digunakan adalah model lokal dari Ollama dan bukan Codex resmi.



