Sains & Teknologi

VPS untuk Ollama: Spesifikasi Server, Instalasi, dan Keamanan AI Lokal

VPS untuk Ollama: Spesifikasi Server, Instalasi, dan Keamanan AI Lokal

VPS untuk Ollama: Spesifikasi Server, Instalasi, dan Keamanan AI Lokal

VPS untuk Ollama menjadi pilihan menarik bagi pengguna yang ingin menjalankan large language model atau LLM di server sendiri. Dengan VPS, Ollama dapat diakses secara terpusat dari laptop, komputer kantor, aplikasi Node.js, atau code editor seperti Visual Studio Code.

Namun, pemilihan VPS tidak boleh hanya berdasarkan harga. Performa Ollama dipengaruhi oleh jumlah RAM, kemampuan CPU, dukungan GPU, kapasitas penyimpanan, kecepatan jaringan, dan ukuran model yang digunakan.

Artikel ini membahas cara memilih server untuk Ollama, spesifikasi yang perlu diperhatikan, langkah instalasi di Ubuntu, cara mengakses API, serta tips mengamankan endpoint Ollama.

Apa Itu Ollama?

Ollama adalah platform untuk menjalankan model AI secara lokal atau di server pribadi. Ollama menyediakan antarmuka command line dan API sehingga model dapat digunakan melalui terminal, aplikasi web, Node.js, Python, maupun integrasi code editor.

Model yang dijalankan dapat digunakan untuk berbagai kebutuhan, seperti:

  • Asisten coding.
  • Pembuatan dan pemeriksaan kode program.
  • Ringkasan dokumen.
  • Pembuatan konten internal.
  • Chatbot pribadi.
  • Pencarian informasi dari dokumen lokal.
  • Otomasi tugas melalui API.

Kapan VPS untuk Ollama Dibutuhkan?

Menjalankan Ollama di VPS cocok jika Anda ingin model AI tersedia selama 24 jam tanpa bergantung pada laptop pribadi. Server juga dapat digunakan oleh beberapa aplikasi atau pengguna yang berada di jaringan berbeda.

VPS untuk Ollama biasanya berguna untuk:

  • Menjalankan chatbot internal perusahaan.
  • Membuat asisten coding di server pribadi.
  • Menghubungkan AI ke aplikasi Node.js atau PHP.
  • Mengakses model dari beberapa komputer.
  • Mengolah dokumen tanpa mengunggahnya ke layanan publik.
  • Membangun eksperimen AI di Proxmox atau LXC.

Spesifikasi VPS untuk Ollama

Tidak ada satu spesifikasi yang cocok untuk semua model. Model kecil yang terkuantisasi memiliki kebutuhan berbeda dengan model besar yang membutuhkan konteks panjang.

Kebutuhan Spesifikasi awal Cocok untuk
Uji coba CPU 4 vCPU, RAM 8 GB, SSD 40 GB Model kecil dan eksperimen pribadi
Penggunaan rutin CPU 8 vCPU, RAM 16–32 GB, NVMe 80 GB atau lebih Chat, coding, dan API ringan
GPU entry-level GPU dengan VRAM sesuai ukuran model Respons lebih cepat dan inferensi interaktif
Penggunaan intensif RAM besar, NVMe cepat, GPU dengan VRAM tinggi Model besar atau beberapa permintaan bersamaan

Tabel tersebut merupakan titik awal, bukan batas minimum universal. Selalu periksa ukuran model dan kebutuhan konteks sebelum menyewa VPS.

RAM dan VRAM

RAM penting ketika Ollama menjalankan model menggunakan CPU. Jika menggunakan GPU, VRAM menjadi faktor utama. Model yang tidak sepenuhnya muat di VRAM dapat menggunakan kombinasi GPU dan RAM, tetapi performanya dapat berbeda.

Ollama menyediakan perintah ollama ps untuk melihat apakah model berjalan pada GPU, CPU, atau kombinasi keduanya.

CPU

VPS berbasis CPU tetap dapat menjalankan Ollama, tetapi waktu respons biasanya lebih lambat dibandingkan server dengan GPU yang kompatibel. CPU dengan jumlah core lebih banyak membantu ketika server menangani beberapa proses, tetapi tidak otomatis membuat semua model berjalan cepat.

Penyimpanan

Model AI dapat berukuran beberapa gigabyte hingga puluhan gigabyte. Gunakan SSD atau NVMe dan sisakan ruang untuk beberapa model, log, cache, serta pembaruan sistem.

Cara Instal Ollama di Ubuntu VPS

1. Masuk ke server melalui SSH

ssh username@IP_SERVER

Ganti username dan IP_SERVER sesuai informasi dari penyedia VPS.

2. Perbarui paket sistem

sudo apt update && sudo apt upgrade -y

3. Instal Ollama

Ollama menyediakan installer Linux resmi. Jalankan perintah berikut:

curl -fsSL https://ollama.com/install.sh | sh

Setelah instalasi selesai, periksa versi Ollama:

ollama --version

4. Jalankan model

Gunakan nama model yang tersedia pada pustaka Ollama. Contoh berikut menggunakan model Llama:

ollama run llama3.2

Nama model dapat berubah atau memiliki beberapa ukuran. Periksa kembali pustaka model sebelum mengunduh agar ukuran model sesuai dengan RAM atau VRAM server.

5. Periksa model yang sedang aktif

ollama ps

Perintah tersebut membantu melihat model yang aktif, ukuran model, penggunaan CPU atau GPU, dan konteks yang digunakan.

Menguji API Ollama di VPS

Setelah model tersedia, Anda dapat menguji API melalui terminal:

curl http://127.0.0.1:11434/api/generate \
  -d '{
    "model": "llama3.2",
    "prompt": "Jelaskan fungsi VPS dalam satu paragraf.",
    "stream": false
  }'

Jika server mengembalikan objek JSON berisi respons model, berarti Ollama sudah berjalan dengan baik.

Cara Mengakses Ollama dari Komputer Lain

Secara default, Ollama hanya mendengarkan koneksi lokal. Konfigurasi tersebut lebih aman karena port API tidak langsung terbuka ke internet.

Metode Aman dengan SSH Tunnel

Untuk penggunaan pribadi, SSH tunnel adalah pilihan sederhana. Jalankan perintah berikut dari komputer Anda:

ssh -N -L 11434:127.0.0.1:11434 username@IP_SERVER

Setelah tunnel aktif, aplikasi di komputer Anda dapat mengakses Ollama melalui:

http://127.0.0.1:11434

Metode Reverse Proxy

Jika API perlu diakses oleh aplikasi lain melalui jaringan, gunakan reverse proxy dengan HTTPS, firewall, dan autentikasi tambahan. Jangan membuka port Ollama secara langsung tanpa perlindungan.

Pengaturan seperti OLLAMA_HOST=0.0.0.0 membuat Ollama menerima koneksi dari alamat jaringan lain. Namun, konfigurasi tersebut harus disertai firewall, pembatasan IP, HTTPS, dan lapisan autentikasi.

Integrasi Ollama dengan Node.js

Berikut contoh pemanggilan API Ollama dari aplikasi Node.js:

async function tanyaOllama(prompt) {
  const response = await fetch(
    'http://127.0.0.1:11434/api/generate',
    {
      method: 'POST',
      headers: {
        'Content-Type': 'application/json'
      },
      body: JSON.stringify({
        model: 'llama3.2',
        prompt,
        stream: false
      })
    }
  );

  const data = await response.json();
  return data.response;
}

tanyaOllama('Buatkan fungsi JavaScript untuk memvalidasi email.')
  .then(jawaban => console.log(jawaban))
  .catch(error => console.error(error));

Jika Node.js berjalan di server yang sama, gunakan alamat lokal. Jika aplikasi berada di server berbeda, gunakan jaringan privat atau reverse proxy yang sudah diamankan.

Integrasi Ollama dengan VS Code

Ollama dapat digunakan sebagai backend AI coding melalui ekstensi pihak ketiga di VS Code. Konsep umumnya adalah:

  1. Instal Ollama di VPS.
  2. Pastikan model coding sudah tersedia.
  3. Hubungkan VS Code melalui jaringan yang aman.
  4. Masukkan alamat API Ollama pada pengaturan ekstensi.
  5. Uji fitur chat atau autocomplete.

Anda dapat membaca artikel terkait cara menghubungkan Ollama Proxmox ke VS Code untuk pembahasan integrasi coding AI.

Ollama di Proxmox dan LXC

Ollama juga dapat dipasang pada virtual machine atau LXC container di Proxmox. VM biasanya memberikan isolasi yang lebih lengkap, sedangkan LXC dapat menggunakan sumber daya dengan lebih ringan.

Jika menggunakan GPU, periksa dukungan passthrough, driver, permission device, dan kompatibilitas hardware. Jangan menganggap semua GPU dapat diteruskan ke container dengan konfigurasi yang sama.

Hal yang Perlu Dicek

  • Alokasi CPU dan RAM container.
  • Kapasitas disk untuk model.
  • Akses jaringan keluar.
  • Permission service Ollama.
  • Dukungan GPU dan driver.
  • Firewall Proxmox.
  • Backup konfigurasi dan model penting.

Tips Menghemat Biaya VPS AI

  • Mulai dengan model kecil sebelum menyewa GPU mahal.
  • Gunakan server CPU untuk eksperimen ringan.
  • Hapus model yang tidak digunakan.
  • Pilih disk yang cukup, tetapi tidak berlebihan.
  • Matikan server GPU ketika tidak digunakan jika penyedia mendukungnya.
  • Pantau pemakaian RAM, CPU, disk, dan jaringan.
  • Gunakan model cloud untuk beban besar jika biaya GPU lokal tidak efisien.

Keamanan Server Ollama

Keamanan harus menjadi prioritas ketika Ollama diakses melalui jaringan. Endpoint AI yang terbuka dapat disalahgunakan untuk menghabiskan CPU, RAM, bandwidth, atau biaya server.

Checklist keamanan
  • Gunakan SSH key dan nonaktifkan login root jika memungkinkan.
  • Aktifkan firewall.
  • Batasi alamat IP yang boleh mengakses API.
  • Gunakan HTTPS pada reverse proxy.
  • Tambahkan autentikasi pada aplikasi yang memanggil API.
  • Jangan membagikan port API secara terbuka tanpa perlindungan.
  • Pantau log dan penggunaan resource.
Catatan penting

Jangan memasukkan password, token, data pelanggan, atau dokumen rahasia ke model AI tanpa memahami kebijakan penyimpanan, akses, dan keamanan server yang digunakan.

Masalah yang Sering Terjadi

Ollama lambat

Periksa ukuran model, penggunaan CPU, VRAM, konteks, dan jumlah permintaan bersamaan. Model yang terlalu besar untuk hardware akan membutuhkan waktu lebih lama.

Server kehabisan memori

Gunakan model yang lebih kecil, kurangi context length, hentikan model yang tidak digunakan, atau tambah RAM dan VRAM.

API tidak dapat diakses

Pastikan service Ollama berjalan, port tidak diblokir, alamat host benar, dan firewall mengizinkan koneksi yang diperlukan.

GPU tidak terdeteksi

Periksa driver, kompatibilitas GPU, permission device, serta hasil perintah ollama ps. Ollama memiliki daftar hardware dan panduan GPU yang perlu disesuaikan dengan sistem operasi Anda.

FAQ VPS untuk Ollama

Apakah Ollama bisa berjalan tanpa GPU?

Bisa. Ollama dapat berjalan menggunakan CPU, tetapi performanya bergantung pada model, jumlah thread, RAM, dan context length.

Berapa RAM yang dibutuhkan Ollama?

Kebutuhan RAM bergantung pada ukuran model dan konfigurasi konteks. Untuk uji coba, mulai dari model kecil dan VPS dengan RAM yang memadai, lalu pantau pemakaian resource sebelum menaikkan ukuran model.

Apakah VPS murah cocok untuk Ollama?

VPS murah dapat digunakan untuk eksperimen model kecil. Namun, VPS tanpa GPU atau dengan RAM terbatas mungkin kurang cocok untuk model besar dan penggunaan banyak pengguna.

Apakah port 11434 harus dibuka ke internet?

Tidak. Untuk penggunaan pribadi, SSH tunnel atau jaringan privat lebih aman. Jika port perlu diakses dari luar, gunakan firewall, HTTPS, pembatasan IP, dan autentikasi.

Apakah Ollama cocok untuk aplikasi produksi?

Ollama dapat digunakan untuk prototipe dan aplikasi internal. Untuk produksi dengan banyak pengguna, lakukan pengujian beban, siapkan monitoring, atur antrean permintaan, dan pastikan kapasitas hardware mencukupi.

Kesimpulan

VPS untuk Ollama dapat menjadi solusi praktis untuk menjalankan AI lokal, chatbot internal, dan asisten coding tanpa bergantung sepenuhnya pada komputer pribadi.

Pilih spesifikasi berdasarkan ukuran model, kebutuhan pengguna, dan penggunaan GPU. Mulai dari model kecil, uji API secara lokal, lalu tambahkan akses jaringan dengan metode yang aman.

Jika Anda ingin mempelajari dasar-dasar Ollama, baca juga artikel panduan teknologi di Jurnal Nugasin dan artikel terkait integrasi Ollama dengan VS Code.