Sains & Teknologi

Uji Coba Ollama di Server Sendiri: Menjalankan Llama 3 dan API AI Lokal

Uji Coba Ollama di Server Sendiri: Menjalankan Llama 3 dan API AI Lokal

Cara Instal Ollama di Server Sendiri untuk Menjalankan LLM AI Lokal

Menjalankan LLM AI di server sendiri menjadi pilihan menarik bagi pengguna yang ingin mengontrol data, mengurangi ketergantungan pada layanan cloud, dan membangun aplikasi AI secara mandiri.

Salah satu tools yang dapat digunakan adalah Ollama. Dengan Ollama, pengguna dapat mengunduh dan menjalankan berbagai model bahasa seperti Llama langsung dari komputer atau server Linux.

Artikel ini membahas proses instalasi Ollama, cara menjalankan model Llama, pengujian API lokal, serta hal-hal penting yang perlu diperhatikan sebelum membuka akses AI ke jaringan publik.

Apa Itu Ollama?

Ollama adalah runtime yang memudahkan pengguna menjalankan model AI secara lokal. Setelah terpasang, pengguna dapat mengunduh model, menjalankannya melalui terminal, atau menghubungkannya ke aplikasi menggunakan API.

Model yang dijalankan akan menggunakan sumber daya server, seperti CPU, RAM, VRAM, dan penyimpanan. Karena itu, performa sangat bergantung pada spesifikasi mesin dan ukuran model yang dipilih.

Mengapa Menjalankan LLM di Server Sendiri?

  • Data dapat diproses secara lokal.
  • Tidak selalu membutuhkan API key dari layanan cloud.
  • Dapat digunakan untuk eksperimen dan pengembangan aplikasi AI.
  • Lebih mudah diintegrasikan dengan aplikasi internal.
  • Biaya penggunaan dapat dikontrol berdasarkan infrastruktur sendiri.

Namun, server sendiri tetap membutuhkan biaya listrik, penyimpanan, pemeliharaan, serta konfigurasi keamanan. Model berukuran besar juga memerlukan RAM atau GPU yang lebih kuat.

Persiapan Sebelum Instal Ollama

Sebelum memulai, siapkan server Linux yang memiliki:

  • Akses terminal atau SSH.
  • Koneksi internet untuk mengunduh installer dan model.
  • Ruang penyimpanan yang cukup.
  • RAM sesuai ukuran model.
  • GPU yang kompatibel jika ingin mempercepat proses inferensi.

Untuk pengujian awal, gunakan model kecil terlebih dahulu. Model berukuran kecil lebih mudah dijalankan dan membantu memastikan konfigurasi server sudah benar.

Cara Instal Ollama di Linux

Masuk ke server melalui terminal atau SSH, lalu jalankan perintah instalasi berikut:

curl -fsSL https://ollama.com/install.sh | sh

Setelah proses selesai, periksa apakah Ollama sudah berhasil dipasang:

ollama --version

Jika versi Ollama tampil di terminal, berarti proses instalasi telah berhasil.


Menjalankan Server Ollama

Pada sebagian sistem Linux, Ollama dapat berjalan sebagai service. Jika server belum aktif, jalankan perintah berikut:

ollama serve

Biarkan proses tersebut tetap berjalan. Ollama secara default menyediakan API lokal pada alamat:

http://localhost:11434

Alamat tersebut hanya dapat diakses dari server yang menjalankan Ollama, kecuali Anda mengatur akses jaringan tambahan.

Mengunduh Model Llama

Setelah Ollama aktif, unduh model Llama menggunakan perintah:

ollama pull llama3.2

Setelah model selesai diunduh, jalankan dengan perintah:

ollama run llama3.2

Terminal akan membuka sesi percakapan dengan model. Anda dapat langsung mengetik pertanyaan untuk menguji respons AI.

Memilih Model yang Lebih Ringan

Jika server memiliki RAM terbatas, gunakan varian model yang lebih kecil:

ollama run llama3.2:1b

Untuk kebutuhan percakapan yang lebih baik, gunakan model 3B:

ollama run llama3.2:3b

Model yang lebih besar biasanya memberikan kemampuan yang lebih baik, tetapi membutuhkan sumber daya server yang lebih tinggi.

Menguji LLM Menggunakan API Ollama

Ollama menyediakan API lokal yang dapat dipanggil menggunakan cURL. Contoh permintaan ke endpoint chat:

curl http://localhost:11434/api/chat \
  -H "Content-Type: application/json" \
  -d '{
    "model": "llama3.2",
    "messages": [
      {
        "role": "user",
        "content": "Jelaskan manfaat menjalankan AI di server sendiri."
      }
    ],
    "stream": false
  }'

Jika konfigurasi berhasil, server akan mengembalikan jawaban dari model dalam format JSON.

Memeriksa Daftar Model yang Terpasang

ollama list

Perintah tersebut menampilkan model yang sudah diunduh pada server.

Menghapus Model yang Tidak Digunakan

ollama rm llama3.2

Gunakan perintah ini jika ingin menghapus model dan mengosongkan ruang penyimpanan.

Menghubungkan Ollama dengan Aplikasi

API lokal Ollama dapat digunakan oleh aplikasi berbasis Python, JavaScript, PHP, atau bahasa pemrograman lainnya. Aplikasi cukup mengirimkan permintaan HTTP ke endpoint Ollama.

Contoh sederhana menggunakan Python:

import requests

url = "http://localhost:11434/api/chat"

data = {
    "model": "llama3.2",
    "messages": [
        {
            "role": "user",
            "content": "Buatkan ringkasan singkat tentang teknologi AI."
        }
    ],
    "stream": False
}

response = requests.post(url, json=data)
print(response.json())

Dengan pola ini, Ollama dapat digunakan sebagai mesin AI untuk chatbot internal, rangkuman dokumen, pencarian semantik, asisten kerja, atau fitur otomatisasi lainnya.

Apakah Ollama Membutuhkan GPU?

Ollama dapat berjalan menggunakan CPU, tetapi prosesnya biasanya lebih lambat. GPU yang kompatibel dapat membantu mempercepat pemrosesan model, terutama saat menggunakan model berukuran besar atau melayani banyak permintaan.

Ollama mendukung sejumlah GPU NVIDIA dan AMD, serta akselerasi Metal pada perangkat Apple. Dukungan GPU bergantung pada jenis kartu, driver, sistem operasi, dan konfigurasi backend yang digunakan.

Jika belum memiliki GPU yang sesuai, gunakan model kecil dan batasi jumlah permintaan secara bersamaan.

Tips Mengoptimalkan Performa Server

  • Mulai dari model 1B atau 3B sebelum mencoba model yang lebih besar.
  • Pastikan ruang penyimpanan masih mencukupi.
  • Pantau penggunaan RAM, CPU, dan VRAM.
  • Gunakan SSD agar proses memuat model lebih cepat.
  • Batasi jumlah permintaan simultan pada server kecil.
  • Hentikan model atau service yang tidak digunakan.
  • Gunakan GPU dengan driver yang sesuai.

Keamanan Saat Menjalankan Ollama di Server Publik

Secara default, API Ollama berjalan pada localhost. Jangan langsung membuka port API ke internet tanpa perlindungan tambahan.

Jika API perlu diakses dari aplikasi lain, gunakan firewall, reverse proxy, autentikasi, dan pembatasan alamat IP. Hindari menempatkan server AI tanpa perlindungan karena pihak lain dapat menggunakannya untuk mengirim permintaan dan membebani sumber daya server.

Beberapa langkah keamanan yang dapat diterapkan adalah:

  • Batasi port yang terbuka pada firewall.
  • Gunakan HTTPS melalui reverse proxy.
  • Tambahkan autentikasi sebelum API dapat diakses.
  • Gunakan rate limit untuk mencegah penyalahgunaan.
  • Pantau log permintaan dan penggunaan sumber daya.
  • Jangan menyimpan data rahasia di dalam prompt atau log tanpa perlindungan.

Masalah yang Sering Terjadi

Perintah Ollama Tidak Ditemukan

Jika terminal menampilkan pesan bahwa perintah Ollama tidak ditemukan, ulangi instalasi dan periksa PATH sistem. Anda juga dapat membuka terminal baru setelah proses instalasi selesai.

Model Berjalan Sangat Lambat

Hal ini biasanya terjadi karena model menggunakan CPU, RAM tidak mencukupi, atau ukuran model terlalu besar. Coba gunakan model yang lebih kecil atau periksa dukungan GPU.

Penyimpanan Server Cepat Penuh

Model AI dapat menggunakan ruang penyimpanan yang cukup besar. Jalankan perintah ollama list untuk melihat model terpasang dan hapus model yang tidak lagi digunakan.

API Tidak Bisa Diakses

Pastikan proses ollama serve masih berjalan dan aplikasi memanggil alamat serta port yang benar, yaitu http://localhost:11434 untuk koneksi lokal.

Kesimpulan

Instalasi Ollama membuat proses menjalankan LLM AI di server sendiri menjadi lebih sederhana. Pengguna dapat memasang Ollama, mengunduh model Llama, menjalankannya melalui terminal, dan mengaksesnya menggunakan API lokal.

Untuk uji coba pertama, gunakan model kecil seperti Llama 3.2 1B atau 3B. Setelah konfigurasi stabil, Anda dapat mengembangkan server menjadi chatbot internal, sistem rangkuman dokumen, asisten otomatis, atau layanan AI yang terintegrasi dengan aplikasi.

Hal terpenting adalah menyesuaikan ukuran model dengan kemampuan server dan tidak membuka API ke internet tanpa sistem keamanan yang memadai.

FAQ

Apakah Ollama bisa dipasang di server Linux?

Bisa. Ollama menyediakan installer untuk Linux dan dapat dijalankan melalui terminal.

Apakah Ollama gratis?

Ollama dapat digunakan untuk menjalankan model lokal tanpa API key. Namun, biaya server, listrik, penyimpanan, dan perangkat keras tetap menjadi tanggung jawab pengguna.

Apakah Llama bisa dijalankan tanpa GPU?

Bisa, tetapi prosesnya dapat lebih lambat. Untuk server tanpa GPU, gunakan model berukuran kecil.

Port berapa yang digunakan API Ollama?

API lokal Ollama secara umum tersedia pada port 11434 dengan alamat localhost.

Apakah aman menjalankan LLM di server sendiri?

Bisa aman jika server dikonfigurasi dengan firewall, autentikasi, pembatasan akses, HTTPS, dan pemantauan log.