Cara Install Ollama di VPS Ubuntu untuk Menjalankan AI Lokal

Pengantar

Perkembangan teknologi Artificial Intelligence (AI) membuat banyak orang tertarik menjalankan model AI secara mandiri tanpa bergantung pada layanan cloud pihak ketiga. Salah satu solusi yang saat ini populer adalah Ollama, sebuah platform yang memungkinkan pengguna menjalankan Large Language Model (LLM) seperti DeepSeek, Llama, Qwen, Mistral, dan model AI lainnya langsung dari server Linux maupun komputer pribadi.

Dengan menggunakan Ollama di VPS Ubuntu, Anda dapat menjalankan AI lokal secara lebih fleksibel, menjaga privasi data, serta mengurangi ketergantungan pada layanan AI berbayar. Selain itu, Ollama juga sering digunakan sebagai backend untuk berbagai aplikasi AI seperti Open WebUI, dan FlowiseAI.

Pada tutorial ini, Anda akan mempelajari cara install Ollama di VPS Ubuntu mulai dari persiapan server, proses instalasi, hingga menjalankan model AI pertama menggunakan command line.

Apa Itu Ollama?

Ollama adalah platform open source yang dirancang untuk mempermudah proses menjalankan model AI generatif secara lokal. Dengan beberapa perintah sederhana, pengguna dapat mengunduh, mengelola, dan menjalankan berbagai model AI tanpa konfigurasi yang rumit.

Beberapa keunggulan Ollama antara lain:

Instalasi cepat dan mudah.
Mendukung berbagai model AI populer.
Dapat dijalankan di Linux, macOS, dan Windows.
Cocok untuk pengembangan chatbot AI lokal.
Mendukung integrasi dengan aplikasi pihak ketiga melalui API.
Memungkinkan penggunaan AI tanpa mengirim data ke layanan eksternal.

Persiapan Sebelum Install Ollama

Berikut spesifikasi minimum yang direkomendasikan:

CPU: Minimal 2 Core
RAM: Minimal 4 GB
Storage: Minimal 20 GB SSD
Sistem Operasi: Ubuntu 20.04, Ubuntu 22.04, atau Ubuntu 24.04
Akses: Memiliki akses root atau user dengan hak sudo

Install Ollama di Ubuntu

1. Update Sistem Ubuntu

Sebelum melakukan instalasi Ollama, disarankan untuk memperbarui seluruh paket sistem terlebih dahulu agar mendapatkan pembaruan keamanan terbaru dan menghindari masalah kompatibilitas selama proses instalasi.

Jalankan perintah berikut:

sudo apt update && sudo apt upgrade -y

Fungsi:

Memperbarui daftar repository Ubuntu
Menginstal pembaruan package terbaru
Meningkatkan keamanan dan stabilitas sistem
Mengurangi risiko konflik dependency saat instalasi Ollama

Keterangan:
Apabila terdapat pembaruan kernel atau komponen sistem penting, reboot server setelah proses update selesai.

2. Download dan Jalankan Installer Ollama

Ollama menyediakan script instalasi resmi yang dapat digunakan untuk memasang aplikasi secara otomatis pada Ubuntu.

Jalankan perintah berikut:

curl -fsSL https://ollama.com/install.sh | sh

Penjelasan:

Mengunduh installer resmi Ollama
Menginstal binary Ollama ke sistem
Membuat service systemd secara otomatis
Menjalankan service Ollama setelah instalasi selesai

Tunggu hingga proses instalasi selesai. Durasi instalasi bergantung pada kecepatan koneksi internet dan spesifikasi server.

Apabila berhasil, biasanya akan muncul informasi bahwa Ollama telah berhasil diinstal dan service telah dibuat pada sistem.

3. Memastikan Service Ollama Berjalan

Setelah instalasi selesai, pastikan service Ollama berjalan dengan normal.

Jalankan perintah berikut:

systemctl status ollama

Contoh output:

● ollama.service - Ollama Service
   Loaded: loaded
   Active: active (running)

Interpretasi:

Loaded menunjukkan service berhasil dimuat oleh systemd
Active (running) menunjukkan Ollama sedang berjalan
Service siap menerima permintaan model AI

Jika service belum berjalan, jalankan secara manual:

sudo systemctl start ollama

Verifikasi kembali menggunakan:

systemctl status ollama

4. Mengaktifkan Ollama Saat Booting

Agar Ollama otomatis berjalan setiap kali VPS direstart, aktifkan service pada saat booting sistem.

Jalankan:

sudo systemctl enable ollama

Verifikasi konfigurasi:

sudo systemctl is-enabled ollama

Contoh output:

enabled

Jika muncul status enabled, maka Ollama akan otomatis dijalankan setiap kali server menyala.

5. Reboot Server Jika Diperlukan

Apabila proses update sistem sebelumnya menginstal kernel baru atau pembaruan penting lainnya, lakukan reboot agar seluruh perubahan diterapkan dengan sempurna.

Jalankan perintah berikut:

sudo reboot

Setelah server aktif kembali, login ke VPS menggunakan SSH dan pastikan service Ollama masih berjalan:

systemctl status ollama

Keterangan:
Jika service tetap berstatus active (running) setelah reboot, maka instalasi Ollama telah berhasil dan sistem siap digunakan untuk mengunduh serta menjalankan model AI lokal.

Cara Menjalankan Model AI di Ollama

1. Mengunduh dan Menjalankan Model AI

Setelah Ollama berhasil diinstal dan service berjalan normal, langkah berikutnya adalah mengunduh model AI yang ingin digunakan.

Ollama menyediakan berbagai model Large Language Model (LLM) yang dapat dijalankan langsung di server tanpa memerlukan layanan pihak ketiga.

Saat pertama kali menjalankan model, Ollama akan otomatis mengunduh file model dari repository resmi ke server.

Keterangan:
Semakin besar ukuran model, semakin lama proses download dan semakin besar kebutuhan RAM yang diperlukan saat menjalankan model tersebut.

2. Menjalankan Model DeepSeek

Untuk menjalankan model DeepSeek, gunakan perintah berikut:

ollama run deepseek-r1:8b

Fungsi:

Mengunduh model DeepSeek R1 8B jika belum tersedia
Menjalankan model secara lokal pada server
Membuka sesi interaktif AI melalui terminal

Pada saat pertama kali dijalankan, Ollama akan menampilkan proses download model terlebih dahulu.

Proses download dapat memerlukan beberapa menit tergantung:

Ukuran model
Kecepatan internet VPS
Performa storage server

Setelah proses selesai, prompt AI akan muncul:

>>

Contoh penggunaan:

>>> Jelaskan apa itu Linux

Model AI akan memberikan jawaban secara langsung melalui terminal.

Keterangan:
Model DeepSeek R1 terkenal untuk kebutuhan reasoning, analisis, pemrograman, serta berbagai tugas berbasis logika dan penalaran.

3. Menjalankan Model Llama

Selain DeepSeek, Ollama juga mendukung model Llama.

Jalankan perintah berikut:

ollama run llama3

Fungsi:

Mengunduh model Llama 3 apabila belum tersedia
Menjalankan model secara lokal
Menyediakan antarmuka percakapan melalui terminal

Contoh:

>>> Buatkan contoh script Python untuk membaca file CSV

Llama akan menghasilkan jawaban sesuai pertanyaan yang diberikan.

Keterangan:
Llama merupakan salah satu model open-source populer yang banyak digunakan untuk chatbot, coding assistant, dan kebutuhan generative AI lainnya.

4. Menjalankan Model Qwen

Untuk menggunakan model Qwen, jalankan:

ollama run qwen3

Fungsi:

Mengunduh model Qwen jika belum tersedia
Menjalankan model AI secara lokal pada VPS
Menyediakan sesi chat interaktif melalui terminal

Contoh penggunaan:

>>> Jelaskan konsep Kubernetes untuk pemula

Model akan memberikan jawaban berdasarkan prompt yang diberikan.

Keterangan:
Qwen dikenal memiliki kemampuan yang baik dalam memahami instruksi, pembuatan konten, penerjemahan bahasa, serta berbagai tugas pemrosesan bahasa alami lainnya.

5. Keluar dari Sesi Chat Ollama

Untuk mengakhiri sesi interaktif AI, gunakan salah satu cara berikut:

/bye

atau tekan:

Ctrl + D

Anda dapat menjalankan kembali model kapan saja menggunakan perintah ollama run tanpa perlu mengunduh ulang model yang sudah tersimpan di server.

Menampilkan Daftar Model yang Terinstal

1. Melihat Daftar Model yang Tersimpan

Setelah mengunduh satu atau lebih model AI, Anda dapat melihat seluruh model yang telah tersimpan pada server menggunakan perintah berikut:

ollama list

Fungsi:

Menampilkan seluruh model yang telah diunduh
Melihat nama model yang tersedia
Mengetahui ukuran masing-masing model
Memastikan proses download model berhasil dilakukan

Contoh output:

NAME              SIZE
deepseek-r1:8b    4.9 GB
llama3            4.7 GB
qwen3             5.2 GB

Penjelasan Output:

NAME
Menunjukkan nama model yang tersedia dan dapat dijalankan menggunakan perintah ollama run.
SIZE
Menunjukkan kapasitas penyimpanan yang digunakan oleh masing-masing model pada server.

Pada contoh di atas:

Model deepseek-r1:8b menggunakan sekitar 4,9 GB storage.
Model llama3 menggunakan sekitar 4,7 GB storage.
Model qwen3 menggunakan sekitar 5,2 GB storage.

Keterangan:
Semakin besar ukuran model, biasanya semakin besar pula kebutuhan RAM dan resource CPU saat model dijalankan. Pastikan VPS memiliki kapasitas yang memadai sebelum mengunduh banyak model sekaligus.

2. Menjalankan Model yang Sudah Tersimpan

Jika model sudah muncul pada daftar, Anda dapat menjalankannya kembali tanpa perlu mengunduh ulang.

Contoh:

ollama run deepseek-r1:8b

atau:

ollama run llama3

atau:

ollama run qwen3

Karena model sudah tersimpan secara lokal, proses startup biasanya jauh lebih cepat dibandingkan saat pertama kali dijalankan.

Keterangan:
Model yang sudah diunduh akan tetap tersimpan pada server sehingga dapat digunakan kembali kapan saja tanpa memerlukan koneksi internet untuk proses download ulang.

Menghapus Model yang Tidak Digunakan

1. Menghapus Model AI yang Tidak Digunakan

Model AI yang diunduh melalui Ollama umumnya memiliki ukuran beberapa gigabyte. Jika terdapat model yang sudah tidak digunakan, sebaiknya dihapus untuk menghemat kapasitas penyimpanan server.

Untuk menghapus model, gunakan perintah berikut:

ollama rm llama3

Fungsi:

Menghapus model dari penyimpanan lokal Ollama
Membebaskan ruang disk pada server
Mengelola koleksi model agar lebih efisien

Penjelasan:

ollama rm
Perintah untuk menghapus model yang tersimpan pada sistem.
llama3
Nama model yang akan dihapus.

Apabila proses berhasil, model tersebut tidak lagi tersedia untuk dijalankan hingga diunduh kembali.

Keterangan:
Menghapus model hanya akan menghapus file model dari penyimpanan lokal. Konfigurasi Ollama dan model lainnya tidak akan terpengaruh.

2. Memverifikasi Model yang Masih Tersimpan

Setelah menghapus model, periksa kembali daftar model yang tersedia:

ollama list

Contoh output:

NAME              SIZE
deepseek-r1:8b    4.9 GB
qwen3             5.2 GB

Interpretasi:

Model llama3 sudah tidak muncul pada daftar.
Model lain tetap tersedia dan dapat digunakan.
Ruang penyimpanan yang sebelumnya digunakan model telah dibebaskan.

Untuk menghapus model lain, gunakan format yang sama:

ollama rm nama-model

Contoh:

ollama rm deepseek-r1:8b

ollama rm qwen3

Keterangan:
Sebelum menghapus model, pastikan model tersebut memang tidak lagi digunakan. Jika suatu saat diperlukan kembali, model harus diunduh ulang menggunakan perintah ollama run.

Menggunakan API Ollama

1. Menggunakan REST API Ollama

Selain digunakan melalui terminal, Ollama juga menyediakan REST API yang memungkinkan integrasi dengan berbagai aplikasi seperti website, chatbot, automation workflow, Open WebUI, FlowiseAI, maupun aplikasi yang dibuat sendiri.

REST API Ollama berjalan secara lokal pada port 11434 dan dapat diakses menggunakan HTTP request.

Keterangan:
REST API memudahkan aplikasi lain untuk mengirim prompt dan menerima respons AI secara otomatis tanpa perlu menjalankan perintah melalui terminal.

2. Menguji API Ollama

Untuk memastikan API berjalan dengan baik, jalankan perintah berikut:

curl http://localhost:11434/api/tags

Fungsi:

Menampilkan daftar model yang tersedia
Menguji konektivitas API Ollama
Memastikan service berjalan normal

Contoh output:

{
  "models": [
    {
      "name": "deepseek-r1:8b"
    },
    {
      "name": "qwen3"
    }
  ]
}

Jika data JSON berhasil ditampilkan, maka REST API Ollama telah aktif dan siap digunakan.

3. Mengirim Prompt ke Model Melalui API

Untuk menghasilkan respons AI menggunakan REST API, gunakan endpoint /api/generate.

Contoh:

curl http://localhost:11434/api/generate \
-d '{
  "model":"deepseek-r1:8b",
  "prompt":"Apa itu Ubuntu?",
  "stream":false
}'

Penjelasan Parameter:

model
Menentukan model yang digunakan.
prompt
Pertanyaan atau instruksi yang dikirim ke AI.
stream
Jika bernilai false, respons dikembalikan sekaligus dalam satu JSON.

Contoh respons:

{
  "response":"Ubuntu adalah distribusi Linux yang dikembangkan oleh Canonical..."
}

Respons JSON tersebut dapat langsung diproses oleh aplikasi web, backend API, chatbot, maupun sistem otomatisasi lainnya.

Keterangan:
Endpoint generate merupakan endpoint utama yang digunakan untuk berinteraksi dengan model AI melalui aplikasi eksternal.

4. Membuka Akses API Ollama dari Server Lain

Secara default Ollama hanya menerima koneksi dari localhost (127.0.0.1).

Konfigurasi bawaan ini lebih aman karena API tidak dapat diakses dari jaringan luar.

Jika Ollama akan digunakan oleh aplikasi lain seperti Open WebUI, FlowiseAI, n8n, atau aplikasi custom yang berjalan pada server berbeda, ubah konfigurasi service agar mendengarkan seluruh interface jaringan.

Edit konfigurasi service:

sudo systemctl edit ollama

Tambahkan konfigurasi berikut:

[Service]
Environment="OLLAMA_HOST=0.0.0.0:11434"

Reload konfigurasi systemd:

sudo systemctl daemon-reload

Restart service Ollama:

sudo systemctl restart ollama

Verifikasi port yang aktif:

ss -tulpn | grep 11434

Contoh output:

tcp LISTEN 0 4096 0.0.0.0:11434

Output tersebut menunjukkan bahwa Ollama menerima koneksi dari jaringan luar.

Keterangan:
Jika membuka akses ke jaringan publik, gunakan firewall dan pembatasan akses yang sesuai untuk mencegah penggunaan API oleh pihak yang tidak berwenang.

5. Menguji Akses dari Komputer atau Server Lain

Setelah port berhasil dibuka, API dapat diakses menggunakan alamat IP server.

Contoh:

curl http://IP_SERVER:11434/api/tags

Misalnya:

curl http://192.168.1.100:11434/api/tags

Jika JSON berhasil ditampilkan, maka API Ollama sudah dapat digunakan dari perangkat lain dalam jaringan.

6. Memperbarui Versi Ollama

Untuk mendapatkan fitur terbaru, peningkatan performa, dan perbaikan keamanan, lakukan update Ollama secara berkala.

Jalankan kembali installer resmi:

curl -fsSL https://ollama.com/install.sh | sh

Fungsi:

Mengunduh versi terbaru Ollama
Memperbarui binary yang sudah terinstal
Menerapkan pembaruan fitur dan keamanan

Setelah update selesai, periksa versi yang digunakan:

ollama --version

Contoh output:

ollama version 0.x.x

Keterangan:
Melakukan update secara berkala membantu memastikan Ollama memperoleh dukungan model terbaru, peningkatan performa inferensi, serta perbaikan bug dan celah keamanan yang ditemukan pada versi sebelumnya.

Kesimpulan

Ollama merupakan solusi yang sangat praktis untuk menjalankan model AI lokal di VPS Ubuntu tanpa konfigurasi yang rumit. Dengan beberapa perintah sederhana, Anda dapat menginstal Ollama, mengunduh model AI seperti DeepSeek, Llama, maupun Qwen, lalu menggunakannya melalui terminal maupun API. Selain cocok untuk belajar AI generatif, Ollama juga menjadi fondasi berbagai platform AI self-hosted seperti Open WebUI, AnythingLLM, dan FlowiseAI. Setelah berhasil memasang Ollama, Anda dapat melanjutkan eksplorasi dengan mengintegrasikan model AI ke aplikasi chatbot, knowledge base, atau workflow AI yang lebih kompleks sesuai kebutuhan.