안녕하세요. 주식회사 서버몬 입니다.

오늘은 오픈소스인 Ollama 를 통해 나만의 LLM 을 만들어 보겠습니다.

Ollama 란?

Ollama는 로컬 환경에서 쉽게 LLM을 실행하고 관리할 수 있도록 설계된 경량화된 LLM 실행 프레임워크입니다. 

쉽게 말해, 로컬 컴퓨터에서 ChatGPT 같은 AI 모델을 실행할 수 있도록 도와주는 도구 이며

GPU 가속을 활용하여 Mac, Linux, Windows 등 다양한 환경에서 쉽게 AI 모델을 실행할 수 있습니다.

Ollama 설치하기

다운로드 공식사이트

Ollama 는 다양한 운영체제를 지원하지만 본 포스팅에서는 OS 에 직접적인 설치를 진행하지 않을것 입니다.

이번에는  UI 연동과 버전 관리를 편히 하기 위해 WSL 과 docker-desktop 을 활용하여 구성 해보겠습니다.

WSL 구성

WSL(Windows Subsystem for Linux)은 Windows에 리눅스 운영체제를 설치할 수 있도록 도움을 줍니다.
WSL에 우분투(Ubuntu), 오픈수세(OpenSUSE), 칼리(Kali), 데비안(Debian), 등을 설치할 수 있습니다.

윈도우 Powershell 실행 후

wsl --install

기본적으로 WSL 2 와 Ubuntu 24.04 이미지와 같이 설치 됩니다.

wsl --list –online  명령을 통해 다른 배포판 또한 구성이 가능합니다.

Docker Destktop 설치

Docker는 애플리케이션을 컨테이너라는 독립적인 환경에서 실행할 수 있도록 해주는 가상화 기술입니다.

기존의 가상 머신(VM)과 달리, 운영 체제(OS)를 전체적으로 가상화하지 않고, 호스트 OS의 커널을 공유하면서 필요한 라이브러리와 종속성을 패키징하여 가볍고 빠르게 실행할 수 있습니다.

다운로드 공식 사이트

다운로드 화면에서 OS 및 CPU 아키텍쳐 구성에 맞게 설치 하도록 합니다.

Docker Desktop은 Free 계정에서 다운받아서 무료로 사용할 수 있었는데 변경된 정책이 적용되면 개인 사용자나 250인 이하 그리고 $1000만 달러미만 매출의 회사에서만 사용할 수 있게 됩니다.

이 조건을 넘어가는 회사 소속의 사용자들은 유료 플랜을 구독해야합니다.

Docker desktop 설치 이후에 구성된 컨테이너 구성시 WSL 를 사용하도록 설정 변경을 진행합니다.

Setting -> Resources - WSL Intergration - "구성된 WSL 시스템" 를 선택합니다.

GPU 가속 활성화

컨테이너 내부에서 GPU 리소스 사용을 위해서는 NVIDIA Conatiner Tookit 을 설치 해야 합니다.

윈도우 Powershell 실행 

WSL 커맨드로 구성된 리눅스 시스템에 접속 후

아래 커맨드를 입력하여 NVIDIA Conatiner Tookit 을 구성합니다.

curl -fsSL https://nvidia.github.io/libnvidia-container/gpgkey | sudo gpg --dearmor -o /usr/share/keyrings/nvidia-container-toolkit-keyring.gpg \
  && curl -s -L https://nvidia.github.io/libnvidia-container/stable/deb/nvidia-container-toolkit.list | \
    sed 's#deb https://#deb [signed-by=/usr/share/keyrings/nvidia-container-toolkit-keyring.gpg] https://#g' | \
    sudo tee /etc/apt/sources.list.d/nvidia-container-toolkit.list
sudo apt-get update
sudo apt-get install -y nvidia-container-toolkit
sudo nvidia-ctk runtime configure --runtime=docker

GPU 인식 테스트

아래 커맨드를 입력하여 GPU 가속 여부를 체크 합니다.

docker run --gpus all nvidia/cuda:11.5.2-base-ubuntu20.04 nvidia-smi

성공적으로 컨테이너 환경에서 GPU 리소스 사용을 활성화 했습니다.

Ollama & WebUI 구성

Ollama 는 기본 CLI 환경으로 구성 됩니다.

본 포스팅의 목적인 나만에 LLM 사용성이 멀어지게 되는데

이를 해소하기 위해 ChatGPT 의 UI 와 비슷한 WebUI 를 사용할 것 입니다.

WSL 리눅스에서 아래 명령어로 컨테이너를 구성합니다.

sudo apt install -y git
git clone https://github.com/valiantlynx/ollama-docker.git
cd ollama-docker

docker-compose -f docker-compose-ollama-gpu.yaml up -d

서비스 배포에 약 10분 정도 소요 되었습니다.

웹 브라우저로 http://localhost:8080 에 접속 합니다.

우리가 많이 접했던 ChatGPT  UI 와 매우 비슷한 것을 볼 수 있습니다.

Ollama 언어모델 구성

Ollama 는 다양한 대형 언어 모델을 지원합니다.

대표적인 언어 모델은 아래에서 확인 가능합니다.

이외 에도 다양한 모델을 지원하고 , 언어 전체 목록은 https://ollama.com/library 에서 확인 할 수 있습니다.

언어 모델 다운로드

WebUI 에서도 언어 모델을 선택하고 다운로드 할 수 있습니다.

최근 이슈가 되었던 Deepseek-r1 모델과 llama3.2 모델을 다운로드 했고

2가지 언어 모델을 통해 "우분투 리눅스" 에 대해서 질문을 했습니다.

각기 다른 언어 모델에서 결과가 나왔고 내 PC 환경에서 LM 구성에 성공 하였습니다.

Ollama 와 WebUI 를 사용하여 누구나 무료로 자신의 PC 에서 강력한 LLM 을 실행할 수 있습니다.

설치와  삭제 모두 간단합니다. 또한 다양한 모델을 지원하고 커스터마이징을 할수 있어 활용 범위 또한 넓습니다.

Olllama 를 통해 자신만의 AI 어시스턴트를 만들어보는건 어떤가요?

코딩, 글쓰기 ,질의응답 등 다양한 분야에서 활용할 수 있습니다.

1U서버 / 2U서버 / AI서버 / alyac / APC / APC UPS / backup / carepack / centos / chakramax / cuda / DAS / DB / DB서버 / defog / DEFOG랙 / dell5820 / dell5820t / dell7920 / dellpoweredge / dellr240 / dellr340 / dellr350 / dellr450 / dellr540 / dellr630 / dellr640 / dellr740 / dellr750 / dellserver / dellt40 / dellt440 / dellt5820 / dell서버 / DELL서버CPU / DELL서버RAID컨트롤러 / DELL서버SAS하드디스크 / DELL서버가격비교 / DELL서버가격비교견적 / DELL서버견적 / DELL서버구매 / DELL서버디스크교체 / DELL서버메모리 / dell서버서버몬 / DELL서버펌웨어 / DELL서버하드디스크구매 / dell옵션 / dell워크스테이션 / dl20 / dl20gen10 / dl20gen11 / dl360 / dl360gen10 / dl360gen11 / dl380 / dl380g10 / dl380gen10 / dl380gen11 / ECC메모리 / EDFOG랙가격 / embedded / est security / ESTSOFT / FIRMWARE / GPU / gpu서버 / gpu타워형서버 / greenlake / HA솔루션 / HP GPU / hp hdd / hpdl20 / HPDL20Gen10 / hpdl360 / hpdl360gen10 / hpdl380 / hpdl380g10 / HPDL380Gen10 / HPE / HPE GPU / hpe hdd / hpe rok / HPE Service Pack for Proliant / HPE SPP / hpe ssa / hpedl20 / hpedl20gen10 / hpedl360gen10 / hpe서버 / HPE서버CPU / HPE서버RAID컨트롤러 / HPE서버SAS하드디스크 / HPE서버가격비교 / HPE서버가격비교견적 / HPE서버견적 / HPE서버구매 / HPE서버드라이버설치 / HPE서버디스크교체 / HPE서버메모리 / HPE서버비용 / hpe서버소음 / HPE서버펌웨어 / HPE서버하드디스크구매 / hpe옵션 / hpe정품 / hpgen10 / hpml30 / hpserver / hpz2 / hpz4 / hpz4g4 / hpz6g4 / hpz8g4 / hp마이크로서버 / hp서버 / hp서버cto / hp서버pc / HP서버메모리 / hp서버소음 / hp서버컴퓨터 / HP서버파워 / HP서버펌웨어 / HP서버하드디스크 / hp옵션 / hp워크스테이션 / hp정품 / hp프로라이언트 / HYPER BACKUP / ibm서버 / ilo / Intelligent Provisioning / internetdisk / KVM / KVM 기술지원비(비용) / KVM 설치비 / L2스위치 / L3스위치 / LENONO서버SAS하드디스크 / lenovop620 / lenovor650 / LENOVO서버 / LENOVO서버CPU / LENOVO서버RAID컨트롤러 / LENOVO서버가격비교 / LENOVO서버가격비교견적 / LENOVO서버견적 / LENOVO서버구매 / LENOVO서버디스크교체 / LENOVO서버메모리 / LENOVO서버하드디스크구매 / LENOVO펌웨어업데이트 / Linux / ML30 / ml30gen10 / ml30gen11 / ML350GEN10 / ml350gen11 / ML360 / MS CSP / MSSQL / MSSQL 기술지원비(비용) / MSSQL 설치비 / MYSQL / MySQL 기술지원비(비용) / MySQL 설치비 / NAS / NVIDIA / Office 365 / oneview / orange / OS설치 / PA-410 / PA-440 / paloalto / poweredger740 / poweredger750 / precision5820 / QUADRO / r240 / r250 / r340 / r360 / r440 / r550 / r650 / r660 / r740 / r750xs / r760 / r760xs / RAID / redhat / RHEL설치 / RMS랙 / rocky / s100i / securedisk / server / serverpc / smart storage administrator / SPP / sql server / sr250 / sr650 / SYNOLOGY / SYNOLOGY나스 / t150 / t360 / UPS / UPS기술지원 / UPS납품 / UPS설치 / V3 / veeam / vroc / windows server / Windows서버설치 / XEON서버 / z8g4 / 가상서버 / 가성비서버 / 기술지원비(비용) / 나스기술지원 / 나스설치지원 / 네트워크스위치 / 네트워크장비 / 더블테이크 / 데이터베이스 / 델5820 / 델서버 / 델서버비용 / 델서버펌웨어업데이트 / 델옵션 / 델워크스테이션 / 델컴퓨터워크스테이션 / 디포그 / 디포그랙 / 디포그랙가격 / 딥러닝 / 딥러닝pc / 딥러닝서버 / 랙 / 랙(RACK) 기술지원비(비용) / 랙(RACK) 설치비 / 랙납품설치 / 랙설치 / 레노버p620 / 레노버서버 / 레노버워크스테이션 / 레노보서버 / 레노보서버펌웨어 / 레드헷설치 / 레이드 / 레이드구성 / 록키리눅스 / 리눅스 / 리눅스 기술지원비(비용) / 리눅스 설치비 / 리눅스서버 / 리눅스서버설치 / 리눅스서버트러블슈팅 / 리눅스트러블슈팅 / 문서보안 / 문서중앙화 / 미니서버 / 미니서버랙 / 미니서버렉 / 미디어서버 / 방화벽 / 방화벽 기술지원비(비용) / 방화벽 설치비 / 방화벽엔지니어 / 백업 / 백업 기술지원비(비용) / 백업 서버 / 백업서비스 / 백업솔루션 / 보안솔루션 / 보안솔루션구매 / 보안솔루션설치 / 보안툴 / 빔백업 / 샤크라맥스 / 서버 / 서버 기술지원비(비용) / 서 버 랙마운트비용 / 서버 설치비 / 서버 장애조치비용 / 서버CPU / 서버MEMORY / 서버OS설치 / 서버pc / 서버가격 / 서버가속기 / 서버견적 / 서버교체 / 서버구매 / 서버구입 / 서버구축 / 서버기술지원 / 서버납품 / 서버디스크장애처리 / 서버랙 / 서버렉 / 서버렉마운트 / 서버메모리 / 서버 몬 / 서버몬기술지원 / 서버백업 / 서버보안 / 서버부품 / 서버엔지니어 / 서버옵션 / 서버용GPU / 서버용PC / 서버용그래픽카드 / 서버용메모리 / 서버 / 컴퓨터 / 서버용하드디스크 / 서버재고 / 서버컴 / 서버컴퓨터 / 서버트러블슈팅 / 서버판매 / 서버하드 / 서버호스팅 / 스위치 / 스위치 기술지원비(비용) / 스위치 설치비 / 스토리지 / 스토리지 기술지원비(비용) / 스토리지 랙마운트비용 / 스토리지 설치비 / 스토리지 장애조치비용 / 스토리지납품설치 / 스토리지서버 / 시놀로지DS918 / 시놀로지HyperBackup / 시놀로지나스 / 시놀로지나스백업 / 시놀로지하이퍼백업 / 시큐어디스크 / 안랩 / 알약 / 앱서버 / 오피스 365 / 우분투설치 / 워크스테이션 / 워크스테이션pc / 워크스테이션컴퓨터 / 윈도우서버 / 윈도우서버2016 / 윈도우서버2019 / 윈도우서버2022 / 윈도우서버설치 / 윈도우서버컴퓨터 / 윈도우서버트러블슈팅 / 윈도우즈 기술지원비(비용) / 윈도우즈 설치비 / 이스트소프트 / 이스트 시큐리티 / 이중화솔루션 / 이중화솔루션구매 / 이중화솔루션설치 / 인터넷디스크 / 임베디드 / 저가서버 / 저렴한서버 / 정품서버 / 정품서버옵션 / 제온서버 / 젠서버 / 중고서버 / 중고워크스테이션 / 카보나이트 / 카스퍼스키 / 컴퓨터서버 / 케어팩 / 타워서버 / 타워형서버 / 팔로알토 / 페도라설치 / 프로라이언트