Ollama 설치부터 구글 Gemma 모델 실행까지

최근 로컬 환경에서 LLM(대규모 언어 모델)을 실행할 수 있는 도구로 Ollama가 많은 관심을 받고 있습니다. 클라우드 서버에 의존하지 않고 내 PC에서 직접 AI 모델을 실행할 수 있다는 점이 Ollama의 가장 큰 장점입니다. 이번 글에서는 Ollama 설치부터 실제로 구글이 공개한 Gemma 모델을 다운로드하고 실행하는 과정까지 차근차근 정리해보겠습니다.

Ollama 다운로드 및 설치

먼저 Ollama 공식 사이트에 접속합니다.

https://ollama.com/

자신의 운영체제에 맞는 버튼을 클릭해 설치 파일을 다운로드합니다. Windows 사용자라면 OllamaSetup.exe 파일이 다운로드되며, 해당 파일을 더블 클릭하여 설치를 진행하면 됩니다. 설치는 일반 프로그램과 동일하게 진행되며 특별한 추가 설정은 필요하지 않습니다. 설치가 성공적으로 완료되면 Ollama의 사용자 인터페이스 창이 잠시 표시됩니다. 이 창은 사용하지 않으므로 닫아도 무방합니다.

 

Ollama 서버 실행

이제 실제로 AI 모델을 다운로드하고 실행해볼 차례입니다.
Ollama는 모델을 개별 파일로 직접 받아서 설정할 필요 없이, 명령어 한 줄만 입력하면 자동으로 다운로드 및 실행이 가능합니다.

먼저 PowerShell을 실행한 뒤 아래 명령어를 입력합니다.

ollama serve

 

이 명령어는 Ollama 서버를 내 PC에서 실행하는 역할을 합니다. 이때부터 로컬 환경에서 대규모 언어 모델(LLM)을 직접 실행하고 API 형태로 호출할 수 있는 상태가 됩니다.

 

Ollama는 하나의 로컬 AI 실행 전용 애플리케이션이라고 이해하면 됩니다. 우리가 직접 소스 코드를 실행하는 방식이 아니라, 이미 빌드된 프로그램을 설치해서 사용하는 구조입니다. Ollama는 LLaMA, Gemma, Mistral 같은 다양한 오픈소스 LLM 모델을
GGUF라는 경량화된 모델 파일 형태로 다운로드 받아, C++ 기반의 고성능 추론 엔진을 통해 내 PC의 CPU 또는 GPU에서 직접 실행합니다.

특히 Ollama는 실행과 동시에 기본 11434번 포트에서 OpenAI API와 완전히 호환되는 REST API 서버를 함께 띄워주기 때문에, 클라우드 대신 ‘로컬 LLM’로 바로 연결해서 사용할 수 있습니다.

구글 Gemma 모델 다운로드 및 실행

이제 구글이 만든 Gemma 모델을 실제로 다운로드하고 실행해보겠습니다.

PowerShell에서 아래 명령어를 실행합니다.

ollama run gemma3:270m

#ollama run phi3

 

 

gemma는 구글이 만든 오픈소스 LLM 모델입니다. 우리가 흔히 알고 있는 구글의 대표 AI 모델은 Gemini인데, Gemma는 이 Gemini를 기반으로 만들어진 경량 오픈 모델입니다. Gemma는 Gemini의 ‘작고 가벼운 사촌(small cousin)’ 같은 모델이라고 이해하면 됩니다. Gemini는 구글의 플래그십(Flagship) 모델로 상용 서비스 중심의 모델이며, Gemma는 누구나 자유롭게 사용할 수 있도록 공개한 경량 오픈소스 모델로 개인 개발자, 연구, 로컬 실험 환경에서 매우 유용하게 활용할 수 있는 모델입니다.

 

여기서 270m는 모델의 파라미터 개수를 의미합니다. 즉, 2억 7천만 개의 파라미터를 가진 모델이라는 뜻입니다.

파라미터란 모델이 학습을 통해 만들어낸 수많은 가중치이며, 다시 말해 모델이 가진 지식의 규모라고 볼 수 있습니다.

일반적으로 파라미터 수가 많을수록 성능은 좋아지지만, 그만큼 시스템 자원도 많이 사용합니다. 반대로 270M 모델은 아주 가볍고 빠른 입문용 모델로, 노트북이나 개인 PC에서도 부담 없이 충분히 실행할 수 있는 크기입니다.

 

위 명령어를 실행하면 다음 과정이 자동으로 진행됩니다.

1. 인터넷에서 Gemma 모델 다운로드
2. 다운로드 완료 후 자동으로 모델 실행
3. 터미널에서 바로 AI와 대화 가능

이제 인터넷 연결 없이도 내 PC에서 구글의 AI 모델을 직접 실행하고, 바로 대화하며 활용할 수 있는 환경이 완성되었습니다.