Ollama 모델 실행 안됨: 설치 경로와 모델 설정 해결 방법

Ollama 모델 실행 안됨 문제는 설치 실패처럼 보여도 실제로는 CLI 경로, 실행 중인 서버, 모델 저장 위치와 모델 이름이 서로 다른 경우가 많습니다. 특히 Windows 앱과 WSL, 터미널과 systemd 서비스, 호스트와 Docker는 서로 다른 환경 변수와 저장소를 사용할 수 있습니다. 이 글은 재설치 전에 실행 파일 경로부터 OLLAMA_MODELS, 모델 tag와 Modelfile까지 순서대로 확인하는 방법을 설명합니다.

Ollama 모델이 실행되지 않는 위치부터 찾기

오류를 해결할 때는 설치, 서버, 모델과 실행의 네 단계를 섞지 않는 것이 중요합니다. 아래 표에서 처음 실패하는 행이 실제 출발점입니다.

ollama list는 되는데 앱에서만 모델이 없다고 나오면 앱이 다른 OLLAMA_HOST의 서버를 보고 있을 수 있습니다. 반대로 API의 목록은 있는데 현재 terminal의 CLI가 없으면 PATH만 잘못된 상태일 수 있습니다.

오류 메시지별 원인 빠르게 구분하기

1단계: Ollama 설치 경로와 PATH 확인

Windows 설치 경로 확인

공식 Windows installer는 관리자 권한 없이 사용자 계정에 설치되며, 기본 binary 폴더는 %LOCALAPPDATA%\Programs\Ollama입니다. 먼저 실행 중인 경로를 확인하세요.

where.exe ollama
ollama --version
explorer %LOCALAPPDATA%\Programs\Ollama

where.exe가 여러 경로를 반환하면 오래된 standalone CLI와 앱 설치본이 동시에 PATH에 들어 있을 수 있습니다. 표시된 경로와 버전을 기록한 뒤 실제로 사용할 한 설치본을 정하세요. 설치 위치를 바꿔야 한다면 공식 installer는 다음 옵션을 지원합니다.

OllamaSetup.exe /DIR="D:\Apps\Ollama"

설치 직후 열려 있던 PowerShell은 이전 PATH를 유지할 수 있으므로 닫고 새 terminal을 여세요. PATH를 무작정 여러 번 추가하기보다 where.exe ollama가 의도한 binary 하나를 가리키는지 확인합니다.

macOS 설치 경로 확인

공식 문서는 Ollama 앱을 /Applications로 옮기는 방식을 권장하며, 앱이 CLI를 찾지 못하면 /usr/local/bin에 link를 만드는 권한을 요청할 수 있다고 설명합니다.

command -v ollama
ollama --version
ls -l /usr/local/bin/ollama
ls -l /Applications/Ollama.app/Contents/Resources/ollama

앱을 다른 위치에 두었다면 Ollama.app/Contents/Resources/ollama 또는 그 symbolic link가 PATH에 있어야 합니다. Intel·Apple Silicon shell 설정을 오가며 임의의 복사본을 만들기보다 실제 앱 내부 CLI를 기준으로 link를 확인하세요.

Linux 설치 경로와 서비스 확인

command -v ollama
readlink -f "$(command -v ollama)"
ollama --version
sudo systemctl status ollama --no-pager
sudo systemctl cat ollama

공식 Linux 문서는 설치 방식에 따라 binary가 /usr/local/bin, /usr/bin 또는 /bin에 있을 수 있음을 안내합니다. 경로를 고정해서 추측하지 말고 command -v와 service의 ExecStart를 비교하세요. terminal의 CLI와 systemd가 서로 다른 binary를 실행하면 업데이트 뒤에도 이전 버전 server가 남을 수 있습니다.

2단계: Ollama 서버가 실제로 실행되는지 확인

CLI는 client이고 모델 실행은 기본적으로 Ollama server와 통신합니다. 설치 파일이 있어도 server가 꺼져 있으면 모델을 실행할 수 없습니다.

curl http://localhost:11434/api/tags

• JSON과 models 배열이 나오면 server 연결은 정상입니다.
• 연결 거부라면 앱 또는 service를 시작합니다.
• 예상과 다른 모델 목록이면 다른 사용자·WSL·Docker·원격 server에 연결됐을 가능성을 봅니다.

# Linux
sudo systemctl start ollama
sudo systemctl status ollama --no-pager

# terminal에서 직접 확인할 때
ollama serve

Windows와 macOS에서는 tray·menu bar의 Ollama 앱이 실행 중인지 확인합니다. 이미 11434 포트를 사용하는 다른 Ollama process가 있다면 앱과 수동 ollama serve를 동시에 띄우지 말고 어느 server를 사용할지 정하세요.

3단계: 기본 모델 저장 경로 확인

Ollama 공식 FAQ가 안내하는 기본 모델 위치는 다음과 같습니다.

폴더 안의 blob 파일을 직접 이름 바꾸거나 옮기지 마세요. 모델의 manifest와 blob 관계가 깨질 수 있습니다. 모델 존재 여부는 폴더 크기만 보지 말고 ollama list와 API 목록으로 판단합니다.

ollama list
curl http://localhost:11434/api/tags

4단계: OLLAMA_MODELS를 올바르게 변경하기

모델 저장소를 다른 disk로 옮기려면 OLLAMA_MODELS를 사용합니다. 핵심은 명령을 실행하는 terminal이 아니라 실제 server process에 변수가 적용돼야 한다는 점입니다.

Windows에서 모델 위치 바꾸기

1. 작업 표시줄에서 Ollama를 완전히 종료합니다.
2. Windows의 사용자 환경 변수에 OLLAMA_MODELS를 추가합니다.
3. 값에 새 모델 폴더의 절대 경로를 입력합니다.
4. Ollama 앱을 시작 메뉴에서 다시 실행합니다.
5. ollama list와 API 목록이 같은지 확인합니다.

# 현재 PowerShell 환경에서 값 확인
$env:OLLAMA_MODELS
[Environment]::GetEnvironmentVariable("OLLAMA_MODELS", "User")

기존 모델을 옮길 때는 Ollama를 종료하고 원본을 바로 삭제하지 마세요. 새 경로로 복사한 뒤 정상 목록과 실행을 확인하고, 백업과 복구 가능성을 확보한 다음 정리합니다.

macOS에서 모델 위치 바꾸기

launchctl setenv OLLAMA_MODELS "/Volumes/AIModels/ollama"
launchctl getenv OLLAMA_MODELS

변경 후 Ollama 앱을 종료하고 다시 시작해야 합니다. 외장 disk를 사용한다면 로그인 시 mount되기 전에 Ollama가 시작되는 상황과 macOS의 접근 권한도 확인하세요.

Linux systemd에서 모델 위치 바꾸기

sudo systemctl edit ollama

[Service]
Environment="OLLAMA_MODELS=/mnt/ai-models/ollama"

sudo mkdir -p /mnt/ai-models/ollama
sudo chown -R ollama:ollama /mnt/ai-models/ollama
sudo systemctl daemon-reload
sudo systemctl restart ollama
sudo systemctl show ollama --property=Environment
ollama list

공식 FAQ는 Linux 표준 installer의 ollama 사용자가 지정 폴더에 읽기·쓰기 권한을 가져야 한다고 안내합니다. mount된 disk라면 재부팅 뒤에도 같은 경로와 권한으로 mount되는지 확인하세요.

5단계: 정확한 모델 이름과 tag 확인

model not found가 나오면 추측한 이름 대신 로컬 목록의 NAME을 그대로 복사합니다.

ollama list
ollama show your-model:tag
ollama run your-model:tag

latest를 생략했을 때 기대한 variant가 선택된다고 가정하지 말고, 팀이나 자동화에서는 model과 tag를 함께 고정하세요. API에서도 동일한 이름을 사용합니다.

curl http://localhost:11434/api/generate -d '{
  "model": "your-model:tag",
  "prompt": "실행 확인",
  "stream": false
}'

모델이 없다면 정확한 이름으로 ollama pull을 실행하고 완료 뒤 다시 목록을 확인합니다. pull이 반복 실패하면 disk 공간, proxy와 server log를 확인합니다.

6단계: Modelfile 경로와 설정 검증

사용자 모델은 FROM이 필수입니다. 기존 Ollama 모델을 기반으로 만들 때는 정확한 model tag를, GGUF를 가져올 때는 file 경로를 지정합니다.

FROM your-base-model:tag
PARAMETER num_ctx 4096
SYSTEM You are a concise assistant.

ollama create my-model -f ./Modelfile
ollama show --modelfile my-model
ollama run my-model

GGUF의 상대 경로는 현재 terminal이 아니라 Modelfile 위치를 기준으로 해석됩니다. 경로 문제를 줄이려면 처음에는 절대 경로로 확인한 뒤 프로젝트 구조가 고정되면 상대 경로로 정리하세요.

# 단일 GGUF
FROM /absolute/path/to/model.gguf

# Modelfile과 같은 폴더의 GGUF
FROM ./model.gguf

# 원래 shard 이름을 유지한 분할 GGUF
FROM ./model-*.gguf

Ollama 공식 Import 문서에 따르면 GGUF는 import 과정에서 자동 quantization되지 않습니다. 필요한 quantization을 먼저 준비한 뒤 ollama create를 실행해야 합니다.

7단계: Windows 앱, WSL과 Docker의 저장소를 구분하기

Windows 앱과 WSL 내부 Ollama는 같은 PC에 있어도 서로 다른 server와 Linux filesystem을 사용할 수 있습니다. 아래 결과를 각각 기록하세요.

# Windows PowerShell
where.exe ollama
$env:OLLAMA_HOST
ollama list

# WSL terminal
command -v ollama
printenv OLLAMA_HOST
ollama list

목록이 다르면 두 설치의 모델을 임의로 합치기보다 사용할 server를 하나 정하고 client의 OLLAMA_HOST를 그 server로 맞추세요. 네트워크 공개 범위를 넓힐 때는 접근 통제 없이 외부에 노출하지 않습니다.

Docker에서는 container filesystem에만 모델을 받으면 container 재생성 때 사라질 수 있습니다. 공식적인 named volume 구조를 유지하세요.

docker run -d \
  -v ollama:/root/.ollama \
  -p 11434:11434 \
  --name ollama \
  ollama/ollama

docker exec ollama ollama list
docker logs --tail 200 ollama
docker inspect ollama

호스트의 ollama list와 container 내부 목록은 다른 server를 조회할 수 있습니다. container 문제는 반드시 docker exec 결과와 volume mount를 함께 확인하세요.

Ollama 로그 위치와 확인할 문장

모델 경로, permission, manifest, port bind, runner 종료 메시지를 오류 시각 앞뒤로 보존하세요. 공개 질문에 로그를 첨부할 때 사용자명, 내부 IP, proxy와 개인 경로는 가립니다.

변경 후 검증하는 10분 테스트

1. where.exe ollama 또는 command -v ollama로 binary를 기록합니다.
2. ollama --version과 실행 중 server log의 버전을 비교합니다.
3. curl http://localhost:11434/api/tags로 server와 모델 목록을 확인합니다.
4. ollama list에서 model tag를 그대로 복사합니다.
5. ollama show로 model metadata를 확인합니다.
6. 짧은 prompt로 ollama run을 실행합니다.
7. 실패하면 같은 시각의 server log와 환경 변수를 기록합니다.
8. 설정 하나만 바꾼 뒤 같은 명령으로 재검증합니다.

Ollama 설치 경로·모델 설정 점검표 CSV 내려받기

삭제와 재설치 전에 확인할 것

• OLLAMA_MODELS가 지정된 상태에서 모델 폴더를 삭제하지 않습니다.
• Windows 앱과 standalone CLI, WSL 설치본을 구분하지 않고 모두 지우지 않습니다.
• Docker named volume을 container와 함께 삭제하지 않습니다.
• 모델 blob의 filename을 직접 바꾸지 않습니다.
• Linux에서 권한 오류를 해결하려고 전체 모델 폴더에 무분별한 chmod 777을 적용하지 않습니다.
• 기존 모델을 옮긴 뒤 검증하기 전에 원본을 삭제하지 않습니다.

최종 체크리스트

편집부 결론

Ollama 모델 실행 안됨 문제에서 재설치는 마지막 단계입니다. 먼저 CLI가 어디에 있는지, 어느 server에 연결되는지, 그 server가 어떤 모델 폴더를 읽는지 확인해야 합니다. 이 세 경로가 일치하면 모델 이름과 Modelfile 설정을 좁혀볼 수 있습니다.

설정을 바꿀 때는 실행 중인 앱이나 service를 재시작하고 동일한 모델 tag와 prompt로 결과를 비교하세요. 작은 모델도 runner 단계에서 종료된다면 경로 문제가 아니라 GPU 또는 메모리 문제일 수 있으므로 관련 진단 글로 분기하는 것이 빠릅니다.

공식 문서와 함께 읽을 글

Ollama 모델 저장 위치와 환경 변수 확인하기

Ollama 공식 로그 위치 확인하기

Ollama Modelfile 공식 문법 확인하기

GGUF·Safetensors 모델 가져오기

Ollama CUDA·GPU 실행 실패 해결하기

Ollama RAM·VRAM 부족 해결하기

CLI 실행 오류를 단계별로 진단하기

Windows 앱과 CLI 설치 경로 확인하기

자주 묻는 질문

Ollama가 설치됐는데 command not found가 나오는 이유는 무엇인가요?

앱은 설치됐지만 CLI link나 PATH가 현재 terminal에 반영되지 않았을 수 있습니다. Windows는 where.exe ollama, macOS·Linux는 command -v ollama로 실제 경로를 확인하고 새 terminal에서 다시 검사하세요.

Windows에서 Ollama 실행 파일은 어디에 있나요?

공식 installer의 기본 binary 위치는 %LOCALAPPDATA%\Programs\Ollama입니다. 사용자 지정 설치라면 where.exe ollama 결과를 기준으로 확인하세요.

Ollama 모델 파일은 어디에 저장되나요?

기본값은 Windows C:\Users\사용자명\.ollama\models, macOS ~/.ollama/models, Linux 표준 service /usr/share/ollama/.ollama/models입니다. OLLAMA_MODELS를 설정했다면 해당 경로가 우선합니다.

OLLAMA_MODELS를 설정했는데 기존 모델이 사라졌습니다

모델이 삭제된 것이 아니라 새 server가 다른 빈 폴더를 읽는 경우가 많습니다. 실행 중인 Ollama를 종료하고 환경 변수가 실제 앱·service에 적용됐는지 확인한 뒤 원본과 새 경로를 비교하세요.

ollama list에는 모델이 있는데 run에서 찾지 못합니다

서로 다른 server를 보고 있거나 model tag를 다르게 입력했을 수 있습니다. OLLAMA_HOST, API의 모델 목록과 CLI 목록을 비교하고 NAME을 그대로 복사해 실행하세요.

Windows Ollama와 WSL Ollama는 같은 모델을 사용하나요?

기본적으로는 서로 다른 설치와 filesystem을 사용할 수 있습니다. 각 환경의 ollama list, OLLAMA_HOST와 모델 경로를 확인하고 사용할 server를 명확히 정하세요.

Modelfile에서 GGUF 경로는 무엇을 기준으로 하나요?

상대 경로는 Modelfile이 있는 위치를 기준으로 합니다. 처음에는 절대 경로로 file 존재를 확인하고, 분할 GGUF는 원래 shard 이름을 유지한 wildcard를 사용하세요.

모델을 다른 disk로 옮길 때 폴더만 이동하면 되나요?

Ollama를 종료하고 전체 저장 구조를 보존해 복사한 뒤 OLLAMA_MODELS와 권한을 설정해야 합니다. 목록과 실제 실행을 확인하기 전에는 원본을 삭제하지 않는 것이 안전합니다.

재설치하면 모델 실행 문제가 모두 해결되나요?

PATH나 손상된 binary에는 도움이 될 수 있지만 다른 server, 잘못된 모델 폴더, 권한, tag와 Modelfile 문제는 재설치 후에도 남을 수 있습니다. 먼저 어느 단계에서 실패하는지 확인하세요.