내 기기에서 AI 모델 실행

Ollama

CLI + 서버

명령 한 줄로 내 컴퓨터에서 모델 가동. 제한도 한도도 없음.

localhost:11434/v1

LM Studio

데스크톱 앱

GUI를 얹은 Ollama: 검색하고, 받고, 로컬에서 대화.

localhost:1234/v1

llama.cpp

엔진

거의 모든 로컬 도구의 토대가 되는 엔진. 순수 C++, 의존성 없음.

localhost:8080/v1

Jan

데스크톱 앱

100% 오프라인으로 동작하는 오픈소스 ChatGPT 대체재.

localhost:1337/v1

GPT4All

데스크톱 앱

로컬에서 내 문서와 대화. 데이터는 노트북 밖으로 나가지 않음.

Local RAG

vLLM

추론 서버

프로덕션이 실제로 쓰는 서빙 엔진. PagedAttention과 연속 배칭을 내 GPU에서.

localhost:8000/v1

MLX

Apple 실리콘

Apple의 배열 프레임워크. M 시리즈 Mac에서 로컬 실행 최단 루트.

localhost:8080/v1

llamafile

단일 실행 파일

모델과 런타임이 한 파일에. 받아서 chmod +x 하고 실행. 설치 불필요.

localhost:8080/v1

KoboldCpp

단일 실행 파일

llama.cpp를 감싼 단일 실행 파일. 장문·창작에 맞춤 조정.

GGUF