PHpullh
학습 라이브러리/AI Knowledge/로컬 LLM — Ollama & llama.cpp

AI KNOWLEDGE · AI 개발 통합

로컬 LLM — Ollama & llama.cpp

Ollama: 로컬 LLM 실행 도구. ollama pull llama3.1 → ollama run llama3.1. llama.cpp: C++ GGUF 형식 추론 엔진. LM Studio: GUI 툴. 장점: 프라이버시, 무료. 단점: GPU 필요, GPT-4 대비 성능 낮음.

AI 개발 통합

핵심 설명

Ollama: 로컬 LLM 실행 도구. ollama pull llama3.1 → ollama run llama3.1. llama.cpp: C++ GGUF 형식 추론 엔진. LM Studio: GUI 툴. 장점: 프라이버시, 무료. 단점: GPU 필요, GPT-4 대비 성능 낮음.