PHpullh
학습 라이브러리/AI Knowledge/Edge AI — 온디바이스 추론

AI KNOWLEDGE · AI Ops & 운영

Edge AI — 온디바이스 추론

클라우드 의존 없이 기기에서 AI 실행. Core ML(iOS), ONNX Runtime(범용), TFLite(Android), MediaPipe. 모델 경량화: 양자화(int8), 프루닝, 증류. LLM: llama.cpp, MLC LLM으로 모바일 실행. 프라이버시와 오프라인 동작이 장점.

AI Ops & 운영

핵심 설명

클라우드 의존 없이 기기에서 AI 실행. Core ML(iOS), ONNX Runtime(범용), TFLite(Android), MediaPipe. 모델 경량화: 양자화(int8), 프루닝, 증류. LLM: llama.cpp, MLC LLM으로 모바일 실행. 프라이버시와 오프라인 동작이 장점.