AI KNOWLEDGE · 기초 개념
Mixture of Experts(MoE) 아키텍처
하나의 거대 모델 대신 여러 전문가(Expert) 모델의 앙상블. Gating Network가 입력에 따라 적합한 전문가 선택. GPT-4, Mistral Mixtral이 MoE 기반. 장점: 동일 파라미터 대비 성능↑, 추론 속도↑. 단점: 로드 밸런싱 어려움.
기초 개념
핵심 설명
하나의 거대 모델 대신 여러 전문가(Expert) 모델의 앙상블. Gating Network가 입력에 따라 적합한 전문가 선택. GPT-4, Mistral Mixtral이 MoE 기반. 장점: 동일 파라미터 대비 성능↑, 추론 속도↑. 단점: 로드 밸런싱 어려움.
Continue Learning
AI Knowledge 학습을 이어가세요
총 100개의 독립 HTML 학습 문서 중 하나입니다. 각 문서는 고유 URL과 canonical 메타데이터를 가집니다.