프롬프트 엔지니어링 기초
AI에게 명확하고 구체적인 지시를 내리는 기술. 역할(Role), 맥락(Context), 작업(Task), 형식(Format)의 RCTF 구조로 프롬프트를 설계합니다. 모호한 요청보다 구체적 지시가 10배 나은 결과를 냅니다.
STATIC LEARNING LIBRARY
AI Knowledge 학습 예제
100개 예제를 개별 HTML 문서로 제공합니다. 검색엔진과 공유 링크에서 각 주제를 바로 열 수 있습니다.
AI Knowledge
기초 개념
토큰 이해와 비용 최적화
LLM은 토큰 단위로 과금됩니다. GPT-4는 약 4글자=1토큰(한국어는 1글자=2~3토큰). 컨텍스트 윈도우 한계 내에서 중요 정보를 앞에 배치하고, 불필요한 반복을 제거해 비용을 30~50% 줄일 수 있습니다.
Temperature & Sampling 파라미터
temperature(0~2): 낮을수록 결정적, 높을수록 창의적. top_p: 누적 확률 컷오프. 코드 생성은 temperature 0.1~0.3, 창의적 글쓰기는 0.7~1.0이 적합합니다. top_p와 temperature는 동시 조정보다 하나만 변경하세요.
LLM 모델 비교와 선택 기준
GPT-4o: 범용 최강, 비쌈. Claude 3.5 Sonnet: 코드·분석 특화, 긴 컨텍스트. Gemini 1.5 Pro: 멀티모달, 100만 토큰 컨텍스트. Llama 3.1: 오픈소스, 로컬 실행. 작업 유형과 비용에 맞게 선택하세요.
Hallucination(환각) 이해와 방지
LLM이 사실처럼 보이는 거짓 정보를 생성하는 현상. 방지 전략: ①RAG로 사실 기반 컨텍스트 제공 ②"모르면 모른다고 답하라" 명시 ③인용 출처 요청 ④Chain-of-Thought로 추론 과정 노출 ⑤검증 단계 추가.
컨텍스트 윈도우 관리 전략
긴 대화에서 초기 맥락이 사라지는 "lost in the middle" 문제. 전략: ①중요 정보는 처음과 끝에 배치 ②대화 요약을 주기적으로 삽입 ③슬라이딩 윈도우 방식으로 최근 N턴만 유지 ④RAG로 필요 시 컨텍스트 동적 주입.
임베딩과 벡터 유사도 기초
텍스트를 의미를 담은 고차원 벡터로 변환. 코사인 유사도로 의미적 유사성을 측정. OpenAI text-embedding-3-small(저비용), text-embedding-3-large(고성능). 한국어는 multilingual-e5-large 등이 효과적입니다.
Transformer 아키텍처 직관적 이해
Self-Attention: 각 토큰이 다른 모든 토큰과 얼마나 관련 있는지 계산. "어텐션은 연관성 가중치". Multi-head: 여러 관점에서 동시 분석. Positional Encoding: 순서 정보 추가. GPT는 다음 토큰 예측, BERT는 마스킹 예측으로 학습.
Instruction Tuning & RLHF 이해
Instruction Tuning: 지시-응답 쌍으로 파인튜닝해 지시 따르는 능력 향상. RLHF(인간 피드백 강화학습): 인간이 좋은 응답을 선택 → 보상 모델 학습 → PPO로 정책 최적화. ChatGPT가 채팅에 최적화된 이유입니다.
Fine-tuning vs Prompting vs RAG
파인튜닝: 특정 스타일/도메인 최적화, 비용 큼. 프롬프팅: 즉시 적용, 유연, 토큰 소비. RAG: 최신 정보 반영, 검증 가능, 복잡. 선택 기준: 업무 특화 → 파인튜닝, 지식 갱신 필요 → RAG, 일반 작업 → 프롬프팅.
Mixture of Experts(MoE) 아키텍처
하나의 거대 모델 대신 여러 전문가(Expert) 모델의 앙상블. Gating Network가 입력에 따라 적합한 전문가 선택. GPT-4, Mistral Mixtral이 MoE 기반. 장점: 동일 파라미터 대비 성능↑, 추론 속도↑. 단점: 로드 밸런싱 어려움.
AI 에이전트 메모리 아키텍처
단기 기억: 현재 컨텍스트 윈도우. 장기 기억: 벡터 DB(에피소딕 메모리). 절차적 기억: 실행 가능한 함수/도구 목록. 시맨틱 메모리: 사실/지식 그래프. mem0, Zep 라이브러리로 에이전트 메모리 관리. 메모리 설계가 에이전트 지능의 핵심입니다.
Retrieval-Augmented Fine-tuning (RAFT)
RAG와 Fine-tuning의 결합. 파인튜닝 데이터에 관련/비관련 문서를 함께 포함해 "문서에서 답을 찾는" 능력을 학습. 일반 파인튜닝보다 도메인 RAG 성능이 35% 이상 향상. 오라클 문서와 함께 Chain-of-Thought 학습이 핵심입니다.
LLM 추론 최적화 — vLLM & TensorRT
오픈소스 LLM 서빙 최적화. vLLM: PagedAttention으로 메모리 효율 3~4배, 처리량 10~24배↑. TensorRT-LLM: NVIDIA GPU 최적화. Flash Attention: 메모리 효율적 어텐션 계산. 프로덕션 LLM 서빙은 vLLM이 사실상 표준입니다.
AI 미래 트렌드 2025-2026
주목할 트렌드: ①Agent + 도구 사용 일상화 ②멀티모달(텍스트+이미지+음성+비디오) 통합 ③소형 고효율 모델(Phi-3, Gemma 2) 성장 ④추론 모델(o1 계열) 발전 ⑤물리 AI(로봇, 자율주행) ⑥AI Native 앱 기본화.
개발자를 위한 AI 학습 로드맵
① 기초: 프롬프트 엔지니어링 → LLM API 호출 → RAG 구현 ② 중급: 에이전트 설계 → LangChain/LlamaIndex → 평가 시스템 ③ 고급: 파인튜닝 → MLOps → 멀티 에이전트. 추천 순서: fast.ai → deeplearning.ai LLM 코스 → 실전 프로젝트.
AI Knowledge
프롬프트 엔지니어링
Chain-of-Thought(CoT) 프롬프팅
"단계별로 생각해보세요"(Let's think step by step)를 추가하면 복잡한 추론 정확도가 크게 향상됩니다. 특히 수학, 논리, 코딩 문제에 효과적. Few-shot CoT: 예시와 함께 추론 과정도 제공하면 더욱 강력합니다.
Zero-shot vs Few-shot 프롬프팅
Zero-shot: 예시 없이 지시만으로 실행. Few-shot: 입력-출력 예시를 2~5개 제공. 예시가 있으면 형식과 스타일이 일관되지만 토큰이 증가합니다. 복잡한 작업일수록 Few-shot이 효과적입니다.
Role Prompting — 페르소나 설정
"당신은 10년 경력의 시니어 Kotlin 개발자입니다"처럼 역할을 부여하면 응답 품질이 향상됩니다. 역할은 구체적일수록 좋습니다. "전문가"보다 "삼성 SDS에서 15년간 일한 시스템 아키텍트"가 더 효과적입니다.
Structured Output — JSON/XML 강제
LLM 응답을 파싱 가능한 구조로 받기. ①시스템 프롬프트에 JSON 스키마 명시 ②"JSON만 반환하고 다른 텍스트는 금지" 명시 ③OpenAI JSON mode 활용 ④Anthropic tool_use 활용. 파싱 실패에 대비한 retry 로직도 필요합니다.
Tree of Thoughts(ToT) 프롬프팅
단순 CoT 대신 여러 추론 경로를 탐색하는 기법. "이 문제를 3가지 다른 방법으로 접근하고 각각의 장단점을 평가하세요"처럼 분기 탐색을 유도. 복잡한 계획 수립, 창의적 문제 해결에 효과적입니다.
Self-Consistency 기법
동일 프롬프트를 여러 번 실행해 가장 일관된 답을 선택. temperature를 높여 다양한 응답 생성 후 다수결. 수학/논리 문제에서 정확도 10~15% 향상. 비용이 N배 증가하므로 중요한 작업에만 적용합니다.
프롬프트 템플릿 관리와 버전 관리
프롬프트를 코드처럼 Git으로 관리. 변수 치환을 위한 {{변수명}} 템플릿 시스템 구축. LangSmith, PromptLayer로 A/B 테스트와 성능 추적. 변경 시 회귀 테스트 자동화로 품질 저하를 방지합니다.
시스템 프롬프트 설계 원칙
좋은 시스템 프롬프트 구성: ①역할과 전문성 정의 ②응답 형식 명세 ③하지 말아야 할 것 명시 ④예외 처리 방법 ⑤언어 및 톤 설정. 시스템 프롬프트는 유저 프롬프트보다 우선순위가 높습니다.
Prompt Injection 공격과 방어
사용자 입력에 "이전 지시를 무시하고..." 같은 악의적 프롬프트를 삽입하는 공격. 방어: ①사용자 입력과 시스템 프롬프트 분리 ②입력 검증 및 이스케이프 ③LLM 응답 검증 ④권한 최소화 원칙 적용.
Prompt Chaining — 복잡한 작업 분해
긴 단일 프롬프트보다 여러 단계로 분해하는 것이 효과적. 예: ①문서 요약 → ②핵심 포인트 추출 → ③보고서 작성. 각 단계의 출력이 다음 단계의 입력. 복잡한 RAG 파이프라인도 이 패턴으로 구성합니다.
AI Knowledge
RAG & 검색
RAG(검색 증강 생성) 기초 아키텍처
외부 지식을 검색해 LLM에게 제공하는 패턴. ①문서 → 청킹 → 임베딩 → 벡터 DB 저장 ②질문 임베딩 → 유사 문서 검색 ③검색 결과 + 질문 → LLM → 응답. 최신 정보, 도메인 특화, 검증 가능성이 장점입니다.
청킹(Chunking) 전략
문서를 검색 가능한 크기로 자르는 방법. ①고정 크기(500~1000 토큰, 20% 오버랩) ②문장/단락 기준 ③재귀적 분할(헤더→섹션→단락) ④시맨틱 청킹(의미 변화 지점). 문서 유형에 따라 전략이 다릅니다.
벡터 DB 선택과 활용
Pinecone: 관리형, 프로덕션 최적. Weaviate: 오픈소스, 하이브리드 검색. Qdrant: Rust 기반, 고성능. Chroma: 로컬 개발용. pgvector: PostgreSQL 확장, 기존 DB 활용. 소규모는 FAISS로도 충분합니다.
하이브리드 검색 — 벡터 + 키워드
순수 벡터 검색의 한계: 정확한 키워드나 숫자 매칭에 약함. 하이브리드: BM25(키워드) + 벡터 검색 결합. RRF(Reciprocal Rank Fusion)로 점수 통합. 대부분의 실전 RAG는 하이브리드로 10~20% 성능 향상을 봅니다.
Re-ranking — 검색 품질 향상
1차 검색(속도 우선, Top-K=50) → 2차 재순위(품질 우선, Top-K=5). Cross-encoder 재순위 모델(Cohere, BGE)이 bi-encoder보다 정확. Sentence-transformers/cross-encoder 라이브러리로 구현. 지연이 50~100ms 증가합니다.
Query Expansion & HyDE
Query Expansion: 검색어를 동의어/관련어로 확장. HyDE(Hypothetical Document Embedding): LLM으로 가상의 답변을 생성하고 이 답변으로 검색. 질문과 문서의 의미 공간 차이를 줄여 검색 품질을 향상시킵니다.
Contextual Compression & 문서 필터링
검색된 문서에서 질문과 관련 없는 부분을 LLM으로 압축. LLMChainExtractor, EmbeddingsFilter 활용. 토큰 절약과 응답 품질 향상을 동시에 달성. 긴 문서에서 핵심만 추출해 컨텍스트 윈도우를 효율적으로 사용합니다.
GraphRAG — 지식 그래프 기반 RAG
일반 RAG의 한계: 분산된 문서 간 관계 파악 어려움. GraphRAG(Microsoft): 문서에서 엔티티와 관계를 추출해 그래프 구성 → 그래프 탐색으로 연결된 컨텍스트 제공. 복잡한 다중 홉 질문에 효과적입니다.
RAG 평가 지표 — RAGAS
RAGAS 프레임워크의 4가지 지표: ①Faithfulness(충실도): 답변이 컨텍스트에 근거하는가 ②Answer Relevancy(관련성): 질문에 답하는가 ③Context Precision: 검색된 컨텍스트가 관련 있는가 ④Context Recall: 필요한 정보를 다 찾았는가.
Semantic Caching — RAG 비용 최적화
유사한 질문에 대해 캐시된 답변을 재사용. 코사인 유사도 > 0.95이면 캐시 히트. GPTCache 라이브러리 활용. 반복적인 질문이 많은 고객 지원 챗봇에서 API 비용 40~60% 절감. 캐시 TTL과 무효화 전략도 필요합니다.
AI Knowledge
AI 개발 통합
LLM API 통합 — OpenAI & Anthropic
OpenAI: chat.completions.create, 스트리밍은 stream=True. Anthropic: messages.create, max_tokens 필수. 공통 패턴: 재시도 로직(tenacity), 타임아웃 설정, 비용 추적. 환경변수로 API 키 관리, 절대 코드에 하드코딩 금지.
스트리밍 응답 구현
SSE(Server-Sent Events)로 실시간 토큰 출력. Python: for chunk in client.messages.stream(). Kotlin: Flow 활용. 사용자 경험 향상과 체감 속도 개선. 청크 단위 처리로 첫 토큰까지의 시간(TTFT)을 줄입니다.
Function Calling / Tool Use 구현
LLM이 외부 함수/API를 호출할 수 있게 하는 기능. OpenAI tools 파라미터에 함수 스키마 정의 → LLM이 함수 호출 결정 → 앱이 함수 실행 → 결과를 LLM에 피드백. 날씨, DB 조회, 계산기 등 외부 정보 접근에 필수.
MCP(Model Context Protocol) 활용
Anthropic이 만든 AI 도구 표준화 프로토콜. LLM이 파일 시스템, DB, API를 표준 방식으로 접근. Claude Desktop에서 MCP 서버 연결로 로컬 파일 읽기, GitHub 접근 등이 가능. 생태계가 빠르게 성장 중입니다.
LangChain 핵심 컴포넌트
Chain: 여러 LLM 호출 연결. Agent: 도구를 선택해 자율 실행. Memory: 대화 기록 관리. Retriever: 문서 검색. LCEL(LangChain Expression Language): 파이프(|)로 컴포넌트 연결. 복잡한 파이프라인은 LangGraph를 활용합니다.
LlamaIndex — 데이터 프레임워크
RAG 특화 프레임워크. Document → Node Parser → Index → Query Engine 파이프라인. VectorStoreIndex, SummaryIndex, KnowledgeGraphIndex 등 다양한 인덱스. LangChain보다 RAG 구축에 더 직관적입니다.
로컬 LLM — Ollama & llama.cpp
Ollama: 로컬 LLM 실행 도구. ollama pull llama3.1 → ollama run llama3.1. llama.cpp: C++ GGUF 형식 추론 엔진. LM Studio: GUI 툴. 장점: 프라이버시, 무료. 단점: GPU 필요, GPT-4 대비 성능 낮음.
AI 코드 생성 도구 비교
GitHub Copilot: 코드 자동완성 1위. Cursor: AI 에디터, Composer로 파일 단위 생성. Claude Code: 터미널 에이전트, 코드베이스 전체 이해. Windsurf: Codeium 기반. 용도: 자동완성→Copilot, 대규모 리팩터링→Cursor/Claude Code.
AI 기반 코드 리뷰 자동화
PR에 AI 리뷰어 연결: CodeRabbit, Cursor Rules, GitHub Actions + LLM. 시스템 프롬프트에 코딩 컨벤션 삽입. 보안 취약점, 성능 문제, 코드 스타일 자동 체크. 사람 리뷰어의 반복적 지적 사항을 먼저 제거합니다.
멀티모달 AI 활용 — 이미지 & 음성
GPT-4V, Claude 3 Vision: 스크린샷에서 코드 추출, UI 설계도 분석. DALL-E, Stable Diffusion: 이미지 생성. Whisper: 음성→텍스트, 실시간 회의록. ElevenLabs, TTS: 텍스트→음성. 멀티모달은 UX 자동화에 강력합니다.
AI 테스트 자동화
LLM 앱의 비결정성 때문에 기존 단위 테스트로는 불충분. ①골든 셋 테스트: 정답 데이터셋으로 회귀 테스트 ②LLM as Judge: AI가 AI 응답을 평가 ③퍼즈 테스트: 변형된 입력으로 강건성 테스트 ④속성 기반 테스트. LangSmith, Braintrust 활용.
Webhook과 AI 자동화 통합
외부 이벤트 → AI 처리 → 결과 전달 패턴. GitHub PR 생성 → AI 코드 리뷰 → 코멘트. Slack 메시지 → AI 분류 → 담당자 라우팅. Stripe 결제 → AI 사기 감지 → 승인/거절. ngrok으로 로컬 테스트, 프로덕션은 HTTPS 엔드포인트 필수.
AI 기반 데이터 추출 — Information Extraction
비정형 텍스트에서 구조화 데이터 추출. ①Named Entity Recognition(NER): 이름, 날짜, 장소 ②Relation Extraction: 엔티티 간 관계 ③Event Extraction: 사건 정보 ④Table Extraction. LLM + JSON 스키마로 구현하면 Spacy보다 유연합니다.
AI 페어 프로그래밍 워크플로우
AI와 함께 효율적으로 코딩하는 방법. ①스펙 작성 → AI 초안 생성 ②AI 코드 리뷰 요청 ③테스트 케이스 AI 생성 ④리팩터링 제안 요청 ⑤문서화 자동화. AI를 "아주 빠른 주니어"로 활용. 아키텍처 결정은 사람이 하되 구현은 AI에 위임.
AI 국제화 — 다국어 지원
다국어 AI 서비스 구축. ①언어 감지(langdetect, fasttext) ②LLM 자체 다국어 능력 활용 ③번역 레이어(DeepL API, Google Translate) ④다국어 임베딩(LaBSE, multilingual-e5) ⑤언어별 평가 데이터셋. 한국어는 GPT-4/Claude가 매우 뛰어납니다.
AI Knowledge
아키텍처 & 패턴
AI 에이전트 설계 패턴
에이전트 루프: 계획(Plan) → 도구 선택(Act) → 관찰(Observe) → 반복. ReAct(Reasoning + Acting) 패턴. 메모리: Short-term(컨텍스트), Long-term(벡터 DB), Episodic(이전 경험). 에이전트는 목표 달성까지 자율 반복합니다.
멀티 에이전트 시스템 — AutoGen & CrewAI
여러 전문 에이전트가 협력해 복잡한 작업 수행. AutoGen(Microsoft): 에이전트 간 자동 대화. CrewAI: 역할 기반 팀 에이전트. 패턴: ①순차 실행 ②병렬 실행 ③계층적 실행. 한 에이전트의 실패가 전체를 막을 수 있어 에러 처리가 중요합니다.
LangGraph — 상태 기반 워크플로우
LangChain의 그래프 기반 에이전트 오케스트레이션. 노드(LLM 호출/함수)와 엣지(조건부 분기)로 복잡한 워크플로우 표현. 상태 머신으로 에이전트 루프 구현. 체크포인트로 중간 상태 저장/복구가 가능합니다.
AI 애플리케이션 평가(Evals) 시스템
LLM 앱 품질을 자동 측정. ①기준 답변과 LLM 비교(G-Eval) ②인간 평가자 레이블 수집 ③A/B 테스트 ④지표: 정확도, 관련성, 무해성. LangSmith, Weave(W&B), Phoenix(Arize)로 운영. 에벌 없이 LLM 앱 개선은 블라인드 항법입니다.
AI 시스템 관찰성(Observability)
프로덕션 LLM 앱 모니터링. 추적: 각 LLM 호출의 입출력, 레이턴시, 토큰. 지표: 오류율, 비용, 사용자 만족도. 도구: LangSmith, Langfuse, Helicone, OpenTelemetry. 문제 진단 시 전체 체인의 흐름을 시각화하는 것이 핵심입니다.
AI 게이트웨이 패턴
여러 LLM 프로바이더를 통합 관리하는 레이어. 기능: ①프로바이더 장애 시 자동 전환(fallback) ②로드 밸런싱 ③비용 제어 ④캐싱 ⑤레이트 리미팅. OpenRouter, LiteLLM, Portkey 활용. 단일 코드베이스로 다양한 모델 전환이 가능합니다.
AI 파이프라인 오케스트레이션
복잡한 AI 워크플로우의 스케줄링과 모니터링. Apache Airflow: 배치 파이프라인. Prefect: Python 기반, 더 간단. Temporal: 내구성 있는 워크플로우. LLM 재처리, 벡터 DB 업데이트, 모델 재학습 파이프라인 관리에 활용됩니다.
Knowledge Base 설계 패턴
기업 지식을 AI가 활용 가능하게 구조화. ①문서 계층 설계(FAQ, 정책, 매뉴얼) ②메타데이터 스키마 정의(날짜, 부서, 권한) ③업데이트 주기 설정 ④접근 권한 관리. 좋은 KB 설계가 RAG 품질의 70%를 결정합니다.
Agentic RAG — 에이전트 + RAG 결합
단순 RAG를 넘어 에이전트가 검색 전략을 자율 결정. 쿼리 분해 → 각 서브쿼리로 검색 → 정보 통합 → 최종 답변. Self-RAG: 검색 필요 여부를 LLM이 판단. CRAG(Corrective RAG): 검색 결과 평가 후 보정.
AI Safety & Alignment 기초
AI가 의도대로 동작하도록 설계하는 원칙. ①Constitutional AI(Anthropic): 원칙 기반 훈련 ②RLHF: 인간 피드백으로 정렬 ③Red Teaming: 의도적 공격으로 취약점 발견 ④Guardrails: 응답 전/후 안전 필터. Nemo Guardrails, Llama Guard 활용.
실시간 AI 처리 — WebSocket & 스트리밍
실시간 AI 응답 구현 스택. Backend: FastAPI/WebSocket + asyncio, Node.js/SSE. Frontend: EventSource, ReadableStream. 토큰 버퍼링으로 UI 깜빡임 방지. 긴 응답은 스트리밍으로, 짧은 응답은 일반 API가 효율적입니다.
Document Ingestion 파이프라인
기업 문서를 RAG용으로 자동 처리. ①소스: S3, SharePoint, Notion, Confluence ②형식 파싱: PDF, DOCX, PPTX, HTML ③청킹 & 임베딩 ④벡터 DB 저장 ⑤증분 업데이트(변경된 문서만 재처리). Airbyte, Unstructured, LlamaHub Loaders 활용.
AI 기반 추천 시스템
임베딩 유사도 기반 콘텐츠 추천. ①사용자 행동 → 임베딩 ②아이템 임베딩과 유사도 검색 ③CF(협업 필터링) + CB(콘텐츠 기반) 하이브리드. LLM 설명 생성: "이 책을 추천하는 이유는...". Two-Tower 모델로 수백만 아이템을 실시간 처리합니다.
대화형 AI 설계 — 상태 관리
챗봇의 대화 상태 관리. 방법: ①전체 히스토리(토큰 많음) ②슬라이딩 윈도우 ③요약 메모리(주기적 요약 삽입) ④엔티티 메모리(언급된 사람/장소 추적). LangChain Memory 모듈. 장기 대화에서 일관성 유지가 핵심 과제입니다.
AI 거버넌스 기술 구현
책임 있는 AI를 위한 기술적 구현. ①결정 로깅(입력, 출력, 모델, 프롬프트 버전) ②설명 가능성(LLM 설명 생성) ③감사 추적(변경 불가 로그) ④편향 모니터링 ⑤휴먼 인더루프(고위험 결정 시 사람 검토). EU AI Act 고위험 시스템 요구사항 대응.
AI Knowledge
AI Ops & 운영
LLM 비용 최적화 전략
①모델 선택: 작은 작업은 GPT-4o-mini, Claude Haiku ②프롬프트 압축: LLMLingua로 30~50% 토큰 절감 ③캐싱: 동일 프롬프트 재사용 ④배치 처리: OpenAI Batch API로 50% 할인 ⑤결과 재사용: 이전 응답 캐시.
Rate Limiting & Retry 전략
OpenAI/Anthropic API는 RPM(분당 요청)과 TPM(분당 토큰) 제한. 전략: ①지수 백오프 재시도(1s→2s→4s→8s) ②토큰 버킷 알고리즘으로 요청 조절 ③여러 API 키 로드 밸런싱 ④비동기 큐로 배치 처리. tenacity 라이브러리 활용.
AI 모델 배포 — MLOps 기초
모델을 프로덕션에 배포하는 파이프라인. ①실험 추적(MLflow, W&B) ②모델 레지스트리 ③CI/CD 통합 ④A/B 테스트(Canary 배포) ⑤모델 모니터링(드리프트 감지). BentoML, Ray Serve, TorchServe로 서빙합니다.
Edge AI — 온디바이스 추론
클라우드 의존 없이 기기에서 AI 실행. Core ML(iOS), ONNX Runtime(범용), TFLite(Android), MediaPipe. 모델 경량화: 양자화(int8), 프루닝, 증류. LLM: llama.cpp, MLC LLM으로 모바일 실행. 프라이버시와 오프라인 동작이 장점.
AI 로깅과 디버깅 전략
LLM 앱 디버깅의 어려움: 비결정성, 긴 체인. 전략: ①모든 LLM 입출력 로깅 ②요청/응답을 UUID로 추적 ③프롬프트 변수를 구조화 로그에 포함 ④비용과 레이턴시를 메트릭으로 수집 ⑤이상 응답 알림 설정.
AI 데이터 파이프라인 구축
AI 학습/평가 데이터 관리. ①데이터 수집(크롤링, API, 사용자 로그) ②전처리(정규화, 중복 제거, 품질 필터) ③레이블링(Label Studio, Scale AI) ④버전 관리(DVC) ⑤데이터 카탈로그(Amundsen). 데이터 품질이 모델 품질의 핵심입니다.
프롬프트 A/B 테스트
두 가지 프롬프트 버전의 성능을 통계적으로 비교. ①지표 정의(정확도, 관련성, 사용자 만족) ②샘플 크기 계산(통계적 유의성) ③무작위 배정 ④결과 분석. 직관보다 데이터로 프롬프트를 개선합니다. LangSmith Experiments가 자동화를 지원합니다.
모델 드리프트 감지와 대응
배포 후 시간이 지나면서 성능이 저하되는 현상. 데이터 드리프트: 입력 분포 변화. 컨셉 드리프트: 정답 기준 변화. 감지: 통계 검정(KS-test, PSI). 대응: 재학습 파이프라인, 롤백 메커니즘. EvidentlyAI, WhyLabs로 모니터링합니다.
AI 캐싱 계층 설계
①정확 캐싱: 동일 프롬프트 해시 매칭 ②시맨틱 캐싱: 의미적으로 유사한 질문 감지(GPTCache) ③응답 캐싱: CDN/Redis에 LLM 응답 저장 ④프롬프트 접두어 캐싱(Anthropic prompt caching): 반복되는 긴 시스템 프롬프트 비용 절감.
LLM 프로덕션 체크리스트
①API 키 보안(환경변수, 비밀 관리자) ②타임아웃/재시도 ③비용 예산 알림 ④PII(개인정보) 필터링 ⑤응답 검증(길이, 형식) ⑥폴백 응답 ⑦로깅 및 추적 ⑧SLA 모니터링 ⑨사용량 할당량 ⑩인시던트 대응 플레이북.
AI 비용 예산 관리와 알림
LLM API 비용 폭발 방지. ①사용자별/기능별 비용 추적 ②일일 예산 한도 설정 ③임계값 초과 시 Slack 알림 ④비용 이상 감지(갑자기 10배 증가 등) ⑤청구서 분석으로 고비용 프롬프트 식별. OpenAI Usage API로 실시간 모니터링 가능.
멀티테넌트 AI 서비스 설계
여러 고객사가 공유하는 AI 서비스. 데이터 격리: 테넌트별 별도 벡터 DB 컬렉션. 비용 추적: 테넌트별 토큰 사용량. 맞춤화: 테넌트별 시스템 프롬프트. 보안: 교차 테넌트 데이터 유출 방지. 메타데이터 필터링으로 격리를 구현합니다.
AI 시스템 장애 대응 플레이북
LLM 서비스 장애 시나리오별 대응. API 장애 → 폴백 모델(GPT-4 → GPT-4o-mini) 자동 전환. 응답 품질 저하 → 프롬프트 이전 버전으로 롤백. 비용 급증 → 자동 차단 + 알림. 레이턴시 급증 → 캐시 우선 응답.
AI Knowledge
보안 & 윤리
AI 보안 위협 모델
LLM 앱의 주요 보안 위협: ①Prompt Injection ②Jailbreak(안전 장치 우회) ③Training Data Extraction ④Model Inversion ⑤供给链 공격(악성 데이터셋). OWASP LLM Top 10을 기준으로 위협 모델링을 수행하세요.
개인정보(PII) 처리와 GDPR
LLM API에 PII를 전송하면 법적 문제. 전략: ①익명화(이름, 이메일, 전화번호 마스킹) ②가명화(토큰으로 대체, 복호화 가능) ③로컬 모델 사용(프라이버시 보장) ④데이터 처리 계약 체결. Presidio(Microsoft)로 자동 PII 감지/처리.
AI 출력 검증과 가드레일
LLM 응답이 안전한지 검증하는 레이어. NeMo Guardrails: 주제 제한, 사실 검증. Llama Guard: 안전성 분류. 커스텀 규칙: 금지 단어, 형식 검증, 링크 차단. 입력(Input Guard) + 출력(Output Guard) 이중 검증이 권장됩니다.
AI 저작권과 법적 이슈
LLM 생성물의 저작권은 나라마다 다릅니다. 학습 데이터 저작권 소송 진행 중(NYT vs OpenAI). 코드 생성: Copilot이 GPL 코드를 그대로 생성할 수 있음. 리스크 관리: ①생성물 검토 ②라이선스 컴플라이언스 도구 ③AI 생성 명시.
AI 편향성 감지와 완화
학습 데이터의 편향이 모델에 반영. 유형: 성별, 인종, 연령 편향. 감지: Fairlearn, AI Fairness 360. 완화: ①데이터 재균형 ②후처리 보정 ③다양성 프롬프트 ④정기 감사. "AI가 객관적"이라는 가정은 위험합니다.
AI 거버넌스 프레임워크
기업에서 AI 책임 있게 사용하기. ①AI 사용 정책 수립 ②승인된 도구 목록 ③데이터 분류(공개/내부/기밀) ④AI 결정에 대한 인간 검토 ⑤감사 로그 ⑥직원 교육. EU AI Act 준수를 위한 고위험 AI 시스템 등록이 필요합니다.
AI 레드팀 테스트
AI 시스템의 취약점을 의도적으로 공격해 발견. 방법: ①Jailbreak 시도 ②Prompt Injection 공격 ③민감 정보 추출 시도 ④극단적 시나리오 테스트. Microsoft PyRIT, Garak 도구 활용. 배포 전 레드팀 테스트는 안전 AI의 기본입니다.
AI 워터마킹과 생성물 탐지
AI 생성 텍스트 감지 기술. 통계적 워터마킹: 생성 시 특정 토큰 패턴 삽입. Perplexity 기반 감지: AI 텍스트는 매우 낮은 perplexity. GPTZero, Originality.ai 서비스. 한계: 사람이 수정하면 감지 어려움. 학술 부정직 탐지에 활용됩니다.
AI Knowledge
도구 & 프레임워크
Hugging Face 생태계 활용
Transformers: 모델 로딩/추론/파인튜닝. Datasets: 표준 데이터셋 로드. Hub: 10만+ 모델, 데이터셋 공유. Spaces: 데모 앱 배포. Tokenizers: 고속 토크나이저. PEFT: LoRA 등 효율적 파인튜닝. Inference API: 빠른 프로토타이핑.
LoRA & QLoRA 파인튜닝
전체 파인튜닝 대비 메모리 10~100배 절감. LoRA: 기존 가중치는 고정, 작은 어댑터 행렬만 학습. QLoRA: 4bit 양자화 + LoRA. 7B 모델을 16GB GPU에서 파인튜닝 가능. Axolotl, LLaMA-Factory로 쉽게 구현합니다.
벡터 검색 최적화 — HNSW & IVF
HNSW(Hierarchical Navigable Small World): 그래프 기반, 높은 정확도, 메모리 사용 큼. IVF(Inverted File): 클러스터링 기반, 속도↑ 정확도↓. 프로덕션: pgvector(IVF), Qdrant(HNSW), Pinecone(독자). 수백만 벡터에서도 밀리초 내 검색이 가능합니다.
AI 이미지 생성 API 통합
DALL-E 3: OpenAI, 고품질, 정책 엄격. Stable Diffusion(Stability AI): 유연, 오픈소스. Midjourney API: 예술적 품질 최고. Imagen 3(Google): 텍스트 렌더링 강점. 실전: 비용/품질/속도 트레이드오프 파악 후 용도별 선택.
음성 AI 통합 — STT & TTS
STT(Speech-to-Text): OpenAI Whisper(오픈소스, 다국어), Google STT(실시간). TTS(Text-to-Speech): ElevenLabs(자연스러운 감정), OpenAI TTS(저렴), Google TTS. 실시간 음성 에이전트: Whisper + LLM + TTS 파이프라인으로 구축.
AI 코드 실행 환경 — Code Interpreter
LLM이 코드를 실행하고 결과를 분석하는 패턴. OpenAI Code Interpreter(Assistants API), Jupyter 기반 샌드박스, E2B(클라우드 코드 실행). 데이터 분석, 차트 생성, 계산 자동화에 강력. 보안 샌드박스로 악성 코드 실행을 차단합니다.
Document AI — 문서 처리 자동화
비정형 문서에서 구조화 데이터 추출. Azure Document Intelligence, AWS Textract: OCR + 구조 추출. LlamaParse: PDF의 표, 이미지 포함 고품질 파싱. Unstructured: 다양한 형식 처리. 법률/금융 문서 자동화에 필수입니다.
AI 워크플로우 자동화 — n8n & Zapier
No-code AI 자동화. n8n: 오픈소스, 자체 호스팅 가능, LLM 노드 내장. Zapier AI: 200+ 앱 연동. Make(구 Integromat): 복잡한 시나리오. 활용: 이메일 자동 분류, CRM 업데이트, 슬랙 알림 → AI 처리 → DB 저장 파이프라인.
한국어 AI 최적화 전략
한국어 LLM 성능 향상 팁: ①한국어 특화 모델(EXAONE, HyperCLOVA X) ②영어 프롬프트로 LLM 호출 후 한국어 번역 ③한국어 임베딩 모델(multilingual-e5, ko-sroberta) ④한국어 전처리: 형태소 분석기(Kiwi, MeCab) 활용. GPT-4는 한국어도 우수합니다.
AI 검색 엔진 구축 — 시맨틱 검색
전통 검색(TF-IDF/BM25) + 시맨틱 검색 결합. Elasticsearch + dense_vector + KNN 검색. Typesense: 오픈소스 검색, 벡터 지원. Vespa: 대규모 하이브리드 검색. "파이썬 비동기 프로그래밍"으로 "asyncio 코루틴" 문서 검색이 가능합니다.
AI 프레임워크 비교 — LangChain vs LlamaIndex vs Haystack
LangChain: 범용, 에이전트 강점, 복잡성 높음. LlamaIndex: RAG 특화, 데이터 커넥터 풍부, 직관적. Haystack: 엔터프라이즈 검색 + QA, 파이프라인 명확. 소규모 RAG → LlamaIndex, 에이전트 → LangChain/LangGraph, 검색 시스템 → Haystack.
AI 프로덕션 스택 2025
표준 AI 프로덕션 스택: LLM API(OpenAI/Anthropic) + 프레임워크(LangChain/LlamaIndex) + 벡터 DB(Qdrant/Pinecone) + 관찰성(Langfuse) + 캐싱(Redis/GPTCache) + 게이트웨이(LiteLLM) + 평가(RAGAS) + 배포(Docker/K8s).
AI 개발 환경 설정 2025
효율적인 AI 개발 환경. 에디터: Cursor(AI 통합 최고). 실험: Jupyter + JupyterAI. 로컬 LLM: Ollama + Open WebUI. 벡터 DB: Qdrant Docker. 프레임워크: uv(Python 패키지 관리, pip 대비 100배 빠름). 테스트: pytest + LangSmith.