AI 지식 도구 & 프레임워크 완전 정리

도구 이야기는 유행을 타기 쉬워서, 이름을 외우는 방식으로 접근하면 반년 만에 낡습니다. 대신 각 도구가 어떤 제약을 풀어 주는지로 묶으면 오래갑니다. GPU 메모리가 모자라면 양자화와 어댑터 학습, 벡터 검색이 느리면 인덱스 구조 선택, 문서가 PDF로만 존재하면 파싱 파이프라인 같은 식입니다. 여기 묶인 주제들은 대체로 '지금 무엇이 병목인가'라는 하나의 질문에 대한 서로 다른 답에 해당하며, 그 관점으로 읽으면 새 도구가 나와도 자리를 찾기 쉽습니다.

모델을 직접 손보는 경로는 Hugging Face 생태계 활용에서 LoRA & QLoRA 파인튜닝으로 이어집니다. 전체 가중치를 갱신하지 않고 작은 어댑터만 학습하기 때문에 소비자용 GPU에서도 수행 가능한 범위가 생깁니다. 검색 쪽 병목은 벡터 검색 최적화 — HNSW & IVF가 인덱스 구조의 정확도와 메모리 사이 균형으로 다루고, 이를 서비스 형태로 세우면 AI 검색 엔진 구축 — 시맨틱 검색이 됩니다. 한국어 서비스라면 한국어 AI 최적화 전략을 별도로 챙겨야 합니다.

LoRA에서 자주 겪는 혼선은 추론 시점의 어댑터 병합입니다. 학습 산출물은 베이스 모델 없이는 의미가 없는 어댑터 가중치라서, 베이스 체크포인트가 바뀌면 같은 어댑터를 붙여도 결과가 달라집니다. 어댑터와 베이스 모델 리비전을 함께 기록해 두어야 재현이 됩니다. 벡터 인덱스 쪽에서는 HNSW 파라미터를 색인 이후에 바꾸면 이미 만들어진 그래프에는 적용되지 않아 재색인이 필요하다는 점을 놓치기 쉽습니다. 검색 시점 탐색 폭만 조절해도 정확도와 지연을 상당 부분 조율할 수 있으니, 재색인 전에 그쪽을 먼저 시험해 보는 편이 비용이 적습니다.