PHpullh
학습 라이브러리/AI Knowledge/Document Ingestion 파이프라인

AI KNOWLEDGE · 아키텍처 & 패턴

Document Ingestion 파이프라인

기업 문서를 RAG용으로 자동 처리. ①소스: S3, SharePoint, Notion, Confluence ②형식 파싱: PDF, DOCX, PPTX, HTML ③청킹 & 임베딩 ④벡터 DB 저장 ⑤증분 업데이트(변경된 문서만 재처리). Airbyte, Unstructured, LlamaHub Loaders 활용.

아키텍처 & 패턴

핵심 설명

기업 문서를 RAG용으로 자동 처리. ①소스: S3, SharePoint, Notion, Confluence ②형식 파싱: PDF, DOCX, PPTX, HTML ③청킹 & 임베딩 ④벡터 DB 저장 ⑤증분 업데이트(변경된 문서만 재처리). Airbyte, Unstructured, LlamaHub Loaders 활용.