AI 지식 보안 & 윤리 완전 정리

LLM 애플리케이션의 공격면은 기존 웹 서비스와 겹치지 않는 부분이 있습니다. 입력 검증을 아무리 해도 자연어는 통과시켜야 하고, 통과된 자연어가 곧 실행 지시가 될 수 있습니다. 신뢰 경계가 코드가 아니라 문장 안에 그어진다는 점이 다릅니다. 여기에 학습 데이터와 생성물의 권리 문제, 개인정보의 국경 밖 전송처럼 법무 영역과 겹치는 항목이 붙어서, 엔지니어링만으로 닫히지 않는 리스크가 남습니다.

AI 보안 위협 모델이 인젝션과 탈옥, 데이터 추출을 한 장의 지도로 펼쳐 놓습니다. 그중 실제 사고로 이어지는 빈도가 높은 쪽이 개인정보(PII) 처리와 GDPR인데, 로그와 프롬프트 양쪽에 개인정보가 남는 경로를 자주 놓칩니다. 방어의 실행 계층은 AI 출력 검증과 가드레일이고, 이 방어가 실제로 버티는지는 AI 레드팀 테스트로 공격해 봐야 알 수 있습니다. 코드 생성 기능을 제품에 넣는다면 AI 저작권과 법적 이슈를 먼저 확인하는 편이 낫습니다.

가드레일을 입력 쪽에만 두는 구성이 흔한데, 실제 피해는 출력에서 발생합니다. 모델이 만들어 낸 문자열이 그대로 HTML로 렌더링되면 그 안의 스크립트나 링크가 살아나고, 도구 호출 인자로 흘러가면 파일 경로나 쿼리가 됩니다. 즉 LLM 출력은 사용자 입력과 같은 등급의 비신뢰 데이터로 다뤄야 합니다. 개인정보 쪽에서는 마스킹을 프롬프트 조립 직전에만 적용하고 요청 로그와 트레이싱 도구에는 원문이 그대로 쌓이는 구성이 자주 발견됩니다. 관찰성 도구가 외부 SaaS라면 그 자체가 국외 이전 경로가 되므로, 로깅 파이프라인까지 포함해 데이터 흐름도를 그려 두어야 합니다.