보안 실무자가 정리한 AIF-C01 Domain 4: 책임감 있는 AI, 편향과 설명 가능성
AWS Certified AI Practitioner 시험의 Domain 4(책임감 있는 AI 지침)를 정리했습니다. 책임감 있는 AI의 6가지 차원, 편향이 생기는 이유, SageMaker Clarify와 Bedrock 가드레일, 해석 가능성과 설명 가능성의 차이를 보안 실무자 눈으로 짚었습니다.
들어가며
지난주에는 AIF-C01 Domain 5(보안, 규정 준수, 거버넌스)를 정리했습니다. 이번에는 바로 앞 단계인 Domain 4 "책임감 있는 AI 지침"입니다. 보안 업무를 하다 보면 "이 시스템을 믿어도 되는가"라는 질문을 자주 받는데, AI에서는 그 질문이 공정성, 설명 가능성, 투명성 같은 말로 바뀌어 나옵니다. 공부하면서 만든 노트를 바탕으로 시험에 꼭 나오는 내용만 추렸습니다.
1. 책임감 있는 AI의 6가지 차원
강의는 책임감 있는 AI를 "AI 시스템이 안전하고 신뢰할 수 있으며 윤리적인 방식으로 작동하도록 하는 지침과 원칙"으로 정의하고, 다음 6가지 차원으로 나눕니다.
- 공정성: 연령, 거주지, 성별, 민족성과 관계없이 모든 사람을 편견 없이 대우합니다.
- 설명 가능성: 모델이 왜 그런 결정을 내렸는지 사람의 관점에서 설명할 수 있어야 합니다.
- 견고성: 장애를 견디고 오류를 최소화합니다.
- 개인정보 보호 및 보안: 개인 식별 정보가 노출되지 않게 합니다.
- 거버넌스: 산업 표준과 모범 사례를 지키고 감사할 수 있게 합니다.
- 투명성: 모델의 기능, 한계, 위험을 이해관계자에게 알리고, 사용자가 AI와 대화 중임을 알게 합니다.
2. 편향은 데이터에서 시작된다
시험에서 가장 자주 나오는 원인은 클래스 불균형입니다. 강의 예시에서는 훈련 데이터의 성별 비율이 여성 32.4%, 남성 67.6%였습니다. 모델은 남성 데이터를 더 많이 보기 때문에 남성에 대한 예측은 정확해지고, 여성에 대한 오류율은 높아집니다. 질병 진단 모델이라면 여성을 잘못 진단할 가능성이 커지는 셈입니다.
그래서 윤리적 데이터세트가 기반이 됩니다. 포용성, 다양성, 신중하게 고른 데이터 출처, 균형, 개인정보 보호, 동의와 투명성, 정기적인 감사가 강의에서 제시한 7가지 특성입니다. 보안 담당자 입장에서는 "정기적인 감사"가 특히 눈에 들어왔습니다. 접근 권한을 주기적으로 검토하듯, 데이터세트도 주기적으로 다시 들여다봐야 한다는 뜻입니다.
3. 편향을 측정하는 도구: SageMaker Clarify
SageMaker Clarify는 데이터 준비 단계, 모델 훈련 후, 배포된 모델에서 각각 편향을 찾아냅니다. 훈련된 모델에 대해서는 예측 긍정 비율의 차이, 특이도, 재현율 차이, 정확도 차이, 처리 평등 같은 지표를 계산합니다. 예를 들어 두 그룹의 정확도가 같더라도, 한쪽은 잘못된 거절이 많고 다른 쪽은 잘못된 승인이 많다면 처리 평등 지표에서 편향이 드러납니다.
Clarify는 설명 가능성 보고도 합니다. 모델을 블랙박스로 두고 입력과 출력을 관찰해 각 특성이 예측에 얼마나 기여했는지 계산합니다. 대출이 거절됐다면 "소득과 미결제 부채가 기준을 넘지 못했다"처럼 이유를 보여주는 식입니다.
4. 생성형 AI의 위험과 Bedrock 가드레일
강의는 생성형 AI의 위험을 다섯 가지로 정리합니다. 사실처럼 들리는 거짓 내용을 만드는 할루시네이션, 지적 재산권 침해, 편향된 출력, 유해한 콘텐츠, 데이터 유출입니다. 특히 마지막 항목에서 "모델이 한 번 학습하거나 본 데이터는 나중에 지워도 잊게 만들 수 없다"는 점은 개인정보 담당자라면 꼭 기억해야 할 부분입니다.
Amazon Bedrock 가드레일은 증오, 모욕, 성적 콘텐츠, 폭력에 대한 필터 기준을 정하고, 아예 다루지 않을 주제를 지정할 수 있습니다. 중요한 점은 가드레일이 사용자 프롬프트와 모델 응답 양쪽에 걸린다는 것입니다. 프롬프트가 통과해도 응답이 기준에 걸리면 차단됩니다.
5. 해석 가능성과 설명 가능성은 다르다
- 해석 가능성: 모델 내부 구조가 출력에 어떻게 영향을 주는지 직접 이해할 수 있는 것입니다. 선형 회귀나 의사결정 트리가 대표적입니다.
- 설명 가능성: 내부 구조는 모른 채, 입력과 출력을 보고 "왜 이런 결과가 나왔는지" 설명하는 것입니다. 신경망을 포함한 모든 모델에 쓸 수 있습니다.
투명성에는 대가가 있습니다. 단순한 모델은 이해하기 쉽지만 성능이 떨어지고, 내부가 투명할수록 공격자가 약점을 찾거나 모델을 따라 만들기도 쉬워집니다. 보안 쪽에서 보면 "얼마나 공개할지"도 위험 평가의 대상이라는 뜻입니다.
6. 사람을 고리 안에 두기
신뢰도가 낮은 예측은 Amazon Augmented AI(A2I)로 사람 검토자에게 먼저 보낼 수 있고, 무작위 샘플을 사람이 감사하게 할 수도 있습니다. 생성형 AI에서는 사람이 여러 응답 중 더 나은 것을 고르고, 그 선호를 보상 모델로 학습시키는 RLHF가 표준 기법으로 쓰입니다. 이런 선호 데이터 수집에는 SageMaker Ground Truth가 쓰입니다. 문서화 쪽에서는 AWS가 제공하는 AI 서비스 카드와, 직접 만든 모델의 수명 주기를 기록하는 SageMaker Model Cards를 함께 기억해 두면 좋습니다.
마치며
Domain 4를 정리하면서 느낀 점은, 책임감 있는 AI도 결국 "데이터를 점검하고, 결과를 측정하고, 사람이 확인하고, 기록을 남기는" 흐름이라는 것입니다. 보안 관리체계에서 하던 일과 크게 다르지 않습니다. 같은 시험을 준비하는 분들께 도움이 되길 바랍니다.
Enjoyed reading this content? Let the author know!
Your likes, comments, shares, and saves help creators reach more builders.
Loading recommendations
Loading article