XAI, 인공지능(AI)의 결과를 설명할 수 있을까?

결과를 설명해 주는 AI는 만들 수 없을까?

요즘 대화형 인공지능 chatGPT에 대한 사람들의 관심은 정말 뜨겁습니다. 출시 2달 만인, 23년 2월에는 월간 활성 사용자 수(MAU) 1억 명을 달성할 정도로 많은 사람이 이용하는 인공지능입니다. chatGPT는 OpenAI에서 개발한 AI 언어처리 모델로, 콘텐츠 생성, 언어 번역, 고객 서비스, 데이터 분석 등 다양한 분야에서 인간처럼 대답을 할 수 있기 때문에, 인기를 끌고 있습니다. 미국의 의사 면허 시험에도 합격할 정도로 그 능력은 대단합니다. 

 

하지만, 대단한 능력의 AI인 만큼, 불완전한 부분도 존재하고 있습니다. 바로, 어떻게 이런 답변을 도출해 냈는지 설명할 방법이 없는 것입니다. chatGPT는 간단히 말하면, 5조 개 단위의 문서에서 약 3천억 개의 단어를 뽑아낸 뒤, 1750억 개 이상의 매개변수(parameter)로 학습을 진행하고, Transformer 모델을 통해서 어떤 단어가 와야 할지 예측하는 AI입니다. 데이터가 워낙 방대하고, 매개변수도 많다 보니, 이 중에서 어떤 매개변수가 더 중요하다고 판단했고, 왜 이 단어가 와야 한다고 예측했는지를 설명하기가 어렵고, 사람이 이해할 수도 없습니다. 그렇다면, 왜 그런 결과가 나왔는지 설명해 줄 수 있는 AI는 만들 수 없을까요? 이번 포스팅에서는 설명 가능한 AI, XAI(Explainable AI)에 대해서 알아보도록 하겠습니다. 

 

 

이미지 출처 : WORLDLINE

 

 

 

 

왜 기존 AI는 설명하기 어려운가?

인공 지능(AI)이 점점 더 정교해짐에 따라 설명 가능한 AI(XAI)의 필요성이 더욱 중요해졌습니다. 그러나 기존 AI 시스템의 판단 과정을 설명하는 것은 불가능하지는 않더라도 매우 어려울 수 있습니다. 그렇다면, 왜 AI 시스템이 설명하기 어려울까요?

 

기존 AI가 판단 과정을 설명하기 어려운 주된 이유는 딥러닝(Deep Learning) 모델의 "블랙박스" 특성 때문이다. 딥러닝 모델은 여러 층(Layer)의 인공 뉴런으로 구성된 신경망으로, 다수의 Hidden Layer가 포함되어 있으므로, 매우 복잡하고 해석하기 어렵습니다. 이런 특징은 입력 데이터와 출력 데이터는 알 수 있지만, 결과를 내놓는 단계나 프로세스는 확인할 수 없습니다. 

 

기존 AI 시스템은 데이터 편향(Bias)으로 인해 설명하기 어려울 수 있습니다. AI 시스템이 편향된 데이터로 훈련된 경우 결과 결정도 편향될 수 있습니다. 예를 들어, 주로 백인 모집단의 데이터로 훈련된 AI 시스템은 더 다양한 인종이 포함된 데이터에서 제대로 작동하지 않을 수 있습니다. 실제로, 텍스트를 이미지로 만들어주는 AI, "DALL·E 2"는 '승무원'이라는 텍스트에 대해서 여성 승무원을 주로 그리는데, 이는 학습용 데이터에서 '승무원'이 주로 여성이기 때문입니다. AI 시스템에서  이러한 데이터의 편향을 식별하고 수정하는 것은 어려울 수 있으며, 학습 데이터 및 모델 아키텍처에 대한 심도 있는 분석이 필요합니다. 

 

 

 

 

XAI의 개념과 필요성

XAI는 Explainable AI의 줄임말로, 머신러닝 모델의 의사 결정 방식을 파악할 수 있도록 지원하는 Framework입니다. 하지만, XAI가 AI 모델을 완전히 분해하여 설명하고, 보여주는 것으로 착각하면 안 됩니다. 왜냐하면, 딥러닝 알고리즘에 사용되는 수많은 매개변수 값을 파악하려는 것은 불가능에 가깝기 때문입니다. XAI는 AI 시스템이 어떻게 결과에 도달하는지 이해할 수 있도록, 작동 방식에 대해 유용한 정보를 제공하는 것을 목표로 합니다. 

 

XAI는 특히 의료, 금융 및 형사 사법과 같은 영역에서, AI 시스템에 대한 신뢰를 구축하는 데 매우 중요한 역할을 합니다. 이러한 영역에서는 AI 시스템이 정확한 예측을 하는 것만으로는 충분하지 않고, 시스템이 이러한 예측에 어떻게 도달했는지 이해하는 것도 중요하기 때문입니다. XAI는 이러한 투명성을 제공하여 인간이 AI가 생성한 결정의 이면에 있는 추론을 이해하고 면밀히 조사할 수 있도록 하기 때문에, 필요한 기술입니다. 

 

예를 들어, 주식 트레이딩을 하는 AI가 있다고 가정해 보겠습니다. 우리는 이 AI를 통해, 주식을 살지 팔지에 대한 조언을 얻을 수도 있고, 아예 AI가 알아서 트레이딩하도록 맡길 수도 있습니다. 조금 극단적이긴 하지만, 어느 날 이 AI가 보유한 주식을 모두 팔아버리라고 조언한다면, 여러분은 믿고 실행할 수 있을까요? 사람과 주식 AI 시스템 간의 신뢰가 형성되기 위해서는 AI 판단 결과에 대한 근거를 제시해주어야 합니다. "그냥"이라는 이유에 대해서는 신뢰가 생길 수 없기 때문이죠. 

 

또 다른 예로, 자율 주행 자동차에서도 XAI는 꼭 필요합니다. 주행하다가 사고가 난 경우에, AI의 어떤 판단 과정으로 인해 사고를 냈는지 조사를 할 수 있기 때문인데요. 자율 주행 자동차의 의사 결정 과정이 설명된다면, 시스템을 발전시킬 수도 있고, 사고의 원인과 잘잘못도 밝혀낼 수 있습니다. 

 

 

 

 

XAI의 사례

미국의 기업, 올거나이즈(Allganize)는 최근 자체 업무용 AI 챗봇인 '알리 GPT'를 출시했습니다. 기존에는 질문과 관련된 문서를 빠르게 찾아주는 것이 주된 기능이라면, '알리 GPT'는 이를 종합해 하나의 글로 만들어 줍니다. 또한, 답변의 출처를 제공하는 기능도 있는데요. AI가 만들어낸 글이 어느 문서를 참고했는지 알려주는 기능으로, 이는 'chatGPT'의 단점을 보완하여, 신뢰성을 높였다고 볼 수 있습니다. 

 

이스라엘의 기업, AI21 LAB에서도 텍스트 생성 AI '워드튠 스파이스'라는 서비스를 출시했습니다. '알리 GPT'와 비슷한 GPT 기반의 생성 AI 서비스지만, 글 전체를 만들어주는 것과는 달리, 작성자가 텍스트를 입력하면, 그에 맞는 추가 글과 대안 글을 제시해주고 있습니다. 이때, 제시된 글의 출처를 링크 형태로 제공하여, AI 시스템의 신뢰도를 높이고 있습니다. 

 

 

 

마무리하며,

설명 가능한 AI(XAI)는 AI 시스템에서 신뢰 구축과 의사 결정 향상에 매우 중요합니다. XAI는 구현이 쉽지 않지만, 그 정점은 상당하며, AI가 우리 삶에 더 많이 통합됨에 따라 그 중요성은 더욱 커질 것입니다. 사람이 의사결정을 하기 위해 AI의 도움을 받는 경우, 어떻게 이런 결론에 도달했는지 이해할 수 없으면, 사람들은 AI를 신뢰하기 어려울 것입니다. 실제로 PwC 글로벌 CEO 설문조사에 따르면, 영국 CEO 중 82%가 "AI 기반 의사결정을 신뢰할 수 있으려면, 설명할 수 있어야 한다. "라고 합니다. 앞으로는 AI의 개발자 및 사용자로서 XAI의 중요성과 이점을 이해하고, 책임감 있고 윤리적인 방식으로 구현하기 위해 노력하는 것이 중요해질 전망입니다.