생성형AI 시대, 디지털 주권을 위협하는 요소와 보안

인공지능시대 디지털주권을 위협하는 다양한 요소들

1. 데이터 편향으로 인한 모델의 왜곡

현재의 생성형AI는 기본적으로 방대한 양의 사전학습된 데이터를 바탕으로 새로운 결과를 생성해 내는 지도학습(supervised learning) 방식으로 작동한다는 특성을 가지고 있다. 따라서 생성형AI는 학습 데이터의 품질에 크게 의존할 수 밖에 없으며, 특정 그룹이나 편향된 데이터를 사용할 경우, 모델이 왜곡되어 다양성과 공정성에 문제가 발생할 수 있다. 이로 인해 예측이 부정확해지거나, 특정 집단에 대한 편견이 모델에 반영될 수 있다.

예를 들어 생성형AI는 편향된 학습 데이터로 인해 특정 정치적 성향을 가지게 될 위험성을 가지고 있다. 지난 8월 미국의 워싱턴포스트에서는 정치적 중립을 표방하는 여러 생성형AI가 특정 정치 성향을 띄고 있다는 분석을 내놓기도 했다. 워싱턴포스트는 영국 이스트엥글리아 대학의 연구 사례를 소개하며 챗GPT나 LLaMA와 같은 초거대언어모델(LLM)에게 정치 및 경제 문제에 대한 62가지의 질문을 던지고 ‘긍정’ 혹은 ‘부정’으로 답하도록 지시 받았을 때, 뚜렷하게 다른 경향성을 보여준다고 한다.

연구에 따르면 OpenAI사의 챗GPT는 ‘진보’적인 성향에 가까운 답변을 많이 내놓았던 반면, LLaMA의 답변은 비교적 ‘보수’에 가까운 경향성을 보였다는 것이다. 이러한 생성형AI의 활용이 점점 더 늘어나게 되면 유권자들의 선택에 영향을 미치게 될 리스크가 있다.

2.인공지능 모델의 거대화 및 블랙박스화로 인한 판단력 상실

또한 생성형AI 모델의 성능을 결정하는 매개변수(parameter)와 학습 데이터(training data)를 기반으로 하는 알고리즘은 점점 더 거대화 되고 있으며 이러한 경향성은 최종 사용자가 생성형AI 모델이 어떠한 과정을 거쳐 결과물을 생성해 내는지 파악하기 어렵게 만드는 모델의 블랙박스화 문제를 야기하고 있다.

현재의 생성형AI는 복잡한 모델과 알고리즘을 기반으로 하고 있으며, 이로 인해 모델의 내부 작동 방식을 이해하거나 판단하는 것이 점점 더 어려워지고 있다. 이러한 블랙박스성은 의사결정 프로세스의 투명성과 책임성에 대한 문제를 야기할 수 있으며, 사용자들은 어떻게 결정이 이루어지는지 이해하기 어려우며 점점 더 인공지능에게 복잡한 의사결정을 위탁하고 주요사안들에 대해 판단하는 능력을 상실하게 될 가능성이 있다.

3. 학습용 데이터의 개인정보 유출 문제

위에서 살펴본 것처럼 생성형AI는 주어진 데이터를 기반으로 작동하며, 이는 때로 민감한 개인정보를 포함할 수 있다. 이 데이터가 무단으로 노출되거나 유출될 경우 개인의 프라이버시와 보안이 위협 받을 수 있다. 뿐만 아니라 생성형AI는 또한 사용자의 피드백(feedback)을 반영하여 더욱 자연스러운 결과물을 만들어 내는 강화학습(reinforcement learning)의 요소 역시 가지고 있어 디지털 주권 침해에 노출되기 쉽다. 개개인의 생성형AI 사용자들은 결국 인공지능 사용자이자 데이터 공급자이기도 하기 때문이다.

예를 들어 업무와 일상생활 속에서 생성형AI를 자주 활용하는 사용자들은 최근 화제가 되고있는 크리덴셜 스터핑(credential stuffing)과 같은 사이버 공격에 노출될 확률이 높다. 크리덴셜 스터핑이란 공격자가 사용자의 계정, 비밀번호, 기타 여러 가지 암호화된 개인 정보(Credential)를 여러 방식으로 획득하여 사용자가 이용할 만한 시스템 및 사이트에 방문 후 무작위로 대입(Stuffing)하는 공격 방식을 말하는데, (출처 : 한국재정정보원) 생성형AI에 질문이나 프롬프트(prompt) 입력 시 기업의 민감정보 등을 입력하게 될 경우 공격자들의 타겟이 될 확률이 높기 때문이다.

이처럼 생성형AI 사용자들은 개인정보 탈취 및 부정 재사용, 사용자 식별, 네트워크 등 개인의 디지털주권이 침해당할 위험에 노출되어 있다. 생성형AI 사용에 있어서 개인정보 보호 및 데이터 안전성에 대한 적절한 보호장치와 규제가 절실한 이유이다.