반드시 알아두어야 할 생성형 AI의 보안 이슈들

지난 1년간 생성형 AI는 우리 삶 속에 깊숙이 침투해 들어왔으며 이제 스마트폰이나 자동차만큼이나 친숙한 존재가 되어가고 있는지도 모른다. 세일즈포스가 발표한 사내 생성형 AI 사용 현황에 대한 '직장 내 생성형 AI 활용 전망과 위험'에 대한 연구 조사 결과가 이러한 경향을 뚜렷하게 보여준다. 해당 조사는 영국, 독일, 프랑스, 캐나다 등 전 세계 14개국 내 1만 4천여 명의 직장인 대상으로 진행됐는데, 현재 전 세계 직장인 28%는 직장에서 이미 생성형 AI를 사용 중이라고 한다.

사용자 중 71%가 생성형 AI를 통해 업무 생산성이 더욱 높아졌다고 응답했으며, 전체 응답자의 42%가 생성형 AI 기술에 대한 숙련도가 향후 승진 또는 커리어 발전에 긍정적인 영향을 줄 것이라고 답했다고 한다. (출처 : ZDNET Korea)

이처럼 생성형 AI를 비롯한 인공지능의 활용이 일상화되고 있는 요즘, 생성형 AI에 대한 이해가 부족한 생성형 AI 사용자들이 다양한 형태의 디지털 보안 위협에 노출될 위험이 갈수록 높아지고 있다. 사실 개인정보 유출과 같이 디지털 보안을 위협하는 사이버 공간상의 문제는 1990년대 PC와 인터넷이 보급된 이후 언제나 존재해 왔다. 그러나 앞으로 우리가 마주하게 될 위협을 예상하고 대비하는 일은 쉽지 않다.

인공지능 시대의 디지털 주권 침해는 이전의 그것과는 그 성격과 파급력 측면에서 완전히 성격이 다르기 때문이다. 이는 생성형 AI가 작동하는 원리와 특성과 깊은 관계가 있다. 생성형 AI는 어떠한 원리로 작동하며, 이러한 인공지능의 작동 방식은 어떻게 우리의 디지털 주권을 위협하게 될 위험성을 내포하고 있을까? 생성형 AI 시대에 우리의 디지털 주권을 위협하는 다양한 요소들을 알아보고 그 해결책을 살펴보도록 하자.

인공지능시대 보안을 위협하는 다양한 요소들

1. 데이터 편향으로 인한 모델의 왜곡

현재의 생성형 AI는 기본적으로 방대한 양의 사전학습된 데이터를 바탕으로 새로운 결과를 생성해 내는 지도학습(Supervised Learning) 방식으로 작동한다는 특성을 가지고 있다. 따라서 생성형 AI는 학습 데이터의 품질에 크게 의존할 수밖에 없으며, 특정 그룹이나 편향된 데이터를 사용할 경우, 모델이 왜곡되어 다양성과 공정성에 문제가 발생할 수 있다. 이로 인해 예측이 부정확 해지거나, 특정 집단에 대한 편견이 모델에 반영될 수 있다.

연구에 따르면 OpenAI사의 챗GPT는 ‘진보’적인 성향에 가까운 답변을 많이 내놓았던 반면, LLaMA의 답변은 비교적 ‘보수’에 가까운 경향성을 보였다는 것이다. 이러한 생성형 AI의 활용이 점점 더 늘어나게 되면 유권자들의 선택에 영향을 미치거나 선거의 결과에 영향을 미치는 중요한 변수로 작용하게 될 리스크가 있다.

2. 인공지능 모델의 거대화 및 블랙박스화로 인한 판단력 상실

또한 생성형 AI 모델의 성능을 결정하는 매개변수(Parameter)와 학습 데이터(Training Data)를 기반으로 하는 알고리즘은 점점 더 거대화되고 있으며 이러한 경향성은 최종 사용자가 생성형 AI 모델이 어떠한 과정을 거쳐 결과물을 생성해 내는지 파악하기 어렵게 만드는 모델의 블랙박스화 문제를 야기하고 있다.

현재의 생성형 AI는 복잡한 모델과 알고리즘을 기반으로 하고 있으며, 이로 인해 모델의 내부 작동 방식을 이해하거나 판단하는 것이 점점 더 어려워지고 있다. 이러한 모델의 블랙박스성은 의사결정 프로세스의 투명성과 책임성에 대한 문제를 야기할 수 있으며, 사용자들은 어떻게 결정이 이루어지는지 이해하기 어려우며 점점 더 인공지능에게 복잡한 의사결정을 위탁하고 주요 사안들에 대해 판단하는 능력을 상실하게 될 가능성이 있다.

3. 학습용 데이터의 개인정보 유출 문제

위에서 살펴본 것처럼 생성형 AI는 주어진 데이터를 기반으로 작동하며, 이는 때로 민감한 개인정보를 포함할 수 있다. 이 데이터가 무단으로 노출되거나 유출될 경우 개인의 프라이버시와 보안이 위협받을 수 있다. 그뿐만 아니라 생성형 AI는 또한 사용자의 피드백을 반영하여 더욱 자연스러운 결과물을 만들어 내는 강화 학습(Reinforcement Learning)의 요소 역시 가지고 있어 디지털 주권 침해에 노출되기 쉽다. 개개인의 생성형 AI 사용자들은 결국 인공지능 사용자이자 데이터 공급자이기도 하기 때문이다.

예를 들어 업무와 일상생활 속에서 생성형 AI를 자주 활용하는 사용자들은 최근 화제가 되고 있는 크리덴셜 스터핑(Credential Stuffing)과 같은 사이버 공격에 노출될 확률이 높다. 크리덴셜 스터핑이란 공격자가 사용자의 계정, 비밀번호, 기타 여러 가지 암호화된 개인 정보(Credential)를 여러 방식으로 획득하여 사용자가 이용할 만한 시스템 및 사이트에 방문 후 무작위로 대입(Stuffing)하는 공격 방식을 말하는데, (출처 : 한국재정정보원) 생성형 AI에 질문이나 프롬프트(Prompt) 입력 시 기업의 민감정보 등을 입력하게 될 경우 공격자들의 타겟이 될 확률이 높기 때문이다.

이처럼 생성형 AI 사용자들은 개인정보 탈취 및 부정 재사용, 사용자 식별, 네트워크 등 개인의 디지털 보안과 사용자들의 권리가 침해당할 위험에 노출되어 있다. 생성형 AI 사용에 있어서 개인정보 보호 및 데이터 안전성에 대한 적절한 보호장치와 규제가 절실한 이유이다.

* 슈퍼브 블로그의 외부 기고 콘텐츠는 외부 전문가가 작성한 글로 운영 가이드라인에 따라 작성됩니다. 슈퍼브 블로그에서는 독자분들이 AI에 대한 소식을 더 쉽고 간편하게 이해하실 수 있도록 유용한 팁과 정보를 제공하고 있습니다.