인공지능(AI) 개발자의 일자리가 위협받고 있다: MLOps의 등장

2016년 DeepMind의 알파고가 세계 바둑 챔피언을 꺾었을 때, 회의론이 지배적이던 인공지능 업계에 대한 관심이 급격히 높아졌다. 이후 OpenAI의 Dalle가 사람보다 더욱 사람 같은 그림을 그렸을 때에도, 얼마 전 OpenAI사에서 사람보다 더 사람같이 말하는 GPT-3.5 기반의 ChatGPT를 발표했을 때에도 사람들은 뜨거운 반응을 보였다.

이처럼 인공지능은 여태까지 사람들이 하지 못하던 일들을 가능하게 해 준다는 측면에서 하이테크 '요술 지팡이'로 통해왔으며, 인공지능 개발자 및 연구자를 비롯한 관련 업계 종사자들은 선망의 대상으로 여겨지곤 했다.

그러나 인공지능으로 밥을 먹고사는 사람의 입장에서 최신 알고리즘보다 더욱 관심을 가지고 예의 주시하고 있는 분야는 따로 있다. 바로 수많은 개발자와 데이터 분석가의 일자리를 빼앗아 버릴지 모르는 인공지능 MLOps(Machine Learning Operations)의 출현이다.

1. MLOps란?

소프트웨어 개발과 운용을 따로 나누지 않고 생산성과 운영의 효율성을 최대화하고자 하는 방법론이 DevOps(Development Operations)다. 머신러닝과 딥러닝 모델 개발 및 배포 등 전체적인 모델 운영의 라이프 사이클에 이러한 DevOps의 아이디어를 적용한 것이 바로 MLOps(Machine Learning Operations)라고 할 수 있다.

여전히 MLOps에 대한 하나의 확고한 정의가 존재하지 않기 때문에 그 시작에 관해서는 여러가지 설이 존재하지만, MLOps라는 개념의 필요성은 Kaggle의 최고 경영자 D. Sculley를 비롯한 공동저자들에 의해 2015년 발표된 “Hidden Technical Debt in Machine Learning Systems”라는 논문에서 처음으로 제기되었다. 저자들은 해당 논문에서 머신러닝 및 딥러닝 모델의 개발과 배포 작업은 비교적 빠르고 간편하게 이루어지는 반면, 그 유지 및 보수는 어렵고 비싸다는 점에 대해 문제를 제기하며 ‘Technical Debt(기술적 채무)’라는 단어를 언급한다.

실제로 기업의 인공지능 도입 프로젝트를 진행하다 보면 Python이나 R 등 어려운 프로그래밍 언어로 짜여진 코드를 들여다보고 재해석하느라 짧게는 수일에서 길게는 3~4주까지 낭비하는 경우가 있다. 뿐만 아니라 어렵게 인공지능 모델을 구축해 놓아도 담당자가 바뀌면 코드를 다시 짜야하는 경우가 많다. 또한 실제 업무 현장에서는 데이터 전문가들 뿐 아니라 기타 부서(마케팅 및 R&D 등)의 현업 담당자들 또한 프로젝트에 관여하게 되는 경우가 많다. 이러한 코딩에 익숙하지 않은 데이터 비전문가들을 CDS(Citizen Data Scientist)라고 칭하는 경우가 많다.

개발단계만이 문제가 아니다. 머신러닝 및 딥러닝 모델을 구축하고 배포까지 완료한 후에도 운영단계에서 모델을 주기적으로 업데이트해주어야 하는 경우가 있다. 사람의 세포가 순환하며 신체가 변화하듯 데이터 역시 시간의 흐름에 따라 변화하는 유기체 같은 것이기 때문이다. 이렇게 변화하는 데이터에 의해 모델의 성능이 저하되는 것을 모델 드리프트(Model Drift)라고 한다.

이런 모든 상황속에서 프로젝트를 일원화 하여 관리하는 MLOps 플랫폼은 기업들과 데이터 엔지니어, 데이터 사이언티스트, 분석가, CDS 사용자들에게 획기적인 대안이 될 수 있다. 데이터 사이언스에 대한 지식이 없는 CDS와 데이터 전문가들의 협업을 돕고, 모델 드리프트를 모니터링 하는 등 MLOps를 구현해줄 수 있는 기능들은 데이터와 인공지능이 보편화될 가까운 미래에 필수적인 기능이 될 것으로 예상된다. 이에 걸맞게 많은 회사들이 머신러닝과 딥러닝의 ‘Technical Debt(기술적 채무)’를 해결하기 위해 Datarobot, H2O, Dataiku, Databricks 등 다양한 MLOps 플랫폼을 SaaS(Software as a Service) 형태로 제공하고 있다.

2. 급성장하는 MLOps시장

얼마 전 카카오 엔터프라이즈에서 로코드(Low Code), 노코드(No Code)로 인공지능 개발과 서비스 운용을 담당하는 '올인원' 플랫폼 구축 사업에 뛰어든다고 발표했다. 코드를 조금만 사용하거나 혹은 아예 사용하지 않고 인공지능 모델을 개발 및 배포까지 가능한 플랫폼을 만들겠다는 것이다.

사실 해외에서 MLOps의 개념과 도입 움직임은 생소한 것이 아니다. AWS와 MS Azure와 같은 거대 클라우드 기업들은 말할 것도 없고, Dataiku, Datarobot, H2O 등 다양한 기업들이 이미 수년 전부터 MLOps 환경 구축 및 도입을 위한 플랫폼을 구축해오고 있다.

사티아 나델라 MS 최고경영자(CEO)는 “2025년까지 디지털 기술의 70%가 로우 코드, 노코드로 만들어질 것”이라고 말하기도 했다. 마켓 앤 마켓에 따르면 올해 217억 달러(약 28조 3185억 원) 수준인 전 세계 로우 코드‧노코드 시장 규모는 오는 2025년까지 455억 달러(약 59조 3775억 원)로 성장할 전망이라고 한다. (출처 : “클릭 몇 번으로 프로그램 만든다” 59兆 로우 코드·노코드 시장 공략 나선 카카오, 조선비즈)

3. 인공지능 개발자의 일자리는 사라질 것인가?

결론부터 말하자면 MLOps의 출현에도 불구하고 인공지능 개발자를 비롯한 데이터 사이언티스트와 분석가들의 일자리는 줄어들 수는 있지만, 당분간 사라지지는 않을 것이라고 생각한다. 그 이유에 대해 나름의 의견을 제시해보고자 한다.

일단 인공지능과 데이터 사이언스라는 분야 자체가 단순 소프트웨어 개발이 아닌 통계학, 머신러닝, 딥러닝 등 다양한 학문이 융합된 매우 복잡한 분야다. 그래서 이러한 개념을 알지 못한다면 MLOps 플랫폼을 사용하는 것 자체가 불가능에 가깝다.

도출된 모델의 정확도와 결과에 대한 해석 역시 통계학 개념과 분석 경험이 없다면 도무지 알 수가 없을 것이다. 어떠한 숫자가 나왔을 때 이것이 좋다는 것인지, 안 좋다는 것인지, 오류가 있는 것인지는 인공지능에 대한 기본개념이 없으면 알 수가 없다.

또한 현재의 로코드(Low Code) 혹은 노코드(No Code)로 구현할 수 있는 인공지능 모델에는 한계가 있다. 실제로 위에서 언급한 MLOps 플랫폼에서 기본으로 제공하는 모델의 경우 지극히 단순하거나 분석 용도에 맞는 커스터마이징이 불가능한 경우가 대부분이었다. 모델 구축에 대한 경험이 전무한 사람이 어느 정도 도움을 받을 수는 있겠지만 여전히 모델을 잘 알고 코드를 잘 아는 사람은 필요할 수밖에 없을 것이다.

그럼에도 불구하고 향후 수년간 MLOps 분야가 무섭게 발전한다면 실력 없는 인공지능 개발자나 데이터 사이언티스트들은 도태될 것이다. 어쩌면 인공지능이 변호사나 의사를 대체하는 속도보다 인공지능 개발자를 대체해버리는 속도가 더욱 빠를지도 모른다. 그러나 어느 분야나 그렇겠지만 중요한 것은 창의적인 생각과 응용력이다. 인공지능이 인간에게 가져다줄 수 있는 본질적인 혁신에 포커스를 맞춘다면 미래는 여전히 무궁무진할 것이다.

* 슈퍼브 블로그의 외부 기고 콘텐츠는 외부 전문가가 작성한 글로 운영 가이드라인에 따라 작성됩니다. 슈퍼브 블로그에서는 독자분들이 AI에 대한 소식을 더 쉽고 간편하게 이해하실 수 있도록 유용한 팁과 정보를 제공하고 있습니다.