[슈퍼브 인사이트] AI가 해준 답변, 얼마나 믿고 계세요?(그럴듯한 게 제일 위험해요😅)

🌟 SUPERB Spotlight

늘 확신에 찬 AI, 정작 '모른다'는 말을 못 합니다

본 글은 Medium의 'AI is lying to us, and nobody seems to care'를 편집한 것으로, 전체 내용은 원글을 참고해 주세요.

우리는 AI를 '무엇이든 확신하도록' 만들었습니다

지금 ChatGPT나 Claude에게 무언가를 물으면, 화면에는 "요청을 분석 중"이라는 문구가 잠깐 뜨고는 매끈한 답이 나옵니다. 정작 가장 중요한 것, 즉 그 답에 어떻게 도달했는지는 보이지 않는데요. 우리는 오랫동안 이 매끄러운 답변들을 '좋은 제품'이라 여겨 왔습니다. 하지만 이것이 지금 AI에 대해 우리가 가장 크게 오해하는 지점이라고 말할 수 있는데요. 볼 수 없는 것은 자동으로 믿어선 안 되고, 애초에 보여주지 않은 실수는 잡아낼 수도 없기 때문이죠.

'도움을 주려는 성향'이 오히려 문제?

모델은 그럴듯한 답을 만들어 대화를 이어가도록 설계되어 있습니다. 그래서 답할 자격이 없는 질문에도 자신 있게 답을 내놓는데요. 이런 자신감 있는 답변의 바탕에 깔린 지식이 진짜인지 아닌지는 전혀 알려주지 않고요. 한 연구에서는, 학술적 판단을 물을 때는 신중하던 모델이 '구체적인 실무 조언'을 요구하는 순간 신중함이 거의 사라졌다고 합니다(200번 중 1번만 신중함을 유지). 스스로 얼마나 확신하는지 물어도, 실제로 무언가를 측정하기보다 '확신의 말투'를 흉내 낼 뿐이었죠. 즉 정직하라고 요청하면, 모델은 정직함마저 매끄럽게 연기해 버립니다.

그래서 '하네스(harness)'가 필요합니다

이 문제를 다루는 방법이 바로 하네스입니다. 거대한 범용 모델을 그대로 두고, 그 바깥에 구조를 씌우는 것인데요. 무엇을 할 수 있고 없는지에 대한 규칙, 반드시 거쳐야 할 체크포인트, 벗어나지 못하게 막는 가드레일을 두는 방식입니다. 모델의 뇌를 직접 뜯어고칠 수는 없으니, 대신 그 주위에 구조를 세워 모델이 하지 않으려는 '절제'를 강제하는 것이죠. 이제 하네스는 약한 것을 옭아매는 목줄이 아니라, 절벽 앞에서 등반가가, 착륙 전 스턴트 드라이버가 몸에 두르는 안전장치에 가깝습니다. 힘은 그대로 두되, 확신에 찬 채로 절벽 아래로 끌려가는 부분만 덜어내는 것입니다.

모를 때는 '멈추고 되묻게' 만들어야 합니다

기본 상태의 AI 모델은 확신이 없어도 일단 답합니다. 게임쇼에서 자신만만하게 오답을 외치는 참가자처럼, 예쁜 글씨체로 틀린 답을 내놓는데도 지적해줄 사람이 없는 셈이죠. 그럴때는 하네스에 한 가지 규칙을 넣어보게 됩니다. 확신이 일정 기준을 넘을 때만 답하고, 넘지 못하면 추측하는 대신 "여기까지는 파악했고, 이 부분이 불확실하니 더 알려달라"고 되묻게 한 것인데요. 이는 '선택적 예측(selective prediction)', 즉 불확실한 경우엔 답을 강요하지 않고 비워두는 오래된 개념과 맞닿아 있습니다. 실제로 AI가 "잘 모르겠지만…"이라고 먼저 밝히자, 사람들은 맹목적 동의를 멈추고 오히려 실수를 더 많이 잡아냈다고 합니다.

모두가 '하네스 없이' 만들고 있습니다

이 지점은 AI 제품을 만들지 않는 사람에게도 중요합니다. 도구는 이미 어디에나 있고, 코드를 한 줄도 안 써본 사람이 코드를, 디자인을 안 해본 사람이 디자인을 내놓으며 그 결과를 그대로 신뢰하는데요. 2025년 KPMG 조사에서는 직원의 58%가 AI 결과물을 검증 없이 그대로 썼고, 57%는 그 때문에 실수를 저지른 적이 있으며, 관련 정책이 있는 곳은 41%뿐이었습니다. 빠르고 완성된 것처럼 보일수록 아무도 멈춰 확인하지 않는 함정이 생기는 것이죠. 그래서 필요한 건 조직 차원의 하네스입니다. 모든 결과물을 일일이 검사하는 대신, 결과물이 만들어지기 전에 규칙·가드레일·'좋음'의 기준을 구조에 심어 두는 것입니다.

결국 커튼을 걷어 보여주는 쪽이 이깁니다

과정을 숨긴 매끈한 블랙박스는 만들기도 쉽고 팔기도 쉽습니다. 더 똑똑해 보이고, 더 빨라 보이죠. 다만 그것이 통하는 건 '틀리기 전까지'입니다. 오즈의 마법사에서 웅장한 얼굴과 목소리가, 커튼 뒤 레버를 당기던 작은 사람이 드러나는 순간 무너지듯 말이죠. 게다가 모델은 앞으로도 틀립니다. 확신에 찬 오답이 정직한 "모르겠다"보다 높은 점수를 받도록 훈련·평가해 온 탓에, 최신 추론 모델일수록 오히려 더 자주 지어낸다는 분석도 있는데요. 과정을 보여준 기계는 우리가 실수를 잡아낼 기회라도 있지만, 모든 걸 커튼 뒤에 숨긴 기계는 끝까지 확신하며 우리를 함께 데리고 넘어지게 됩니다.

처음부터 구조에 품질을 내재화하세요. 올바른 방법을 쉽게 만들고, 작업 과정이 자연스럽게 드러나도록 말이죠. 그러면 최종 결과물을 일일이 검토하며 잘못된 부분을 출시 전에 잡아내려고 애쓰는 수고를 덜 수 있을 것입니다.

📌 주목해야 할 핵심 인사이트

1. '확신의 크기'는 '정답일 확률'과 다릅니다

사람은 자신 있게 말하는 상대를 믿는 경향이 있지만, 기계의 확신은 그 아래 지식이 진짜인지에 대해 아무것도 말해주지 않습니다. 어떤 판단이든 '얼마나 단호하게 들리는가'가 아니라 '무엇에 근거하는가'를 물어야 하는데요. 특히 AI 결과물을 다룰 때, 매끄러운 말투를 신뢰의 근거로 삼지 않는 습관이 중요해집니다.

2. 정직함은 '요청'이 아니라 '구조'로 만들어집니다

모델에게 정직하라고 부탁하면, 같은 추측을 조금 더 겸손한 말투로 되돌려줄 뿐입니다. 신뢰할 수 있는 결과는 착한 의도가 아니라, 과정을 드러내고 불확실을 인정하도록 강제하는 구조에서 나오는데요. 이는 사람과 조직에도 그대로 적용됩니다. '알아서 잘하겠지'가 아니라, 좋은 결과가 자연스럽게 나오도록 규칙과 점검을 설계해 두는 편이 훨씬 안전합니다.

3. 빠르고 완성돼 보일수록, 한 번 더 멈춰야 합니다

결과물이 빠르게, 그럴듯하게 나올수록 검증의 필요성은 오히려 잊히기 쉽습니다. 사람은 천천히 일하며 스스로 실수를 잡지만, AI는 자기 오류를 먼저 알려주지 않은 채 완성된 얼굴로 건네주는데요. 그래서 "잘 모르겠으니 함께 짚어보자"라고 멈출 수 있는 장치야말로, 내 이름을 달고 나갈 결과물을 지키는 가장 값싼 보험이 됩니다.

✏️ SUPERB Curation

슈퍼브 김계현 CRO의 추천:

VidBot, 사람의 일상 영상만 보고 로봇이 새로운 작업을 수행한다

VidBot은 인터넷에 존재하는 일반적인 사람의 RGB 영상에서 동작을 학습해, 로봇이 별도의 추가 학습 없이 새로운 환경에서 작업을 수행하도록 만든 로봇 조작 프레임워크입니다. 사람의 2D 영상에서 손의 움직임을 3D 궤적으로 복원하고, 이를 로봇이 활용할 수 있는 동작 정보로 변환하는 것이 핵심인데요.

특히 특정 로봇으로 직접 수집한 학습 데이터에 의존하지 않고, 사람의 일상 영상을 로봇 학습 데이터로 활용한다는 점이 흥미로운데요. 새로운 환경과 서로 다른 로봇에서도 추가 학습 없이 동작할 수 있도록 설계했으며, 실제 13가지 로봇 조작 작업에서 기존 방식보다 높은 성능을 보였다고 합니다.

Physical AI에서 대규모 로봇 데이터를 어떻게 확보할지가 중요한 과제로 떠오르는 가운데, VidBot은 이미 존재하는 방대한 사람의 영상을 로봇 학습에 활용할 수 있는 가능성을 보여주는 흥미로운 연구입니다.

👉 VidBot 살펴보기

슈퍼브 차문수 CTO의 추천:

FlashML, 8GB 노트북 GPU에서 35B LLM을 초당 39.3토큰으로 구동

FlashML은 제한된 GPU 메모리에서도 대규모 LLM을 빠르게 실행할 수 있도록 CPU와 GPU의 연산을 효율적으로 분배하는 새로운 추론 시스템입니다. 특히 8GB 메모리의 노트북 GPU 하나로 35B 규모 모델을 최대 초당 39.3토큰으로 구동하며, 로컬 LLM 실행의 하드웨어 장벽을 크게 낮췄는데요.

기존 CPU-GPU 오프로딩 방식이 연산 비중을 고정했다면, FlashML은 각 기기의 PCIe 대역폭과 CPU 연산 성능을 고려해 토큰 연산을 동적으로 분배하는 것이 특징입니다. 이를 통해 디코딩 처리량을 최대 2.1배 높이는 동시에 첫 토큰이 생성되기까지 걸리는 시간(TTFT)도 크게 단축했다고 합니다.

고성능 LLM을 반드시 대용량 GPU에서만 구동해야 한다는 제약을 완화했다는 점에서, 로컬 AI와 온디바이스 LLM의 활용 가능성을 한층 넓힌 연구로 주목해볼 만합니다.

👉 FlashML 살펴보기