중요한 보고서를 쓰기 위해 챗GPT나 코파일럿에게 최신 시장 동향을 물었다가, 존재하지도 않는 통계 수치를 당당하게 내놓는 바람에 곤혹스러웠던 적이 있나요? AI가 마치 사실인 양 거짓말을 하는 이 현상은 단순히 신기한 오류를 넘어, 사용자의 소중한 업무 시간을 갉아먹고 전문적인 신뢰도까지 떨어뜨리는 심각한 문제입니다. 우리가 AI에게 원하는 건 화려한 문장력이 아니라 '정확한 사실'인데 말이죠. 마이크로소프트(MS)가 최근 발표한 'Web IQ'는 바로 이 지점을 정조준합니다. AI에게 실시간으로 세상을 검색하고 그 근거를 확인하는 '눈'을 달아주겠다는 시도입니다.
AI가 자꾸 엉뚱한 대답을 내놓는 근본적인 이유
우리가 흔히 쓰는 거대언어모델(LLM)은 기본적으로 '다음에 올 확률이 가장 높은 단어'를 맞히는 게임을 합니다. 문제는 이 모델들이 학습을 마친 시점 이후의 세상 일은 전혀 모른다는 점입니다. 이를 '학습 데이터의 컷오프(Cut-off)'라고 부릅니다. 2023년까지의 데이터만 공부한 AI에게 어제 일어난 뉴스나 오늘 아침의 주가를 물으면, AI는 자신의 기억 속에 있는 파편들을 조합해 그럴듯한 '소설'을 쓰기 시작합니다.
이것이 바로 환각(Hallucination) 현상입니다. AI가 사실이 아닌 것을 마치 사실인 것처럼 그럴듯하게 지어내어 대답하는 현상을 말하죠. 사용자 입장에서는 AI의 답변이 워낙 매끄럽다 보니 무엇이 사실이고 무엇이 거짓인지 일일이 대조해 봐야 하는 번거로움이 생깁니다. 결국 AI를 써서 시간을 아끼려다가 검토하는 데 시간을 더 쓰는 배보다 배꼽이 더 큰 상황이 벌어집니다. 마이크로소프트는 이 문제를 해결하기 위해 AI가 자기 기억력에만 의존하지 않고, 답변을 내놓기 직전 실시간으로 인터넷을 검색해 사실 여부를 확인하게 만드는 전략을 택했습니다.
Web IQ: AI에게 실시간 백과사전을 쥐여주다
마이크로소프트가 공개한 'Web IQ'는 쉽게 말해 AI 에이전트를 위한 '실시간 검색 API' 패키지입니다. 여기서 API란 서로 다른 프로그램들이 데이터를 주고받기 위해 사용하는 약속된 대화 통로를 의미합니다. 기존의 AI가 머릿속에 든 지식만으로 시험을 치는 학생이었다면, Web IQ를 장착한 AI는 옆에 최신 백과사전과 실시간 뉴스 검색창을 두고 문제를 푸는 학생과 같습니다.
이 과정을 기술적으로는 그라운딩(Grounding)이라고 부릅니다. AI가 학습한 데이터에만 의존하지 않고 실제 세상의 사실이나 외부 데이터에 근거해 답변하게 만드는 기술이죠. 원문 보도에 따르면, 마이크로소프트는 Bing의 검색 엔진 기술을 활용해 AI 에이전트가 실시간 정보를 확인하고, 그 정보가 어디서 왔는지 명확한 출처(Citation)를 밝힐 수 있도록 지원합니다. 이는 사용자가 AI의 답변을 무조건 믿는 것이 아니라, 제공된 링크를 클릭해 직접 원문을 확인할 수 있게 함으로써 신뢰의 문제를 해결하려는 접근입니다.
단순한 검색을 넘어 '에이전트'의 행동을 교정하는 법
Web IQ는 단순히 "오늘 날씨 어때?" 같은 질문에 답하는 수준을 넘어섭니다. 마이크로소프트는 이를 위해 4단계 에이전트 프레임워크(four-layer agent framework)를 제시하며, 실제 비즈니스 현장에서 AI가 어떻게 작동해야 하는지에 대한 5가지 생산 레슨(five production lessons)을 공유했습니다. 이는 AI가 단순한 채팅 상대를 넘어 사용자의 업무를 대신 수행하는 '에이전트'로 진화하고 있음을 시사합니다.
예를 들어, 여행 계획을 짜주는 AI 에이전트가 있다고 가정해 봅시다. 기존 AI는 폐업한 식당을 추천하거나 잘못된 비행기 시간을 알려줄 위험이 컸습니다. 하지만 Web IQ를 통하면 에이전트는 실시간으로 식당의 영업 여부와 항공권 가격을 Bing 검색을 통해 확인합니다. 만약 검색 결과와 자신의 내부 데이터가 충돌한다면, 실시간 검색 결과를 우선시하도록 행동이 교정됩니다. 울산 청년이 지역 문제 푸는데 AI 써보는 것, 왜 가치 있을까?에서 다룬 것처럼, AI가 실제 지역 사회의 데이터나 실시간 정보를 정확히 반영할 수 있을 때 비로소 우리는 AI를 실질적인 문제 해결 도구로 신뢰할 수 있게 됩니다.
Bing의 재정의: 포털에서 AI의 '사실 확인소'로
이번 발표에서 눈여겨봐야 할 지점은 마이크로소프트의 전략 변화입니다. 그동안 Bing은 구글 검색의 대안으로서 일반 사용자들을 끌어모으려 애써왔습니다. 하지만 이제 MS는 Bing을 전 세계 수많은 AI 에이전트들이 정보를 길어가는 '사실 확인용 데이터베이스'로 재정의하고 있습니다. 사람들이 직접 Bing 사이트에 접속하지 않더라도, 우리가 쓰는 각종 AI 앱의 뒷단에서 Bing의 데이터가 흐르게 하겠다는 계산입니다.
이는 구글이 검색 결과 상단을 AI 답변으로 채우면서 웹 트래픽 구조를 바꾸고 있는 것과도 맥을 같이 합니다. 다만 MS는 자사의 검색 엔진을 다른 개발자들이 가져다 쓸 수 있는 '도구(API)'로 강력하게 밀어붙이고 있다는 점이 다릅니다. 이는 검색 시장의 파이가 줄어드는 위기 속에서, AI 생태계의 필수 인프라로 자리 잡으려는 고도의 전략입니다. 앞으로 우리가 쓰는 수많은 업무용 AI 도구들이 "출처: Bing"이라는 꼬리표를 달고 정보를 제공하게 될 가능성이 높습니다.
한국 시장에서 '검색하는 AI'가 마주할 숙제
마이크로소프트의 Web IQ 전략이 한국에서도 곧바로 장밋빛 미래를 보장하는 것은 아닙니다. 한국은 전 세계에서 드물게 자국 검색 엔진(네이버)이 시장을 주도하는 국가입니다. 한국의 맛집 정보, 공공기관의 최신 공고, 한국인 특유의 커뮤니티 정서가 담긴 데이터는 여전히 네이버나 로컬 서비스들에 더 많이 쌓여 있습니다. Bing 검색 기반의 Web IQ가 한국의 최신 정보를 얼마나 정확하게 잡아낼 수 있느냐가 관건입니다.
만약 국내 기업용 AI 솔루션을 개발하는 곳에서 Web IQ를 도입한다면, 한국어 데이터의 깊이와 정확도 문제를 반드시 점검해야 합니다. 한국 사용자들은 특히 '정확한 배송 상태', '실시간 주식 공시', '정부의 최신 정책 발표' 등에 민감합니다. 글로벌 표준 기술인 Web IQ가 한국의 특수한 데이터 환경(예: 네이버 블로그의 폐쇄적 구조 등)을 뚫고 얼마나 신뢰할 수 있는 답변을 내놓을 수 있을지가 한국 시장 안착의 핵심 가속 요인이 될 것입니다.
정확성을 위해 우리가 포기해야 할 것들: 속도와 비용
물론 모든 기술에는 대가가 따릅니다. AI가 답변을 내놓기 전 매번 인터넷을 검색하고 사실 관계를 대조한다면, 당연히 답변 속도는 느려질 수밖에 없습니다. 즉각적인 대화를 원하는 사용자에게는 몇 초의 기다림이 답답함으로 다가올 수 있습니다. 또한, 실시간 검색 API를 사용하는 과정에서 발생하는 추가적인 비용은 결국 서비스 이용료 상승으로 이어질 가능성이 큽니다.
하지만 업무용 도구로서의 AI라면 이야기가 다릅니다. 1초 빨리 대답하지만 틀린 정보를 주는 AI보다, 5초 늦더라도 확실한 근거를 대는 AI가 훨씬 가치 있기 때문입니다. 마이크로소프트의 이번 행보는 AI 산업의 무게중심이 '신기한 재미'에서 '실무적 정확성'으로 옮겨가고 있음을 보여줍니다. 사용자는 이제 속도와 정확성 사이에서 자신의 목적에 맞는 도구를 선택해야 하는 시점에 와 있습니다.
업무 효율을 높이는 AI 활용 체크포인트
이제 AI가 제공하는 정보의 신뢰성을 판단하는 기준이 바뀌어야 합니다. 마이크로소프트의 Web IQ 같은 기술이 보편화될수록, 우리는 단순히 AI의 문장력에 감탄하기보다 그 이면의 '근거'를 보는 습관을 길러야 합니다. 다음은 실무에서 AI를 쓸 때 반드시 챙겨야 할 체크포인트입니다.
- 출처 인용(Citation) 활성화 확인: 사용 중인 AI 도구가 답변의 근거가 된 웹사이트 링크를 제공하는지 확인하세요. 출처가 없는 답변은 언제든 환각 현상이 발생할 수 있는 '의견'으로 간주해야 합니다.
- 링크의 신뢰도 직접 검증: AI가 제시한 출처가 공신력 있는 언론사나 공식 기관인지, 아니면 개인의 확인되지 않은 블로그인지 클릭해서 확인하는 최소한의 절차가 필요합니다.
- 중요 수치는 '더블 체크': AI가 특정 숫자를 제시했다면, Web IQ 같은 기술을 썼더라도 해당 숫자가 최신 날짜의 데이터인지 다시 한번 확인하는 것이 안전합니다.
- 도구의 목적 구분: 창의적인 아이디어 기획에는 일반 LLM을 쓰더라도, 팩트가 중요한 시장 조사나 보고서 작성에는 반드시 검색 기반(Grounding) 기능이 강화된 모델을 선택해야 합니다.
결국 AI는 우리의 도구일 뿐, 최종적인 판단과 책임은 여전히 사람의 몫입니다. 마이크로소프트가 Web IQ를 통해 AI의 거짓말을 줄이려 노력하는 만큼, 우리도 기술이 제공하는 편리함 뒤에 숨은 데이터의 출처를 꼼꼼히 살피는 '똑똑한 사용자'가 되어야 합니다. 기술은 더 정교해지겠지만, 그 기술을 믿고 업무에 적용할지 결정하는 기준은 여러분의 날카로운 질문에서 시작됩니다.