세금 신고를 맡긴 AI가 계속 같은 실수를 반복한다면 어떨까요? 매번 "이 부분은 공제 대상이 아니야"라고 똑같이 지적해야 한다면, 결국 사람은 "직접 하고 말지"라는 결론에 이르게 됩니다. 하지만 최근 공개된 기술은 AI가 사용자의 불평이나 수정 사항을 듣고 스스로 나아지도록 설계될 수 있음을 보여줍니다. 복잡한 서류 작업에 드는 시간을 줄이고 싶은 직장인이나 사업자에게, AI가 '알아서 고쳐지는지' 여부는 단순한 편리함을 넘어 비용과 직결되는 문제입니다.
사용자의 수정을 학습 데이터로 바꾸는 기술적 장치
AI가 실수를 고치는 과정은 흔히 말하는 '업데이트'와는 결이 다릅니다. 과거에는 엔지니어가 수천 개의 대화 기록을 뒤져서 오류를 찾고, 이를 고치기 위해 다시 코드를 짜거나 프롬프트(명령어)를 수정해야 했습니다. 하지만 최신 시스템은 사용자의 피드백을 구조화된 신호로 자동 변환합니다. 구조화된 신호란 AI가 '무엇이 틀렸고 어떻게 고쳐야 하는지' 즉각 이해할 수 있도록 정돈된 데이터 형태를 말합니다.
이 과정은 마치 노련한 의사의 진료 기록과 비슷합니다. 의사가 한 환자를 진단하며 내린 결정과 그에 따른 피드백을 기록해두면, 나중에 비슷한 증상의 환자가 왔을 때 더 정확한 처방을 내릴 수 있는 것과 같은 원리입니다. AI 역시 사용자가 "이 임대 소득 계산이 틀렸다"고 지적하면, 그 지점의 데이터 처리 과정을 기록(Trace)하고 이를 평가 지표로 삼습니다.
이런 방식의 핵심은 자가 개선 루프(Self-improving loop)에 있습니다. 이는 결과물의 오류를 찾아내고 이를 다시 학습에 반영해 스스로 성능을 높이는 순환 과정을 뜻합니다. OpenAI는 자사의 모델인 Codex를 활용해 이 루프를 구축했습니다. Codex는 코드를 이해하고 생성하는 데 특화된 AI 모델로, 복잡한 세법 논리를 코드로 변환하고 오류가 발생했을 때 이를 스스로 수정하는 기반이 됩니다.
3개월 만에 7,000건의 세금 신고를 처리하며 거둔 성과
실제로 OpenAI와 스라이브 홀딩스(Thrive Holdings)가 협력해 만든 '택스 AI(Tax AI)'는 그리스의 회계 법인 네트워크인 크레테(Crete) 소속 30여 개 기업에서 실전 테스트를 거쳤습니다. 원본 발표문에 따르면, 이 시스템은 이번 세금 시즌 동안 약 7,000건의 세금 신고서를 처리했습니다.
주목할 점은 단순히 일을 처리한 양이 아니라 '성능의 진화'입니다. 초기 배포된 버전보다 3개월이 지난 시점의 버전이 측정 가능한 모든 지표에서 더 뛰어난 성능을 보였습니다. 세금 신고는 보통 데이터 입력에만 건당 8시간이 걸릴 정도로 복잡합니다. 지저분한 영수증, 전년도 서류, 수동 계산이 뒤섞여 있기 때문입니다.
기존의 AI라면 이런 복잡성 앞에서 매번 같은 오류를 냈겠지만, 택스 AI는 실무자가 오류를 바로잡을 때마다 이를 학습 기회로 삼았습니다. 실무자의 수정 사항이 발생하면 시스템은 "왜 이런 실수가 났는가?"를 분석하고, 이를 해결하기 위한 새로운 로직을 생성해 다음 작업에 적용했습니다. 이는 사람이 일일이 가르치지 않아도 시스템이 현장의 지식을 흡수하며 '숙련공'이 되어가는 과정을 보여줍니다. 이와 관련해 ChatGPT에 연동된 내 계좌를 관리하는 금융 AI 사례에서도 언급했듯, AI가 실무 데이터와 직접 연결될 때 그 가치는 극대화됩니다.
한국의 홈택스 환경에서 이 기술이 가지는 의미
이러한 자동 개선 시스템이 한국 시장에 도입된다면 파급력은 상당할 것입니다. 한국은 국세청 홈택스 시스템이 매우 고도화되어 있지만, 연말정산이나 부가가치세 신고 때마다 '복잡한 세법'과 '예외 조항' 때문에 머리를 싸매는 사용자가 많습니다. 특히 1인 기업이나 프리랜서가 늘어나면서 세무 대리인을 고용하기엔 부담스럽고 혼자 하기엔 벅찬 '세무 사각지대'가 존재합니다.
만약 한국형 세무 에이전트가 도입된다면, 단순히 홈택스 데이터를 긁어오는 수준을 넘어 사용자가 수정하는 패턴을 학습할 수 있습니다. 예를 들어 "이 항목은 접대비가 아니라 복리후생비다"라고 사용자가 한 번만 바로잡아주면, AI가 한국의 세법 개정안과 사용자의 지출 패턴을 대조해 다음 달부터는 알아서 분류하는 식입니다.
다만 한국 특유의 망 분리 환경이나 개인정보보호법(가이드라인)은 변수입니다. 금융 및 세무 데이터는 매우 민감하기 때문에, AI가 학습을 위해 데이터를 처리하는 과정에서 식별 정보를 어떻게 비식별화할 것인지, 그리고 학습된 결과가 외부로 유출되지 않도록 하는 기술적 보안이 선행되어야 합니다. 그럼에도 불구하고 "사용할수록 똑똑해지는 세무 비서"의 등장은 한국의 복잡한 세무 행정 비용을 획기적으로 낮출 가속 요인이 될 가능성이 높습니다.
자동 개선 루프가 완벽할 수 없는 이유와 한계
하지만 AI가 스스로 나아진다는 말이 "사람이 완전히 손을 떼도 된다"는 뜻은 아닙니다. 여기에는 몇 가지 구조적인 한계가 숨어 있습니다. 첫째, 잘못된 피드백의 위험성입니다. 만약 실무자가 실수로 틀린 내용을 맞다고 수정하거나, 편향된 방식으로 AI를 교정한다면 AI는 그 잘못된 방식을 '정답'으로 학습하게 됩니다. 이를 '오염된 학습'이라고 부르는데, 복잡한 세법 체계에서는 무엇이 진짜 정답인지 판단하기 모호한 지점이 많아 위험 요소가 됩니다.
둘째, 규제 변화에 대한 대응 속도입니다. 세법은 매년 바뀝니다. AI가 과거의 피드백을 바탕으로 스스로를 개선하고 있을 때, 갑자기 법이 바뀌어 과거의 정답이 오늘의 오답이 된다면 AI는 혼란에 빠질 수 있습니다. 피드백 루프는 '경험'을 쌓는 데는 유리하지만, '새로운 규칙'을 즉각 강제하는 데는 한계가 있을 수 있습니다.
따라서 이런 시스템은 반드시 사람이 최종 승인하는 지점을 가져야 합니다. 이를 전문 용어로 에이전트(Agent) 작업에서의 인간 개입(Human-in-the-loop)이라고 합니다. AI가 스스로 성능을 올리더라도, 중요한 법적 판단이나 거액의 세금 결정에는 여전히 사람의 검증이 필요합니다. 실무형 에이전트 작업에서 사람의 승인 접점이 필요한 이유를 살펴보면, AI의 자율성과 책임 사이의 균형이 왜 중요한지 더 깊이 이해할 수 있습니다.
똑똑한 AI 도구를 선택하기 위한 3가지 체크포인트
이제 우리는 단순히 "AI 기능이 있다"는 광고에 현혹될 단계가 아닙니다. 그 AI가 정말로 내 시간을 아껴주고 실수를 줄여줄 것인지 판단할 수 있는 기준이 필요합니다. 세금 신고나 보험 청구처럼 반복적이고 복잡한 업무를 AI에 맡기려 한다면 다음 세 가지를 반드시 확인해 보시기 바랍니다.
- 오류 감지 및 자동 학습 기능이 있는가?: 내가 한 번 수정한 내용을 AI가 다음번에 기억하고 반영하는지 확인해야 합니다. 매번 똑같은 수정을 반복하게 한다면 그 시스템은 '자가 개선 루프'가 없는 단순 자동화 도구에 불과합니다.
- 성능 평가 보고서를 제공하는가?: 신뢰할 수 있는 서비스라면 "지난 3개월간 사용자 피드백을 통해 정확도가 X% 향상되었다"와 같은 측정 가능한 성능 지표를 공개하거나 사용자에게 리포트로 보여줄 수 있어야 합니다.
- 전문가의 검증 절차가 포함되어 있는가?: 시스템이 스스로 학습하더라도, 최신 법률이나 규정 변화를 반영하기 위해 사람이 개입하는 프로세스가 있는지 확인하십시오. 특히 세무나 법률 분야라면 파인튜닝(Fine-tuning, 특정 분야에 맞춰 AI를 미세 조정하는 과정)이 주기적으로 이루어지는지가 핵심입니다.
결국 AI 에이전트의 진정한 가치는 '처음의 똑똑함'이 아니라 '시간이 흐를수록 나아지는 속도'에 있습니다. 여러분이 사용하는 도구가 당신의 피드백을 소중한 학습 신호로 쓰고 있는지, 아니면 그저 흘려버리고 있는지 질문해 볼 때입니다.