완벽한 실행자와 불완전한 가설
—
사람의 실수가 사라지지 않는 이유
최근 공개되는 AI 데모들을 보면, 개발 업무의 상당 부분이 빠르게 자동화되는 흐름은 부정하기 어렵습니다.
설계 초안 작성부터 구현, 테스트 코드 생성, 문서화까지 그럴듯한 결과가 빠른 속도로 나오고 있습니다.
이 지점에서 자연스럽게 질문이 생깁니다.
AI가 설계부터 구현까지 수행하는 시대에, 사람의 ‘추론 능력’은 어디에서 가치를 가지는가?
이 글은 그 질문에 대해, 감정적 위로가 아니라 정의·구분·한계·실무적 함의 중심으로 정리한 글입니다.
1. 전제: AI의 강점은 생산과 재조합에 있다.
우선 AI의 성과를 축소해서 해석할 이유가 없습니다.
현재의 AI는 아래 영역에서 이미 실무적으로 유의미합니다.
- 요구사항이 비교적 명확할 때의 코드 생성 및 리팩터링 보조
- 기존 패턴/라이브러리 사용법의 빠른 검색 및 샘플 구성
- 문서/테스트/로그 템플릿화, 리뷰 초안 생성
- 유사한 문제를 빠르게 풀어내는 재조합 속도
이 강점은 기술적으로 보면 자연스럽습니다.
대규모 데이터에서 패턴을 압축하고, 그 패턴을 조건에 맞춰 재배열하는 방식은
특히 In-Distribution(학습 분포와 유사한 조건)에서 높은 성능을 보이기 때문입니다.
여기까지는 논쟁이 아닙니다.
실무자라면 체감하는 영역입니다.
2. 구분: 추론을 한 단어로 뭉치면 오해가 발생한다.
문제는 추론이라는 단어를 하나로 뭉칠 때 생깁니다.
실무에서 추론은 대략 두 층으로 나뉩니다.
- 해결(Problem Solving): 주어진 문제를 푸는 능력
- 정의(Problem Framing): 무엇이 문제인지 규정하고, 성공 조건과 제약을 설계하는 능력
AI는 1)에서 빠르게 강해지고 있습니다.
반면, 2)는 여전히 사람의 비중이 큽니다.
이유는 간단합니다.
- 목표가 다중(KPI 충돌)이고, 우선순위가 조직/비즈니스에 의해 결정됨
- 데이터가 부족하거나, 실험 비용이 커서 정답이 즉시 관측되지 않음
- 실패 원인이 코드 외부(운영/프로세스/사용자 행동/조직 구조)에 섞여 있음
- 요구사항 자체가 모순적이거나, 아직 합의되지 않은 상태가 흔함
이 상황에서 핵심은 정답을 맞히는 능력이 아니라, 판을 뒤집는 설계(새 논리 구조)입니다.
흔히 System 2(심사숙고)라고 부르는 영역이 여기에 해당합니다.
3. 핵심 주장: 사람의 ‘실수’는 결함이 아니라 기능.
여기서 반전으로 들어가겠습니다.
사람의 실수는 보통 부정확함으로 취급되지만, 특정 조건에서는 오히려 추론이 작동하고 있다는 신호가 됩니다.
이를 이해하려면, 두 개념을 구분해야 합니다.
- 환각(Hallucination): 근거가 부족한데도 그럴듯한 확정 답을 만들어내는 현상
- 가설(Hypothesis): 현재 증거가 부족하므로, 검증 가능하도록 후보 원인을 세우고 다음 관측/실험으로 이어지는 주장
AI도 가설을 제시할 수는 있습니다.
다만 실무에서 자주 발생하는 문제는, AI가 제시한 내용이 가설인지 확정인지 경계가 흐려질 때입니다.
말은 단정인데 근거는 빈약한 형태가 나오면, 현장에서는 리스크가 됩니다.
반면 인간의 실수는(정상적인 업무 프로세스 안에서는) 다음 형태로 나타날 때 가치가 있습니다.
- 현재 데이터로는 결론이 나지 않음을 인정
- 원인을 소수의 후보로 압축(가설화)
- 검증 비용이 낮고 정보 이득이 큰 실험을 설계
- 실패를 통해 시스템 모델을 업데이트
즉, 사람의 실수는 OOD(분포 외 상황)에서 세계 모델을 구성하려는 시도로 나타날 수 있습니다.
아이러니하지만, 데이터가 부족한 상황에서 사람이 하는 ‘틀림’은, 종종 검증 가능한 다음 행동을 낳습니다.
이 글에서 말하는 실수의 위대함은 단순한 감성적인 표현이 아니라 다음 의미입니다.
실수가 근거 없는 확신이 아니라 검증 가능한 가설의 형태를 띨 때, 그것은 추론의 결함이 아니라 추론의 작동 방식입니다.
| 구분 | AI (확률적 실행자) | 사람 (가설적 아키텍트) |
| 주요 영역 | In-Distribution (패턴 재조합) | Out-of-Distribution (분포 외 추론) |
| 오류의 성격 | 환각 : 근거 없는 확신 | 가설: 근거 있는 불완전함 |
| 추론 방식 | System 1 (직관 / 속도) | System 2 (심사숙고 / 검증) |
| 핵심 가치 | 생산성 극대화 (How) | 방향성 결정 및 책임 (What / Why) |
4. 결론: 빌더(Builder)에서 아키텍트(Architect)로 이동해야 한다.
그렇다면 생존 전략은 명확해집니다.
AI가 강해질수록 사람에게 남는 영역은 “How”가 아니라 “What/Why” 쪽으로 이동합니다.
- What: 무엇을 만들 것인가(문제 정의, 성공 조건, 범위)
- Why: 왜 이것이 우선인가(가치, 리스크, 제약, 트레이드오프)
- 검증 설계: 무엇을 측정해야 실패를 빨리 알 수 있는가
- 경계 설정: 무엇을 고정하고 무엇을 가변으로 둘 것인가
- 책임: 그 판단을 그럴듯함이 아니라 증거로 정당화할 수 있는가
AI는 훌륭한 실행자이자 보조자입니다.
그러나 문제를 어떤 형태로 정의하고, 어떤 증거로 검증할지는 아직 사람이 주도해야 합니다.
그리고 이 영역이 자동화되기 어렵다는 이유는 기술 이전에 현실적입니다.
목표와 제약, 그리고 가치 판단은 결국 사람과 조직의 선택이기 때문입니다.