최근 이틀 동안 특정 분야 상담 모델 구축을 위한 데이터 생성 작업을 Opus 4.5와 함께 했다. 그 과정에서 몇 번이나 감탄하는 순간을 경험했다.
좁은 컨텍스트에서 드러나는 지능
이전에는 프로젝트 전반을 이해해야 하는 작업이었지만, 이번에는 몇 개의 파일 정도만 고려하면 되는 작업이었다. 상대적으로 쉬운 작업이니 잘하는 것이 당연하다고 볼 수도 있겠으나, 봐야 할 컨텍스트가 줄어든 상태에서 체감되는 이놈의 지능은 이전과 비교할 수 없을 만큼 높아졌다.
내가 시켜놓고 "아 이것도 시켜야 하는데 빠뜨렸네" 하는 순간에 이미 그것을 알아채고 나에게 다시 물어보거나 수행하고 있었다. 거기서 한 발 더 나아가 내가 생각치 못했지만 꼭 해야 하는 일을 해주었다. 필요 없는 일을 하는 멍청함과 알아서 알아채고 필요한 일을 하는 것은 한 끗 차이다. 지금까지는 전자가 대부분이었는데, 이번에는 대부분 후자였다.
핵심은 컨텍스트를 제한하는 것
그래서 핵심은 어떻게 컨텍스트를 제한시킬 것인가다. 코드를 바라보는 관점에서도 전환이 필요하다. 모듈화 단위를 함수가 아닌 좀 더 큰 단위, 앱보다는 작지만 함수보다는 큰 라이브러리 수준으로 보는 시각이 필요하다.
이렇게 하면 컨텍스트를 제한시켜 AI 성능을 극대화할 수 있을 뿐만 아니라, 라이브러리 내부의 세부 구현은 온전히 AI에게 맡기고, 테스트와 검증의 단위도 라이브러리 수준으로 높일 수 있다. AI 개발에서 가장 큰 병목이 코드 모듈화와 문서, 테스트코드의 지속적 관리인데, 이를 함수가 아닌 라이브러리 수준으로 높이면 훨씬 적은 개입과 빠른 개발이 가능해진다.
AI의 병목은 기억력이다
아직 인간이 AI에 비해 우위에 설 수 있는 것은, 짧은 시간에 많은 양을 이해하거나 추론하는 능력이 아니라, 맥락을 암묵적으로든 명시적으로든 기억하고 필요한 것을 나도 모르게 인출하는 능력 때문이 아닐까. AI의 저장소가 내부/외부, 단기/장기처럼 완전히 분리되는 2단계를 탈피하여, 인간처럼 애매모호한 경계의 연속선상에서 기억하는 방식으로의 진화가 다음 시대의 AI를 열 수 있는 열쇠일지도 모른다.
프리랜서 시장의 미래
여기까지 생각이 미치니 대부분이 프리랜서처럼 일할 것이라는 미래상이 흔들렸다. 프리랜서에게 맡길 만큼 분리된 태스크라면 섭외의 용이함, 채용 비용, 문서화와 커뮤니케이션 비용 등 모든 면에서 AI가 인간보다 월등해질 것이다. 인간들이 협업해야만 하는 큰 규모의 태스크는 지금처럼 회사의 형태를 유지하고, 그렇지 않으면 모두가 1인 기업처럼 살아가는 양극화된 형태가 더 확률 높아 보인다.
앞으로의 프롬프팅에는 무엇을 하라고(what) 시키는 것보다 왜 하는지(why)를 알려주는 것이 점점 더 중요해질 것이다. why를 알면 이놈은 더 적절한 what을 스스로 도출한다.
