똑똑한 모델이 결국 더 싸다
Opus 4.5가 나왔다. Sonnet보다 토큰당 가격은 66% 더 비싸지만, 더 효율적으로 일하기에 동일한 작업을 수행하는 데 드는 토큰이 1/4에서 1/2 수준이다. 결과적으로 더 저렴할 수 있다는 이야기다. 똑똒한 사람이 적은 노력과 시간만으로 더 높은 성과를 내는 것과 유사하다.
물론 지금은 어느 수준 이상의 복잡한 작업에 한정된 이야기다. 간단한 작업에는 여전히 싼 모델이 싸다. 하지만 이 또한 고민하지 않아도 될 시간이 곧 올 것 같다.
어느 수준 이상의 지능에 도달하면 간단한 작업을 더 간단히 힘 빼고 쉽게 할 줄도 알게 될 것이다. 리즈닝 토큰을 적게 소비하는 것을 넘어, dynamic depth나 early exit처럼 효율성 자체가 목적함수로 포함되어 학습될 수도 있고, 그냥 지능이 상승하며 스스로 효율성을 체득하는 창발이 일어날 수도 있다.
이것이 적절한 ops 발달과 함께 간다면, 지금 우리가 클로드코드에서 하는 서브에이전트 만들고 다듬는 노력들 또한 몇 달 후에는 쓸모없어지는 또 다른 bitter lesson이 될 수 있다. haiku, sonnet, opus 같은 모델명은 사라지고 그냥 claude, gpt, gemini처럼 브랜드명만 남게 될지도 모른다.
Related
GPT-4가 보여주는 것은 기술이 아니라 속도다
GPT-4 공개의 핵심 포인트를 짚는다. 한국어 능력의 도약, 토큰 확장의 의미, OpenAI의 비즈니스 전략, 그리고 Open이라는 이름의 아이러니까지.
LLM에게 자아를 부여하지 마라
카파시는 LLM을 자아를 가진 존재가 아니라 시뮬레이션 엔진으로 대해야 한다고 조언한다. 이 관점은 AI 활용법을 넘어 AI를 존재로 인식하는 문제의 해결 시작점이 될 수 있다.
클로드 리서치가 압도적인 이유
3사 AI 리서치 기능을 업무용으로 비교한 결과, 클로드가 858개 출처에서 100여 개 데이터셋을 찾아내며 압도적이었다. 정보 수집 작업에서 에이전틱 동작의 차이가 크다.