'누구나 딥러닝'의 시대가 오는 것일까.
GPT-3, 규모 그 이상의 의의
OpenAI에서 GPT-3를 발표했을 때, 딥러닝 커뮤니티의 반응은 대부분 500B의 데이터셋, 175B개의 파라미터라는 그 '크기'에 집중됐다. '그 정도 자원을 쏟아부었으니 당연히 잘 되겠지'라는 생각이 자리 잡고 있었고, 나도 마찬가지였다.
하지만 GPT-3는 단순히 규모를 키워 성능을 높인 모델 이상의 의의를 지닌다.
접근성의 혁명
딥러닝 모델 활용의 역사를 보면, 초기 end-to-end 모델에서 워드 임베딩 사전을 가져다 쓰는 방식으로, 다시 프리트레인 된 네트워크를 그대로 쓰는 feature-based approach나 해당 태스크에 맞게 튜닝하는 fine-tuning 방식으로 발전해왔다.
하지만 fine-tuning조차 꽤 큰 데이터와 며칠의 작업이 필요했다. 좋은 컴퓨팅 자원을 가진 ML 엔지니어가 투입되어야 했고, 당연히 ML 기술은 기업이나 ML 엔지니어가 풀고 싶은 문제 수준에만 적용될 수 있었다.
GPT-3는 few-shot learning을 통해 ML 기술 적용 대상을 '프로그래밍을 전혀 모르는 일반인이 풀고 싶은 문제' 수준으로 단숨에 끌어내린다.
설명서가 필요 없는 API
이 API는 명세서가 없다. 프로그래밍 지식이 전혀 없어도 '영어'만 할 줄 알면 의도를 기계에 전달할 수 있다. 제작자가 사전에 고려하지 못한 태스크도 수행할 수 있는 범용성을 지닌다. 개인이 하고 싶은 작업에 대해 대여섯 가지 사례만 잘 입력해주면, 최고 수준의 ML 모델을 개인적인 문제에 적용해볼 수 있는 시대가 열린 것이다.
이 '설명서 없는 ML API'가 가져올 미래는 어떠할까. 이를 사용할 수 있는 권리를 가진 회사와 국가, 그렇지 않은 회사와 국가의 간극은 얼마나 커질 것인가. 냉전 시대의 군비 경쟁처럼, 국가 존망을 두고 벌이는 ML 전쟁이 정말 눈앞에 와 있다.
