LLaMA2 공개와 오픈소스 AI의 새 국면
오늘 두 가지 멋진 소식이 있었다. 이를 접하자마자 떠오른 생각들을 메모한다.
LLaMA2
LLaMA1의 소식과 파생 모델에 관심이 가지 않았던 이유는 실 서비스에 적용할 만한 성능이 나오지 않는다는 것을 테스트 없이도 알 수 있을 정도였기 때문이다. GPT-3.5가 보여준 '체감할 수 있는 효용'의 임계치를 넘지 않은 것으로 보여, 성능 향상 자체가 의미 없다고 판단했다.
만약 LLaMA2가 알려진 수준, 즉 chat에서 ChatGPT(3.5)에 버금가는 성능이 맞다면 새로운 국면이 열린다. GPT-4가 꼭 필요하지 않은 영역에서, 특히 서비스가 아닌 내부 업무 용도라면 Claude2 등과 함께 고려할 선택지가 될 수 있다.
하지만 한국어라면 기대하기 이르다고 추측한다. 후발주자들의 목표는 GPT를 따라잡는 것이기에, 영어와 공개 테스트 데이터의 지표를 높이는 데 치중할 수밖에 없다. 영어와 주요 지표에 오버피팅됐을 가능성이 높고, 지표에서 유사한 수준이라면 실제 체감은 훨씬 낮을 것이다.
하지만 결국 이를 그대로 쓰는 것이 아니라 개별 용도에 맞는 파인튜닝이 시작되는 것이기에, 이런 기술을 보유한 스타트업들이 살아날 수 있는 기회가 될 수 있다.
Upstage의 리더보드 2등 달성
Upstage가 LLaMA 기반 파인튜닝 모델로 HuggingFace의 open_llm_leaderboard에서 2등을 달성했다. 대단한 성과지만, 실제로 써보기 전까지 수준을 논하기는 어렵다. 캐글러 출신이 많기에 지표 최적화 방향의 모델이 아닐까 하는 추측이 있다.
하지만 국내, 특히 대기업에 팔기 위해서는 객관적 지표가 필요하다는 점에서 이는 굉장히 좋은 전략이다. 가장 궁금한 부분은 학습 데이터 수집과 생성 방식인데, 만약 GPT-4 등을 이용해 생성된 데이터를 활용했다면 추후 문제가 될 수 있다.
