OpenAI DevDay: 고객의 불편을 싹 해결하다
"우리 고객님들 뭐가 불편하세요? 그냥 다 해결해드릴게요." 요약하자면 이런 느낌이다.
API 사용자 불편 해소
JSON만 출력하고 싶은데 잘 안 됐던 문제는 JSON 모드로, Temperature 0으로 해도 값이 달라지는 문제는 seed 파라미터로, 텍스트만 나오던 결과는 log probabilities 제공으로, Rate limit 문제는 2배 확대로, State 유지가 안 되던 문제는 Assistants API의 Threading으로 해결했다.
RAG와 Agent를 통째로
Assistants API에서 Retrieval, Code interpreter에 function calling까지 지원한다. 리트리버 지원 파일이 Assistant당 512MB, 20개까지 가능하고, 입력 가능한 컨텍스트는 128,000까지, 학습 데이터도 2023년 4월까지 반영됐다.
성능은 올리고 가격은 내리고
이건 이제 놀랍지도 않다. 전 세계가 따라잡으려 하는데 아직 못 따라잡았는데 또 달아났다. GPT-4 파인튜닝 지원, 멀티모달 모델 API 제공(GPT-4 Turbo with vision, DALL-E 3, TTS), Whisper V3까지 API로 사용 가능해졌다.
GPTs와 진정한 자연어 코딩
일반 이용자도 개요만 넣으면 GPT가 알아서 프롬프트와 선택지를 만들고 직접 편집할 수 있게 해준다. GPT Store까지. 자연어 코딩의 시대가 도래한 것이다.
단상들
시장 핏뿐만 아니라 'OpenAI 핏'도 고민해야 하는 시대다. 이들이 앞으로 만들 것을 개발하지 않기, 이들이 업데이트할 것 같은 건(모델 속도, 성능, 컨텍스트 길이, 가격) 고민하지 않고 다른 걸 개발하기.
API 래핑 수준의 앱은 물론이고 추가 기술로 기술적 해자를 구축하던 스타트업도 위기다. 진짜 기술력이 아니라 OpenAI가 준 불을 활용해 누가 사용성 좋은 앱을 빨리 만들어서 커뮤니티를 먼저 구축하느냐의 싸움이 될지도 모른다.
한국어 RAG 쪽은 인풋에 맞는 전처리와 임베딩 모델의 병목 때문에 여전히 틈이 있다고 보지만, OpenAI라면 언제 어떻게 해결할지 모르겠다.
1인 개발자가 개발하고 살아가기에는 너무 좋은 세상이 됨과 동시에, 회사 수준에서 회사가 돌아갈 만한 이득을 얻기에는 어려워지는 세상이 되는 건 아닐까.
Text, Vision, Audio의 상호 전환이 가능해졌다. Input이 output이 되고 output이 input이 되는 순환. 여기서 새로운 서비스 기회가 보인다.
내가 API 사용자로서 느꼈던 문제들을 거의 다 해결해준 느낌이다. 이걸 고객의 니즈를 잘 아는 것이라 해야 하는지, 기술력이 미친 듯이 뛰어난 것이라 해야 하는지 모르겠다.
