AI & Society·2023-10-23

LLM JSON 출력의 현실적 문제

LLM을 이용할 때 여러 개의 아웃풋을 생성해야 하는 경우 보통 JSON을 쓴다. 문제는 열 중 아홉은 괜찮다가 가끔 JSON 포맷인 것 같은데 아닌 아웃풋이 출력된다는 것이다. 콤마가 빠지거나 따옴표가 빠지거나.

이것이 서비스에서는 굉장히 큰 문제라 자체적인 아웃풋 후처리기를 만들어 쓰고 있는데, 이를 위한 레포가 공유되어 소개한다.

별도의 팁으로, 아웃풋 포맷 관련 문구를 가장 마지막 유저 메시지로 넣으면 훨씬 좋아진다. 물론 어떻든 서비스를 하려면 보완 코드를 만들어두는 것은 필수다.

ai-llmai-product

클로드 리서치가 압도적인 이유

3사 AI 리서치 기능을 업무용으로 비교한 결과, 클로드가 858개 출처에서 100여 개 데이터셋을 찾아내며 압도적이었다. 정보 수집 작업에서 에이전틱 동작의 차이가 크다.

Stateful API가 기대되는 이유

OpenAI Stateful API 루머에 대한 기대. 대화 이력을 유지하면서 연속 호출하는 방식이 가능해지면 결과 품질이 크게 올라갈 수 있다.

LLM에게 자아를 부여하지 마라

카파시는 LLM을 자아를 가진 존재가 아니라 시뮬레이션 엔진으로 대해야 한다고 조언한다. 이 관점은 AI 활용법을 넘어 AI를 존재로 인식하는 문제의 해결 시작점이 될 수 있다.

Comments (0)

Markdown supported