AI & Society·2023-10-13

Stateful API가 기대되는 이유

다음 달에 OpenAI에서 Stateful API를 공개한다는 루머가 있다.

이전 대화 내역을 기억하고 유지해준다면, 속도 문제가 치명적이지 않은 상황에서 연속 N번 호출하는 방식을 적극적으로 검토할 수 있을 것이다.

현재는 인풋이 긴 경우 2번 호출하는 것이 부담스러워, 대부분 단계별로 가이드하되 한 번에 몰아서 호출한다. 하지만 결과물만 놓고 보면 한번 호출한 결과를 기반으로 다시 호출하는 방식이 훨씬 좋기에, Stateful API의 등장이 기대된다.

ai-llmai-product

클로드 리서치가 압도적인 이유

3사 AI 리서치 기능을 업무용으로 비교한 결과, 클로드가 858개 출처에서 100여 개 데이터셋을 찾아내며 압도적이었다. 정보 수집 작업에서 에이전틱 동작의 차이가 크다.

LLM JSON 출력의 현실적 문제

LLM의 JSON 아웃풋이 가끔 깨지는 문제와 이를 위한 후처리 도구 소개. 포맷 지시를 마지막 유저 메시지에 넣는 것이 실용적 팁이다.

LLM에게 자아를 부여하지 마라

카파시는 LLM을 자아를 가진 존재가 아니라 시뮬레이션 엔진으로 대해야 한다고 조언한다. 이 관점은 AI 활용법을 넘어 AI를 존재로 인식하는 문제의 해결 시작점이 될 수 있다.

Comments (0)

Markdown supported