FrugalGPT: How to Use Large Language ModelsWhile Reducing Cost and Improving Performance
기본 정보- 학회: arXiv 2023- 저자: Y. Chen, M. Zaharia, J. Zou- 대학: Stanford / Future Data system lab Abstract최근 다양한 대형 언어 모델(Large Language Models, LLMs)이 등장하면서, 사용자들은 비용을 지불하고 LLM API를 사용할 수 있는 환경이 조성되었다. 그러나 이러한 API는 제공업체마다 가격 정책이 다르며, 그 차이는 두 배가 아니라 최대 100배(두 자릿수 차이)까지 날 수 있다. 예를 들어, GPT-4, ChatGPT, J1-Jumbo 등의 모델을 사용할 때 비용이 천차만별이며, 특히 대량의 쿼리나 텍스트 데이터를 처리하는 경우 비용 부담이 상당히 클 수 있다.이러한 문제를 해결하기 위해, 본 논..
2025. 2. 3.