AI 활용 강의를 하다 보면 AI를 어느 정도 다뤄보신 분들에게서 꼭 나오는 질문이 있다. "한도에 왜 이렇게 빨리 도달하나요?" 대화를 조금만 왔다 갔다 했을 뿐인데 금세 한도에 도달해서 5시간을 기다려야 하니, 요금제 상향만이 답이냐고. 원인은 대부분 같은 곳에 있다. AI의 "기억력"은 공짜가 아니다.
AI는 대화할 때마다 이전 대화 내용, 규칙, 참고 데이터를 전부 **토큰(Token)**이라는 단위로 다시 읽어 들인다. 보내는 글자 수가 많아질수록 토큰 소비는 선형으로 는다. 구독 한도든 API 요금이든 토큰을 쓴 만큼 닳는다. 읽어야 할 컨텍스트가 많을수록 답변이 시작되기까지 걸리는 시간도 길어진다. 비유하자면 매번 회의를 시작할 때마다 신입사원에게 회사 연혁부터 오늘 할 일까지 1,000장짜리 매뉴얼을 처음부터 다시 읽게 하는 것과 같다. 필요한 기억만 골라서 건네야 비용도 시간도 아낄 수 있다.
그래서 이걸 어떻게 줄이는지 비개발자도 감을 잡게끔 인포그래픽 한 장으로 정리했다.
① 데이터 다이어트 — 포맷부터 바꾼다
AI와 데이터를 주고받을 때 흔히 쓰는 JSON은 사람과 기계 모두 읽기 좋지만 괄호와 따옴표 같은 기호가 토큰을 꽤 잡아먹는다. 이걸 TOON(Token-Oriented Object Notation) 같은 AI 전용 경량 형식으로 바꾸면 같은 의미를 전달하면서 토큰 사용량이 15~60% 줄어든다.
과대 포장된 택배 상자에서 내용물만 꺼내는 셈이다. 내용은 그대로인데 부피만 줄어든다.
② 캐싱 — 한 번 기억한 건 다시 읽지 않는다
이미 계산했거나 자주 묻는 질문의 답을 저장해두고 재사용하는 방식이다. 두 갈래가 있다.
프롬프트 캐싱은 회사 규정이나 에이전트의 공통 규칙처럼 매번 반복되는 앞부분을 한 번만 기억시켜두고 모든 요청이 공유하는 방식이다. 시맨틱 캐싱(GPTCache 등)은 한 걸음 더 나간다. "환불 어떻게 해?"와 "환불 정책 알려줘"를 같은 질문으로 알아본 뒤 AI를 거치지 않고 저장된 답을 즉시 꺼내준다.
③ 프롬프트 압축 — 요약본을 건넨다
사람이 읽기 좋은 긴 문장을 AI가 알아들을 만한 짧고 압축된 형태로 바꿔 전달하는 기술이다. LLMLingua나 TokenSkip 같은 도구가 불필요한 단어를 쳐내고 의미만 남긴다. 복잡한 추론 과정(Chain-of-Thought)도 절반 수준으로 줄어든다.
두꺼운 전공 서적을 통째로 건네는 대신 핵심 요약본을 만들어 건네는 것이다.
④ 지능형 메모리와 라우팅 — 비싼 모델은 아껴 쓴다
가장 비싸고 똑똑한 모델에게 모든 걸 묻고 과거 대화 전체를 한 번에 던져주는 건 낭비다.
라우팅은 단순한 정보 추출은 저렴한 소형 모델로 보내고 복잡한 추론만 대형 모델로 넘기는 교통정리다. 벡터 메모리(Mem0 등)는 과거 대화 기록을 전부 넣는 대신 현재 질문에 꼭 필요한 "핵심 기억"만 검색해 AI에게 넘긴다.
이걸 하면 뭐가 달라지나
네 가지 전략을 조합하면 인프라와 API 호출 비용이 크게는 50~90%까지 줄어든다. 비용만의 문제가 아니다. 지연 시간이 줄면 사용자 경험이 좋아지고 같은 예산으로 더 많은 사용자를 감당하게 된다. 절약이 곧 확장 여력이 되는 셈이다.
구독으로 쓰는 사람은 뭘 하면 되나
위 네 가지는 주로 서비스를 만드는 쪽에서 쓰는 기법이지만, 원리는 ChatGPT나 Claude를 구독으로 쓸 때도 똑같이 통한다. 핵심은 AI가 다시 읽어야 할 분량을 줄이는 데 있다.
- 주제가 바뀌면 새 대화로 시작한다. 한 대화를 오래 이어갈수록 AI는 지난 내용 전부를 매번 다시 읽고, 한도는 그만큼 빨리 닳는다.
- 긴 문서는 통째로 붙여넣지 않는다. 필요한 대목만 발췌해서 넣는 게 프롬프트 압축이다.
- 길어진 대화는 요약을 받아 넘어간다. 요약을 부탁한 뒤 새 대화에 요약본만 들고 가면, 과거 전체가 아니라 "핵심 기억"만 넘기는 셈이 된다.
- 간단한 작업은 가벼운 모델로 처리한다. 같은 한도라도 비싼 모델일수록 빨리 닳는다.
거대한 문맥을 무작정 던져주는 방식은 이제 통하지 않는다. 포맷과 기억법만 손봐도 AI는 훨씬 가볍고 빨라진다.