소모한 비용과 남은 예산을 바라보며 잡담

https://mangowhoiscloud.github.io/resume/cursor-recap.html

 
github.io로 resume, portfolio와 함께 이코에코를 제작 및 고도화하며 든 비용을 시각화해서 배포해 두고 있다.
배포된 페이지는 Cursor에서 제공하는 토큰 사용량 csv를 SOT로 삼아 업데이트하는 중이다. Chat Agentic Workflow 개발의 경우, 기존 백엔드/인프라 개발 및 고도화에 비해 상대적으로 최신 지식들이 요구되는 만큼 문서 형식의 하네스를 더 빈번히 쌓았다.
코딩 에이전트 모델 cutoff 이후 시점 기술들과 사례들이 주였고, 하네스를 쌓는 만큼 토큰, 로컬캐시 등의 리소스가 빠르게 소모됐다.
LLM API를 레이턴시 10-20초정도의 외부 호출이라는 관점에서 바라보면 동시접속자를 늘리도록 큐잉, 오케스트레이션 하는 작업은 기성 백엔드/인프라 개발 방식에서 크게 벗어나진 않지만, 에이전트 워크플로우는 '상태 관리, 계층적 메모리 설계를 제외하면 신생 분야라 봐도 무방하지 않나.'라고 생각하는 편이다. 이코에코 MVP에서 협업했던 방산 쪽 AI 연구원 분도 데이터 구조화와 프롬프트 엔지니어링에 대부분의 시간을 쓰신 걸 생각해 보면.. 사람마다 다르겠지만 에이전틱 앱의 접근 방식이 기존 서버 개발과는 다소 이질적인 면이 있는 것도 사실이다. 아무튼 5-60만 원 상당의 비용이 이틀 만에 사라지는 걸 보니, 이대로는 작업을 이어가기 어려울 것이라 판단해 툴을 바꾸기로 결정했다.
 
https://github.com/code-yeongyu/oh-my-opencode

GitHub - code-yeongyu/oh-my-opencode: The Best Agent Harness. Meet Sisyphus: The Batteries-Included Agent that codes like you.

https://claude.com/pricing

Pricing | Claude

 
Cursor 대체제로 oh-my-opencode의 사용도 고려했다. 한국계 개발자가 만든 툴이기도 해서 개인적으로 활용해보고 싶은 맘도 컸다. 그렇지만 Anthropic에서 구독 자격 증명 헤더를 Claude Code에만 한정 지어 동작하도록 막았다는 소식도 있어서 안전하게 Claude Code Max 요금제로 갈아탈 생각이다. 남은 예산이 80만원 남짓이라 당분간은 Claude Code에 익숙해지는 시간을 가질 듯싶다.
Cursor의 UI와 코딩 컨택스트 인덱스는 개발에 있어 더없이 편리하지만, 아무래도 모델사에서 지원하지 않는 서드파티인 만큼 장기적으로 봐도 비용 면에서 강점을 가지기는 어렵다. 현 토큰 비용도 성능 대비 많이 내려간 편이라고는 하나, 개발 속도를 가속시키기에는 병목으로 잡힐 만큼 여전히 비싸다. LLM 토큰 가격이 전기, 상하수도 레벨까지 내려가기엔 모델을 받치는 컴퓨팅 리소스가 비싼 터라.. 현시점 LLM 모델들의 발전 속도로는 아직 이른 얘기지 않나 싶다. 물론 SWE보다는 배로 저렴하다. 그게 기성 SWE들에게 치명적으로 다가온 점이니 말이다. 그렇지만 컴퓨터의 발전사가 그랬듯 진공관, 어셈블리어, 컴파일 언어, 인터프리터, 도커-K8s(가상화)까지 오면서 세대별 인력과 요구역량의 전환이 있긴 했지만 생산성과 밸류는 꾸준히 지수 상승했다. 코딩 에이전트 이후 일반 C, Python, Java 계열 언어에서 자연어와 병렬 오케스트레이션으로 추상화된 거라고 여긴다. 제품군 또한 App에서 에이전트로 변화를 거치면 보다 유연해진 DAG로 소프트웨어가 할 수 있는 범위 자체가 폭증하고 말이다. 한국계는 유니콘들이 솟아나던 10년대 초중반 모바일 세대 이후, 클라우드-LLM으로 이어지는 발전사에선 이렇다 할 성공 사례를 내지 못했다. 그사이 SNS, 영상 스트리밍, 공유 차량 혹은 숙박 등 다양한 산업군이 태동했지만 인스타그램, 넷플릭스, 우버, 에어비앤비와 같은 사례를 만나진 못했다. 우버와 유사한 타다라는 서비스가 있었지만 택시업계의 반발로 카카오택시 선에서 발전사가 끊겼다. 쏘카가 그 흐름을 이어받는 중이라고 여기는 편이다. 송금인 토스도 도입 초기 사회, 법망에 가로막혀 1년 휴직기를 거친 걸 보면 기술의 발전도 중요하지만 유동적인 제품과 환경을 받아들일 준비가 된 성숙한 사회 분위기 또한 제품을 길러내는 토양 중 하나라는 생각도 든다.
 
굳이 한국으로 한정 짓지 않더라도, 에이전트 이전 결정론적인 App(CRUD)으로 성장할 수 있는 비즈니스 혹은 도메인군은 한정적이다. US를 봐도 SW로 최대 부가가치를 내는 사업군은 검색, 광고(SNS), 이커머스, OS로 귀결된다. 이젠 어느정도 정리가 된 한국계 유니콘들(쿠팡, 토스, 배민, 무신사. 당근은 유니콘이라고 부르기엔 매출이 미약하다. 학부시절 긱한 회사하면 당근이 먼저 올라왔던 만큼 현 상황이 내심 아쉽게 느껴지기도 한다.)의 발전사를 살펴보면 '택한 도메인이 어디냐'에 따라 성장 차이가 드라마틱하게 벌어진다. 회사와 SWE들의 역량과 별개로 시장과 고객에게 스며들어 서슴없이 돈을 지불하게 만드는 서비스는 한정적이라는 말이다.

에이전트의 시대가 와도 달라지진 않는다고 생각한다. 에이전트 수익화로 가장 먼저 두각을 낸 도메인은 Claude Code, Cursor로 대표되는 코딩 에이전트다. 올해 IPO 이후 재무제표를 보면 명확해지겠지만 두 회사의 25년 에이전트 매출은 각각 $1B정도로 추정된다고 하니 시장과 고객으로부터 코딩 에이전트가 이미 결정론적인 App(CRUD)보다 높은 가치로 책정되고 있는 건 명확해 보인다. 현재까지의 에이전트가 비결정론적인 응답과 상태 제어 기반 오케스트레이션, 유연한 DAG와 폭발적인 언어 생산성을 살려 문서로 이룰 수 있는 퍼포먼스를 폭증시키는 방향(언어로 가장 큰 생산성을 낼 수 있는 분야는 코딩이다.)으로 발전했다.
 
코딩 에이전트 이후(이 문단을 작성하는 시점은 26년 1월 28일이다.), 사람들이 에이전트에게 바라는 건 '전산 환경에서 사람과 동일 혹은 그 이상의 역할을 해주는 자동화 시스템'이라고 여긴다. 구글이 최근 내놓은 에이전트 기반 이커머스 프로토콜을 살펴보면 빅테크는 기성 결정론적 App 비즈니스를 에이전트화시키는 방향을 먼저 택한 듯싶다. MoltBot이 에이전트 OS의 원형이라고 보는 사람도 있는 만큼 '기성 분야의 에이전트화'로 대표되는 패러다임 시프트는 당분간 지속되지 않을까 싶다.
현시점 에이전트(툴콜링과 오케스트레이션이 포함된 LLM Application)는 응답 Latency가 길기에 SSE(표준), Websocket(간혹 사용)등으로 긴 세션을 형성, 즉각적인 타이핑 UI 구성해 사용자가 이탈하지 않고 지속 소비하도록 유도하고 있다. 연결 시간이 긴 만큼 동시 접속을 위해 요구되는 서버 측의 컴퓨팅 리소스, 각종 기법들이 기존 CRUD 앱에 비해 다소 까다롭다. Chat 세션동안 컨택스트를 보다 개인화해서 제공하기 위해서라지만 Cursor와 Gpt 앱이 사용자의 리소스(로컬 캐시)를 야금야금 끌어 쓰는 것도 비슷한 연유라고 생각하는 편이다. Opus 4.5-GPT 5.2 이후 모델들이 비약적인 성장을 내줘 응답과 추론 시간이 기성 App만큼 ms 단위로 떨어진다면 현재의 State, 툴콜링, 오케스트레이션, SSE 위주의 에이전트 백엔드 부하는 줄어들 여지가 있다. 다만 OpenAI가 추론을 밀고 있다는 점을 봐서 짧게는 10초, 길게는 분단위로 소모되는 레이턴시가 극적으로 줄어드는 시점이 오기엔 아직 시간이 더 필요해 보인다. 그런 순간이 오면 나야 좋지만 말이다. (26년 2월 23일 기준 GPT-Spark와 Opus Fast가 등장하며 추론 시간 = 돈으로 환산되기 시작했다.)