새해 맞이 잡담

https://www.youtube.com/watch?v=P8N385SfLWk

저번 편을 재밌게 봐서 챙겨봤다. 저번 편이 더 재밌긴 했다.

auth랑 my(users)를 클린 아키텍처+Persistence Offloading으로 갈아놓은 PR을 묵혀두고 유튜브 뒤적이는 중이다.
토큰값도 걱정이고.. 대학생 시절 영화 보던 때 생각도 나서 이런 토크 보면 향수 아닌 향수가 찬다. 가짜 노스텔지어의 일종이다.
영화를 딥..?하게 보거나, 많이 본 건 아니고 600-800편 정도로 좀 편향적이게 봤다. 그래서 본 편수가 상대적으로 적음에도 나름의 개인화된 취향을 가진 편이라고 생각한다. 고딩시절 영화 동아리 때 신기한 걸 많이 봐서 대학생까지 취향을 쭉 갈고 닦았었다.
'그 시간에 학점을 챙겼으면 지금 이렇게까진 안됐을텐데..'라는 생각도 가끔한다. 근데 요즘 보면 잘 모르겠다. 백준도 골-플에 뭐.. 코테는 원래부터 중-상 사이를 왔다갔다 했다. 그럼에도 합격한 기억은 부스트캠프, 카테캠 같은 부캠들 말곤 잘없다. 왜인지는 잘 모른다. '서류랑 같이 봐서 그렇지 않나..'라고 생각하는 편이다. 전직장인 라쿠텐 심포니는 라이브코딩x2였다. 첫 사수와 US 쪽 분이 리모트로 면접을 봤었고, 두 분 다 인도계셨다. 손으로 코딩을 안한지 꽤 돼서 그때처럼 하라면 잘할 자신은 없다.
체감상 코테 난이도는 카 >> 토스 >> 네클순이라 생각한다. 토스는 완전 실무 중심이라 건드릴 수가 없어서 평가하기 좀 애매하긴 하다. 네클은 따로 코테 관리를 안하는 듯 싶다. 나왔던 문제가 또 나오고 그런다. 라인은 코테 볼 기회도 안주더라. 신입-1년차 TO가 없다. 요즘엔 경력 아님 석사 이상부터 뽑나보다.

8월 31일 퇴사 시점부터(출근은 8월 3일부터 안했다. HR님이 US 헤드님께 얘기해서 한달정도 얻어주셨다.) 1-2달은 놀고 10월 31일부터 작업을 지속했다. 커밋 대부분이 이코에코 클러스터+서버다. 취업 전 GitHub의 2FA를 분실해서 새로 파서 사용 중이다.

 
LLM의 비중이 커진 마당에 코테는 좀 애매한 면이 있긴 하다. 클린 아키텍처부터 속도가 확 쳐진 이유도 비슷하다. 만들면 만들수록 '이거.. 너무 무난한데..'라는 생각이 스치니까 손이 잘 안간다. 요즘은 Clean Architecture 버전 API들 버그잡는 중이다. Opus가 코드를 생성하기 전에 미리 구조를 뽑고, 정책들과 의존성 방향을 점검하고 들어가고 있어, Presentation -> Application(port/usecase) -> Infrastructure(adapter)로 흐르는 계층별 의존성이 꼬이는 일은 드물지만, 각 계층 아래 세부 분류나 스키마가 나이브하게 생성되는 경우가 있다.
예를 들면 applications 레이어 아래 포트들을 common에 몰아넣어 비대해진다던가, 목적성에 맞게 세분화를 부탁하면 auth/application/auth처럼 중복 명칭을 만든다던가, usecase가 끌어오는 로직이 service가 아닌 port에 담겨져 있다던가.. 이런 경우가 꽤 돼서 현재는 포트와 스키마들을 다듬고 있다. 클린 아키텍처에 익숙한 상태는 아니라 익히면서 다루는 중이다. 
Application을 기준으로 펼쳤을 때 먼저 기능이 보이고, 기능별로 command/queries/port/dto/service가 명시적으로 잡힌 걸 보면 기분이 좋다. 이제 폴더 구조만으로도 해당 도메인이 어떤 기능이 있는지, 기능은 어떤 READ/WRITE를 수행하는지 알 수 있게 됐다.

https://www.youtube.com/watch?v=8kMaTybvDUw

리팩토링도 물론 유의미한 작업이지만, LLM 10초 부하 달고 어떻게든 동시접속자 늘려보겠다고 이벤트 릴레이 레이어 도출하던 때가 아무래도 더 재밌긴 했다. 그만큼 스트레스를 많이 받긴 해도 말이다. 현시점 LLM 모델사에서 제공하는 API는 인공위성보다 응답속도가 느리다. 이걸로 어떻게 대용량 트래픽을 띄우는지는 감이 잘안간다. 에이전트 앱을 쓰다보면 캐시가 자주 찬다. '로컬 캐시 + 컨택스트로 대부분을 처리하고 Persistence 접근없이 stateless로 핑핑 돌리나..?'라는 생각을 자주했다. 
그래서 LLM API 개발 땐 의도적으로 상태를 최대한 빼면서 구성하려고 한 면도 없지 않아 있다.
결국 체인용으로 state를 넣긴 했다. State는 Redis, Event는 Streams에 담으며 안정성과 속도 두 사이를 저울질하며 밸런스를 잡아놨다. 성능만을 원하면 일단 Celery task부터 줄여야 한다.
관련 영상을 찾아보니 state 접근이 의외로 정석에 가깝더라. 다양한 에이전틱 앱 플로우가 있지만 모두 state의 의존성이 높다.
저 영상을 보면 "Software은 DAG다."라는 말로 시작하면서 Agentic Apps의 구성을 설명해 준다.
캡쳐한 도면을 보면 다음 Vertex로 가는 걸 State로 분기하는 모습을 볼 수 있다. 모델 간 스텝별 체이닝을 구성하려면 상태는 피할 수 없는 선택지인가 싶다. (이코에코로 치면 Vision[GPT] -> rule-based -> Answer[GPT] -> reward)

다들 비슷한 생각을 하는지 마지막엔 stateless reducer를 소개해준다. 각 Vertex는 개별 상태를 가지지 않고, 업데이트로 처리해 최대한 stateless로 만드는 접근이다.

11-12월동안 소모한 비용은 차례대로 $1,540, $2,570, $2,100. 총 897만원이다. 자잘한 비용을 합치면 900만원정도로 정말 중고차 한 대 가격이 나왔다.

 
아무튼 백엔드/인프라 FULL스택 프젝에(초기 클러스터 구축과 GitOps, Observability 보강 작업은 DevOps에 가까웠다.), 소박하게 수상도 있고, 일본계 Full-time 개발 경력도 짧게 있음에도 답이 없는지라.. '이래도 안되면 평균보다 쪼오끔 더 잘하는 영어를 밀어서 이민을 가는 게 차라리 빠르지 않나..?' 싶은 생각도 든다.
서류를 안넣은지 3-4주가 지난 시점에서 과한 걱정일 수 있다. 수상 이후 2-4곳 지원 외엔 디벨롭만 이어오고 있다. 한국계 쪽 서류 탈락을 볼 때마다 참.. 전직장은 이직을 잘하던 분들이 많기도 해서 쫓겨나듯 뛰쳐나온 마당에 머쓱하다. 라쿠텐에서 배운 CNP 개발이 그렇게까지 무가치하진 않은데..라는 물음표가 항상 따라다닌다. 서류가 붙는 회사들도 들쭉날쭉하다.
쌩주니어가 할 말은 아니지만 '한국계 개발이 딱히 전문적이고, 잘하는 건 객관적으로 아닌 듯 싶은데..' 라는 말이 턱끝까지 나오지만 참고 산다. 월급도 타직종 엔지니어 대비 그리 높은 편이 아닌 듯 싶은데 말이다. 구직 플랫폼 기준으로 0년차 세전 4500(보너스 제외)을 총소득으로 잡아도 SW 개발직군 상위 15%다.. 그만큼 허리가 없다. 포폴이든, 언어(이건 솔직히 사바사가 심하긴 하다. 나야 필요했지만 대부분은 교양의 영역일 거다.)든, 소위 말하는 개발 실력(?)이든 투자를 많이 해야해서 참 속이 답답하다.
 
원래 학부가 전기랑 컴퓨터가 합쳐진 형태라 더 그렇게 느끼는지도 모른다. 제조업이랑 SW 양쪽 분위기를 두루 느낄 수 있긴 했다.
제조는 아무래도 수출길이 열렸다보니 근본있고 탄탄한 대신 답답한 인상이라면.. 컴퓨터는 서비스 기업들 이미지가 좋긴 했지만 알파고 이전엔 뭐.. '자바 3명 타세요.' 아니면 비전공 분들이 많이 계셔서 전공은 큰 의미없다는 얘기 자주 듣고 그랬다. 전직장은 정통 CS가 많긴 했다. 오히려 인도계 분들은.. 유튜브 영상의 허키님 표현을 빌리면 먹물이 많이 묻었다. LLM 주도 코딩을 보면 더 의미없게 느껴지긴 한다. 인공지능이 CS 역사와 함께 생겨난 분야인 걸 감안하면 말이 안되긴 하지만 말이다.
'LLM이면 다한다.'는 분위기를 의식해서 무리하게 펼친 감이 있다. 사실 이렇게 GitHub을 포함한 모든 문서와 시스템 로그, 개발 과정, 더나아가 Observability를 제공해도 피드백까지 이어지는 경우는 잘 없고, 심지어 유관 분야라 할지라도 캐치업을 하는 경우조차 드물다. 딥시크가 MoE를 풀어도 그걸 따라가는 기업, 팀의 숫자는 한정적인 거랑 비슷한 거라 여긴다. 모델에 대해선 잘 모르니 비유라 여기면 감사하겠다. 요리로 치면 이연복 쉐프님의 '어차피 하는 사람은 소수다.'와 일맥상통한다.

그럼에도 요즘 디벨롭하며 드는 생각은 ‘스케일에 비해 시스템이 무난하게 보인다.’는 점이다. 이코에코를 너무 오래봐서 그런가 싶다. 10월 31일부터 시작했으니 이제 막 2달이 넘었다. 클라이언트부터 LLM API까지 E2E로 연결된지는 한달 남짓이다.
유저는 팀원이랑 가족, 내가 끝이다.. 부하 테스트로 뭐.. 동시 접속 테스트로 나온 게 최대 트래픽일 거다.
baseline인 ext-authz는 2500 users - 250 ramp-ups, 주 기능인 Scan API(SSE)는 400-500 VUs, 400RPM이다. 궁금한 분이 있다면 써주면 감사하겠다. PWA로 쓰는 걸 추천한다. 현재는 배포 상태로 디벨롭을 이어오고 있다. 학부에선 한 프젝으로 반년에서 1년 넘게 잡는 분이 계시기도 했고, 또 그분이 가장 잘풀리셨으니.. 코드를 생성하는 방식이랑 다루는 테이스트가 그 시절과 많이 다르긴 해도 공을 들이면 들일수록 밸류가 올라가는 건 여전하다고 생각하는 편이다. 암튼 당분간은 좀 쉬엄쉬엄하려고 한다. 해피 목요일이다.
 

GitHub

• https://github.com/mangowhoiscloud

mangowhoiscloud - Overview

Service

• 이코에코 1달 간 서비스 중, 24-nodes cluster, 현재까지 소모한 개발 비용 897만원

이코에코