Technology
어디까지 LLM인가
When is an LLM the wrong tool?
Tool selection, alternative algorithms, and the limits of language models.
Updated 2026-07-29
AI로 무언가를 만들자는 말이 나오면 거의 언제나 LLM 이야기가 됩니다. 그런데 실제로 필요한 일의 절반쯤은 LLM으로 풀면 더 비싸고 더 부정확합니다.
이 글은 저희가 무엇을 LLM으로 풀고 무엇을 풀지 않는지에 대한 기록입니다.
1 · 두 계열은 하는 일이 다릅니다
| Non-LLM | LLM | |
|---|---|---|
| 입력 | 숫자·이미지·신호 | 언어 |
| 출력 | 확률·분류·좌표 | 문장·코드·판단 |
| 강점 | 반복 계산의 정확도 | 맥락 이해 |
| 약점 | 맥락을 모름 | 숫자에 약하고 비쌈 |
수요를 예측하는 일에 LLM을 쓰면 안 됩니다. 시계열 모델이 훨씬 정확하고 훨씬 쌉니다. 계약서에서 핵심 조항을 뽑는 일에 시계열 모델을 쓸 수 없습니다.
2 · Non-LLM으로 푸는 것 — 다섯 갈래
예측분석 · 전통 ML
| 하는 일 | 쓰는 것 |
|---|---|
| 수요예측 — 과거 판매·계절성으로 미래 수요 추정 | ARIMA, XGBoost, LightGBM, Prophet |
| 이탈률예측 — 떠날 고객 식별 | XGBoost Classifier, CatBoost |
| 이상탐지 — 정상에서 벗어난 신호 | Isolation Forest, One-Class SVM |
| 고객세분화 — 라벨 없는 데이터의 자동 분류 | K-Means, DBSCAN |
| 민감도 시뮬레이션 — 변수 분포로 하방 리스크 추정 | Monte Carlo |
⚠️ 마지막 항목이 특이합니다. 학습 데이터가 필요 없습니다. 확률분포 가정만 있으면 즉시 적용됩니다. 데이터가 없는 초기 단계에서 유일하게 쓸 수 있는 정량 도구입니다.
컴퓨터비전
객체인식·추적(YOLO), 생체인식(FaceNet), 의료영상 분할(U-Net), 위성·드론 이미지(SAM).
음성·오디오
음향이상탐지(스펙트로그램 + 비전모델), 화자인식, 음원 분리(Demucs).
강화학습·최적화
경로 최적화(OR-Tools), 다이내믹 프라이싱, 포트폴리오 최적화.
그래프 ML
추천(LightGCN), 소셜네트워크 분석(GCN), 신약개발(AlphaFold).
3 · LLM으로 푸는 것 — 여섯 갈래
| 갈래 | 하는 일 |
|---|---|
| 생성 | 텍스트·코드·이미지 생성 |
| 이해·추론 | 요약·정보추출·분류·논리추론 |
| 검색증강(RAG) | 임베딩 검색·하이브리드 검색·장기기억 |
| 에이전틱 | 도구 사용·멀티스텝 플래닝·오케스트레이션·컴퓨터 사용 |
| 파인튜닝·정렬 | SFT·LoRA·프롬프트 엔지니어링 |
| 평가·안전·운영 | 환각 탐지·가드레일·비용 모니터링 |
⚠️ 마지막 갈래가 자주 빠집니다. 만드는 것과 운영하는 것은 다릅니다. 환각을 채점하고, 유해 응답을 막고, 토큰 비용을 추적하는 층이 없으면 서비스가 아니라 데모입니다.
4 · 판단 기준 셋
① 정답이 하나인가
정답이 하나면 Non-LLM입니다. 배송 경로 최적화에 정답은 계산되는 것이지 생성되는 것이 아닙니다.
② 입력이 언어인가
숫자·이미지·신호가 입력이면 그 형식을 다루는 모델이 따로 있습니다. LLM에 억지로 넣으면 비용만 늘어납니다.
③ 반복 횟수가 많은가
같은 계산을 하루에 수만 번 돌려야 하면 LLM은 비쌉니다. 학습된 모델이 훨씬 쌉니다.
5 · 도입은 세 단계입니다
Non-LLM을 쓰기로 했다고 바로 모델을 만드는 것이 아닙니다.
| 단계 | 방식 | 적합한 상황 |
|---|---|---|
| 1 | 기성 클라우드 API | 개발 인력 최소, 즉시 구축 |
| 2 | 노코드 AutoML | 내부 데이터 보유, 코딩 없이 학습 |
| 3 | 자체 개발(오픈소스) | 독자 알고리즘이 핵심 자산일 때 |
대부분 1단계에서 끝납니다. 3단계는 그 알고리즘이 회사의 자산이 될 때만 갑니다.
6 · 안 쓰기로 한 것들
기술이 있다고 쓰는 것이 아닙니다. 저희가 검토하고 도입하지 않은 것들입니다.
추천시스템·소셜네트워크 분석(GNN) — 기각했습니다. 공간 매칭 프로젝트에서 검토했으나 매칭 성과 데이터가 0건이라 그래프가 성립하지 않습니다. 브랜드 풀은 251개가 있었지만 관계 데이터가 없으면 그래프 모델은 빈 껍데기입니다.
XGBoost 기반 예측 보강 — 같은 이유입니다. 실측 라벨이 0건이면 지도학습을 할 수 없습니다.
이상탐지(Isolation Forest) — 반복 비용 기록이 없어 정상 패턴을 정의할 수 없습니다.
수요예측(Prophet) — 계절 패턴을 학습하려면 최소 한 사이클이 필요합니다. 지금 캘린더는 사람이 쓴 가정이고, 저희는 그것을 "예시"라고 화면에 적습니다.
⚠️ 네 가지 다 "지금은 안 된다"이지 "영영 안 된다"가 아닙니다. 1년치 실측이 쌓이면 순서대로 열립니다. 그 조건을 문서로 적어두고 있습니다.
7 · 데이터가 없을 때 쓰는 것
위 네 가지가 전부 데이터 부족으로 막혔습니다. 그러면 정량 분석을 포기해야 하는가.
Monte Carlo 시뮬레이션은 학습 데이터가 필요 없습니다. 변수의 확률분포를 가정하고 수만 회 돌려 결과의 범위를 봅니다.
저희는 이것을 이렇게 씁니다.
- 채움률을 세 점(40% · 65% · 85%)으로 가정
- 임대료·운영비 분포를 넣고 반복 시뮬레이션
- 결과를 단일 숫자가 아니라 밴드로 제시
그리고 그것이 가정임을 화면에 적습니다. 1년치 실제 데이터가 쌓이면 가정을 실측 분포로 교체합니다. 그때 "가정"이 "검증된 모델"이 됩니다.
8 · 그래서 저희 스택
| 층 | 쓰는 것 |
|---|---|
| 인프라 | Next.js, FastAPI, Python / Vercel, Supabase |
| LLM API | Claude, GPT 계열 |
| 오케스트레이션 | 필요한 곳에만. 기본은 단순 파이프라인 |
| 벡터DB·임베딩 | 문서량이 임계를 넘을 때만 |
| Non-LLM | 예측·최적화·이상탐지가 필요한 자리 |
⚠️ 오케스트레이션 프레임워크를 기본으로 두지 않습니다. 에이전트를 여러 개 세우면 판단이 좋아진다는 근거를 저희는 갖지 못했습니다. 실제로 열두 개를 세워봤고 접었습니다.
아직 못 푼 것
- 여섯 갈래 분류의 v3가 미완입니다. 지금 표는 기술 나열에 가깝고, 판단 기준으로 쓰기에는 거칩니다.
- 비용 비교표가 없습니다. "LLM이 비싸다"고 쓰면서 얼마나 비싼지 숫자로 대지 못하고 있습니다.
- Non-LLM 실적이 아직 없습니다. 위 목록은 검토한 것이고, 실제로 배포해 돌려본 것은 소수입니다.
경계는 앞으로도 옮겨질 예정입니다.
Aiges Pontos · 2026