이장훈

English/한국어

목록으로

2026년 7월 30일

  • strategy
  • inference
  • evaluation
  • on-device

자본이 결정하지 못하는 문제를 찾기

한줄 요약

제 창업가 친구 중 한 명이 문득, 피지컬 AI 옆에서 인도어 LLM 이야기는 2년 전처럼 들린다고 했습니다. 유행하는 비교 대상을 쫓는 대신, 틀린 처방을 지우다 보니 남은 건 하드웨어 제약 추론, 테스트를 한 번만 쓰는 평가, 그리고 우리가 가진 사용량에서 복리로 크는 제품이었습니다.

제 창업가 친구 중 한 명이 문득 이렇게 말했습니다. 다들 피지컬 AI랑 월드 모델로 가는데, 너희는 왜 아직도 인도어 LLM이냐. 2년 전 이야기처럼 들린다고요.

날짜를 두고 싸우진 않았습니다. 진짜 질문은 따로 있었습니다. 그 말이 서사가 낡았다는 뜻인지, 밑의 운영 계획이 틀렸다는 뜻인지. 둘을 섞으면 “유행하는 비교 대상 골라 거기로 다시 짓자”로 끝나기 쉽습니다. 그건 전략이 아닙니다.

진단과 처방

본능은 Scale 같은 이름을 떠올리는 쪽입니다. 라벨링에서 시작해 엔터프라이즈 애플리케이션으로 옮겨 간 이야기. 2025년 중반 Meta가 지분을 크게 산 뒤에는 그 서사도 더 복잡해졌습니다.

로이터에 따르면 Scale의 최대 고객 Google은 Meta 지분이 공개되면 거래를 정리할 계획이었고, Microsoft·OpenAI·xAI도 발을 빼는 중이었습니다. 임시 CEO는 피벗도 정리 수순도 아니라고 썼지만, 동시에 정부·기업용 애플리케이션을 더 키운다고 했습니다. 이후 보도도 프론티어 연구소 고객을 지키기 어려워진 뒤 애플리케이션 쪽으로 무게가 실리는 모습을 전했습니다.

그래서 “스케일 같다”는 말을 들으면 저는 둘로 가릅니다. 서사가 자본·헤드라인 대비 낡았다는 말인지, 운영 계획이 틀렸다는 말인지. 다른 회사가 고객과 정체성을 다시 협상한 중간 지점을 베끼는 일은 전략이 아니라 코스프레입니다. 먼저 그 질문에 답해야 합니다.

공급 측 집약은 안 됩니다

진지하게 본 처방 중 하나는, 모든 모델을 라우팅·평가하는 계층이 되는 것이었습니다. 계약 하나, 백엔드 여러 개. 공급 쪽을 보면 바로 무너집니다.

OpenRouter는 이미 수십 개 제공사·수백 개 모델을 한 API 뒤에 둡니다. (Sacra는 2026년 초 연환산 매출을 수천만 달러대로 잡았습니다. 공시가 아니라 애널리스트 추정치입니다.) LiteLLM은 MIT로 직접 돌릴 수 있고, AWS Bedrock에는 Intelligent Prompt Routing이 있습니다. 공급 측 집약은 하이퍼스케일러와 오픈소스가 기본으로 넣을 수 있는 영역입니다.

수요 측은 다릅니다. 사용자·워크플로·구매 결정을 가진 플랫폼은, 사람들이 이미 여는 제품 뒤에 라우팅을 둘 수 있습니다. 제 머릿속에서 가장 분명한 예는 네이버입니다. 모델은 재료고, 수요가 사업입니다.

flowchart LR
  subgraph supply["공급 측 집약"]
    direction TB
    S1["다수의 모델 / 제공사"]
    S2["단일 API 또는 게이트웨이"]
    S3["방어력: 낮음<br/>(OpenRouter, LiteLLM, Bedrock 라우팅)"]
    S1 --> S2 --> S3
  end

  subgraph demand["수요 측 집약"]
    direction TB
    D1["보유한 사용자와 워크플로"]
    D2["제품 뒤에서 선택되는 모델"]
    D3["방어력: 수요 그 자체<br/>(예: 네이버형 플랫폼)"]
    D1 --> D2 --> D3
  end

  supply -.->|저희의 영역이 아님| X["당사의 쐐기가 아님"]
  demand -.->|저희가 갖추지 못한 제품 중력이 필요| Y["별개의 회사"]

모델을 다 모은다고 이기지 않습니다. 더 싸게 하는 쪽이 이미 있습니다.

평가만으로는 선점당합니다

다음에 본 건 벤치마크였습니다. 지시문이 영어를 벗어날 때 VLA가 얼마나 떨어지는지. LIBERO가 자연스러워 보였습니다. 한 분기 쓰기 전에, 이미 있는지부터 찾았습니다.

있었습니다. Dong 등은 LIBERO를 10개 언어로 옮겼고, 성공률이 대략 30–50% 떨어지는 비영어권 저하를 보고했습니다 (arXiv:2606.11906, ACL 2026). Beyond English도 비슷한 격차를 적었습니다. 우리가 새로 만들려던 측정은 이미 공개되어 있었습니다.

같은 시기 GEPA를 쓰고 있었고, 나중에 Indic 설정용 TypeScript 하네스 redrob-eval을 Apache 2.0으로 공개했습니다. 도구로는 쓸모 있습니다. 해자는 아닙니다.

벽에 적을 문장 하나: 연구소는 도구가 아니라 발견으로 평가받습니다. 발견이 이미 나와 있으면, 그 도구는 숙제입니다.

지우다 보면

꾸미지 않고 적습니다.

flowchart TD
  A["오픈 웨이트가<br/>LLM을 상품화"] --> B["이미지·오디오가 뒤이어 상품화"]
  B --> C["업계의 관심이<br/>월드 모델 + 피지컬 AI로 이동"]
  C --> D{"예산이 한정된 소규모 팀이<br/>여전히 결정할 수 있는 영역은?"}
  D --> E["월드 모델"]
  D --> F["피지컬 AI 하드웨어"]
  D --> G["제약 하드웨어 추론"]
  E --> E2["컴퓨트 장벽"]
  F --> F2["제조 장벽"]
  E2 --> H["제외"]
  F2 --> H
  G --> I["남는 영역"]

  style E2 fill:#f4c7c3,stroke:#a33,color:#222
  style F2 fill:#f4c7c3,stroke:#a33,color:#222
  style H fill:#f4c7c3,stroke:#a33,color:#222
  style I fill:#d4e8d4,stroke:#2a6,color:#222

오픈 웨이트는 사설 프론티어 텍스트를 팔 수 있는 시간을 줄였습니다. 인도에서는 Sarvam이 2026년 3월 30B·105B를 Apache 2.0으로 열었습니다. Indic을 잘 서빙하는 시장이 사라진 건 아닙니다. 작은 팀이 서사만으로 다음 오픈 릴리스를 앞질러 사전학습할 수 있다는 환상만 끝난 겁니다.

월드 모델에는 우리가 없는 컴퓨트가 필요하고, 피지컬 AI 하드웨어에는 우리가 없는 제조가 필요합니다. Krutrim도 칩·파운데이션 모델에서 AI 클라우드로 옮겼습니다.

남은 자리는 다음 학습 클러스터를 살 돈이 아니라, 기기 메모리·지연·배터리·배포가 상한을 정하는 곳입니다. 제약 하드웨어 추론입니다.

자본이 뚫지 못하는 쪽

거대한 톱니바퀴의 좁은 홈 하나에 자리한 작은 렌치: 자본으로 강제할 수 없는 적합성을 나타내는 시각적 은유.

트랜스포머 스케일에서는 “데이터·자본이 많은 쪽이 이긴다”가 거의 맞습니다. 물리 법칙이 상한인 곳에서는 아닙니다. 투자 라운드로 프론티어 클라우드 모델을 3GB RAM에 넣을 수 없고, 채용을 늘린다고 40ms 예산 폰에 70B 덴스가 갑자기 들어가지도 않습니다.

엣지가 유행해서가 아닙니다. 유용한 절단선은 이것입니다. 추가 자본으로도 제약을 뚫을 수 없는 문제를 고르고, 그 안에서 정직하게 재는 측정과 제품을 짓는 것.

ExecuTorch와 llama.cpp가 있는 이유도 같습니다. GPU 없는 곳에서 돌아가야 하는 수요가 남아서입니다. 스타 수는 낡겠지만, 그 수요는 잘 안 낡습니다.

인도어와 제약은 가끔만 겹칩니다

인도어 주장과 제약 하드웨어 주장은 대충 보면 하나로 보입니다. 둘 다 영어·클라우드 기본 바깥의 사용자를 향하니까요. 경로가 로보틱스를 지나면 갈라집니다.

카메라에는 언어가 없고, 그립 성공은 Indic 문자와 무관합니다. 텍스트에서 피지컬·비디오로 이전되는 건 언어 커버리지가 아니라 계측입니다. 실제 제약 아래 품질을 어떻게 재는지, 영어 벤치를 흉내 내지 않는지, 비용을 절대값이 아니라 상대값으로 두는지.

둘을 한 슬라이드에 묶으면 보기엔 깔끔하지만, 언어와 무관한 첫 과제에서 바로 깨집니다. 그래서 일부러 갈랐습니다.

모델이 배운 것만 물으십시오

손기술 영상을 VLM으로 판정하는 방안도 봤습니다. 지원자가 단계를 순서대로, 채용에 충분할 만큼 했는지만.

그 순간 인과·다음 상태 예측을 묻고 싶어집니다. 그건 월드 모델이 배우는 쪽입니다. TimeBlind, PhysBench, CLEVRER가 그 불일치를 보여 줍니다. Meta V-JEPA 2는 예측·계획용으로 학습됐고, 이미지–언어에 맞춘 VLM과는 목적함수가 다릅니다. 하나를 다른 것처럼 쓰면 비싼 범주 오류입니다.

원칙은 짧게: 무엇이 일어났는지만. 왜인지, 다음에 무엇이 올지는 묻지 않습니다. 관찰이지 예언이 아닙니다.

온디바이스 ≠ 보안

flowchart TD
  R["문제: 한정된 예산으로<br/>손기술 인력을 채용"] --> A["트랙 A: 채점"]
  R --> B["트랙 B: 무결성"]
  R --> C["트랙 C: 압축"]

  A --> A1["온디바이스 VLM이 루브릭에 따라<br/>발생 사실을 판정"]
  B --> B1["캡처의 진위 증명<br/>(출처, 기기 신호)"]
  C --> C1["모델을 RAM / 지연 시간 / 배터리에 맞춤"]

  C1 -.->|"충족하지 못함"| B1

  style B fill:#fff3cd,stroke:#a80,color:#222
  style C fill:#e8e8e8,stroke:#666,color:#222

추론을 지원자 폰으로 옮긴다고 부정행위가 막히지 않습니다. 공격면만 늘어납니다. 원격에도, 로컬에도 딥페이크를 넣을 수 있고, 기기가 모델에게 거짓을 말할 수도 있습니다. 압축은 모델을 기기에 맞출 뿐, 영상 진위를 보장하지 않습니다.

그래서 사후 탐지보다 진위 증명입니다. C2PA 취지로 출처 서명을 만들고 있고, 자이로·가속도계 트레이스를 영상과 같이 서명해 움직임과 IMU가 맞는지 보는 쪽도 제안했습니다. 후자는 업계 관행이라기보다 이번 검토에서 나온 제안입니다. 이미 쓰는 곳이 있으면, 틀리는 것보다 빨리 고치는 쪽을 택하겠습니다.

예산 게이트가 더 중요했습니다

가장 큰 변화는 모델 선택이 아니었습니다. 3년 일괄 예산을 거절하고, 단계마다 트랙을 죽이거나 다시 쓰게 한 것입니다. 월드 모델 이야기보다 지루하지만, 작은 팀이 A·B·C 중 하나에서 틀려도 매몰 비용을 전략으로 착각하지 않고 남는 방법입니다.

실패 뒤에도 남는 건 형용사가 아니라 숫자로 적습니다. Deci·Neural Magic·OctoAI처럼 추론 최적화 회사는 큰 회사의 기능으로 흡수되는 경우가 많습니다. 학습된 독점 모델은 3년 뒤 장부가 0으로 잡는 편이 낫습니다. 오픈 웨이트가 따라옵니다. 반면 남들이 안 모으는 제약 아래의 측정 데이터(하네스, 라벨, 실패, 진위 트레이스)는 같은 속도로 안 낡습니다.

아직 안 끝난 것

해질녘 어두운 건물, 창문 하나만 불이 켜져 있는 모습: 여전히 남아 있는 하나의 질문을 나타내는 시각적 은유.

실행에 들어가도 하나 남습니다. 온디바이스 VLM 숙련도 판정이 사람 평가와 얼마나 맞는지. 이차 가중 카파(QWK)로 재고, 라벨을 보기 전에 정해 둔 기준을 넘어야 합니다. 그 전까지 트랙 B·C는 아직 답 없는 질문 위의 가설입니다.

지우는 과정은 실행할 만큼 분명했습니다. 남은 불확실성은 잴 수 있습니다. 자본이 그 답을 사지는 못합니다.

참고 자료