글

실패담: 사용자 노트북에서 LLM을 돌리는 방법

문서를 서버로 보내지 않으려고 사용자 노트북에서 모델을 직접 돌렸더니, 사무용 노트북에서 문서 한 건 평가에 23분이 걸렸습니다. 그래픽카드가 없는 CPU에서는 모델을 키우는 쪽도 줄이는 쪽도 막혀서, 작은 모델을 쓰고 JSON을 없애고 문법으로 형식을 강제하는 가설로 갔습니다. 구현하다 여섯 번 막혔고 원인은 전부 저희 코드였습니다. 10배 처리 속도를 높인 것은 쓰지도 않는 확률 분포를 매 토큰 받아오던 옵션 한 줄이었습니다.

자본이 결정하지 못하는 문제를 찾기

제 창업가 친구 중 한 명이 문득, 피지컬 AI 옆에서 인도어 LLM 이야기는 2년 전처럼 들린다고 했습니다. 유행하는 비교 대상을 쫓는 대신, 틀린 처방을 지우다 보니 남은 건 하드웨어 제약 추론, 테스트를 한 번만 쓰는 평가, 그리고 우리가 가진 사용량에서 복리로 크는 제품이었습니다.

사업은 하지 마세요

신년을 맞아 창업해도 되느냐는 질문이 많아졌습니다. 저는 아직 9년차라 해줄 말이 많지 않지만, 하지 말라는 말은 자신있게 할 수 있습니다. 숫자·생존율·가정과 근거 구분으로 말리고, 공동창업자 때문에 다시 시작했을 모순도 적습니다.

파스칼: 짧게 쓸 시간이 없었습니다

AI로 인해 긴 초안을 작성하는 비용은 낮아졌으나, 읽는 데 걸리는 시간은 그대로입니다. 모델은 생각하고 탐색하는 데 활용하되, 이후에는 모든 논지를 동료가 요점을 찾아 헤매지 않고 끝까지 읽을 수 있는 한 장으로 압축해야 합니다. 이 글에 링크된 Claude 스킬은 그러한 압축을 강제하는 도구입니다.

Matrix OS: 소멸하지 않는 디지털 쌍둥이

Soul OS, Matrix OS, Matrix as a Service는 영화 《매트릭스》에서 출발하여 디지털 쌍둥이들이 상호작용하는 환경으로 발전한 개념입니다. 목표는 경험을 실시간으로 저장하는 지속적 복제본과, 그러한 Soul들이 거주하는 사회, 그리고 안전 및 시스템 역학 연구를 위한 공유 공간을 구축하는 데 있습니다.

선언문: 제가 자유로워진 방식으로 타인을 자유롭게 하겠습니다

제가 부와 영향력을 추구하는 이유는 학교, 병원, 고아원을 설립하기 위함입니다. 자본과 권한은 수단에 불과하며, 그 목적은 교육이 저를 자유롭게 하였듯 피할 수 있는 고난으로부터 타인을 자유롭게 하는 데 있습니다. 이러한 기관들이 특정 회사의 존속 여부와 무관하게 지속될 수 있도록 유지하고자 합니다.