Physical AI on Physical AI 드림팀

ViT 읽기 — 이미지를 16×16 단어로 쪼개 Transformer에 넣기

Mon, 06 Jul 2026 00:00:00 +0900

구글 리서치가 2021년 ICLR에서 발표한 An Image is Worth 16×16 Words(Dosovitskiy et al., arXiv:2010.11929)를 정리한다. 한 줄 요약은 — 이미지를 16×16 패치로 잘라 각 패치를 “단어(토큰)“처럼 취급하고, NLP에서 쓰던 표준 Transformer를 거의 그대로 적용했더니, 데이터만 충분하면 CNN을 이긴다는 것이다. 제목 그대로 “이미지 한 장 = 16×16 단어들의 문장"이라는 발상이 논문 전체를 요약한다.

왜 순수 Transformer를 이미지에?

당시 상황을 알면 이 논문의 무게가 보인다. NLP는 이미 Transformer 천하였다. “큰 데이터로 pre-train → 작은 데이터로 fine-tune” 공식이 표준이 됐고, 파라미터를 100B까지 키워도 성능이 꺾이지 않았다. 반면 비전은 여전히 CNN이 왕이었다. Transformer를 이미지에 써보려는 시도는 많았지만 대부분 CNN에 attention을 곁들이는 수준이었고, 순수 Transformer만으로는 안 된다는 게 통념이었다.

기술적 걸림돌은 분명했다. self-attention은 모든 요소가 다른 모든 요소를 본다. 이걸 픽셀 단위로 하면 픽셀 수의 제곱으로 비용이 폭발한다(224×224면 약 5만 픽셀). 현실적으로 불가능하다.

ViT의 해결책은 단순하다. 픽셀 대신 16×16 패치를 하나의 토큰으로 취급하는 것이다. 224×224 이미지는 패치 196개(14×14)로 줄어, Transformer가 감당할 수 있는 “문장 길이"가 된다.

이미지를 16×16 단어로 — 토큰 만들기

첫 단계는 이미지를 토큰 시퀀스로 바꾸는 것이다.

패치로 분할: 이미지를 16×16 패치들로 자른다. 문장으로 치면 단어 여러 개짜리 문장이다.
선형 투영(patch embedding): 각 패치(16×16×3)를 쭉 펴서 학습 가능한 행렬로 D차원 벡터로 바꾼다. NLP에서 단어를 벡터로 만드는 word embedding과 같은 역할이다.
클래스 토큰: BERT를 그대로 베껴, 맨 앞(0번 자리)에 학습 가능한 특수 토큰 [class]를 붙인다. Transformer를 다 통과한 뒤 이 자리의 출력 벡터가 “이미지 전체를 대표하는 값"이 되고, 여기에 분류기를 붙인다.
위치 임베딩(position embedding): Transformer는 순서 개념이 없어서 각 패치가 원래 몇 번 자리였는지를 더해준다. 흥미롭게도 정교한 2D 방식 대신 그냥 1D 학습형으로도 충분했다 — 모델이 알아서 2D 구조를 학습하기 때문이다.

Transformer Encoder 블록

이렇게 만든 토큰 시퀀스가 Transformer Encoder를 통과한다. 이 블록이 ViT의 심장부이고, L번 반복된다.

한 블록은 두 개의 서브층으로 이뤄진다.

z' = MSA(LN(z)) + z — LayerNorm 후 멀티헤드 셀프 어텐션, 그리고 잔차 합산(⊕)
z'' = MLP(LN(z')) + z' — LayerNorm 후 MLP(GELU 2층), 그리고 잔차 합산(⊕)

여기서 셀프 어텐션이 “모든 패치가 서로를 보는” 부분이다. CNN은 층을 깊이 쌓아야 넓은 영역을 보지만, 어텐션은 첫 층부터 이미지 전체 맥락을 통합할 수 있다. 각 서브층 앞의 LayerNorm과 뒤의 잔차 연결(⊕)은 블록을 깊게 쌓아도 학습이 무너지지 않게 붙잡아주는 장치다. 마지막에는 [class] 토큰의 출력이 MLP Head로 가서 “새/공/자동차…” 분류가 나온다.

모델 크기는 BERT 네이밍을 그대로 물려받았다. ViT-Base(12층, 86M), ViT-Large(24층, 307M), ViT-Huge(32층, 632M). 표기법에서 ViT-L/16은 “Large 모델 + 16×16 패치"를 뜻한다. 패치가 작을수록 토큰 수가 늘어 더 무겁고 더 정확하다(시퀀스 길이는 패치 크기의 제곱에 반비례한다).

데이터가 inductive bias를 이긴다

이 논문의 진짜 핵심은 여기다. 나머지 실험은 전부 이 한 문장을 뒷받침한다.

**Inductive bias(귀납적 편향)**는 모델 구조에 미리 심어놓은 “이미지는 이런 것이다"라는 가정이다. CNN에는 이게 잔뜩 들어 있다 — locality(가까운 픽셀끼리 관련 있다), translation equivariance(고양이가 어디 있든 같은 고양이), 2D 이웃 구조가 층마다 내장돼 있다. 덕분에 CNN은 적은 데이터로도 잘 배운다. 공짜 사전지식이기 때문이다.

반면 ViT에는 이 사전지식이 거의 없다. 패치로 자르는 것과 fine-tune 때 위치 보정, 딱 두 군데만 2D 지식이 들어가고, 패치들 사이의 공간 관계는 전부 데이터로부터 맨땅에서 배워야 한다. 그래서 결과가 데이터 규모에 따라 갈린다.

작은 데이터(ImageNet, 130만 장)만: ViT가 비슷한 크기의 ResNet보다 몇 %p 뒤진다.
중간(ImageNet-21k, 1400만 장): 엇비슷해진다.
큰 데이터(JFT-300M, 3억 장): ViT가 CNN을 역전한다. 큰 모델일수록 격차가 벌어진다.

즉 “구조에 사전지식을 넣느냐"보다 **“데이터를 충분히 주고 스스로 배우게 하느냐”**가 더 강력하다. 논문의 표현으로는 large scale training trumps inductive bias. 이 교훈이 이후 Foundation Model 시대 전체를 관통하는 철학이 된다.

결과와 내부 들여다보기

JFT-300M로 사전학습한 ViT-H/14는 ImageNet 88.55%, CIFAR-100 94.55%, VTAB(19과제) 77.63%로 당시 최강 CNN들(BiT-L, Noisy Student)을 넘어섰다. 그러면서도 사전학습 연산량은 2~4배 적었다 — ViT-H/14가 2.5k TPUv3-core-days인 데 비해 BiT-L은 9.9k, Noisy Student는 12.3k였다. 정확도도 이기고 비용도 싼 것이다. 공개 데이터인 ImageNet-21k로 학습한 ViT-L/16조차 클라우드 TPUv3 8코어로 약 30일이면 훈련할 수 있어 재현 가능성도 열어놨다.

블랙박스가 아니라는 것도 보여준다. 첫 임베딩 필터는 CNN 초기 필터처럼 그럴듯한 기저 함수(edge, 색 패턴)를 학습한다. 위치 임베딩은 아무 사전지식 없이 시작했는데도 가까운 패치끼리 비슷한 벡터를, 심지어 행/열 구조까지 스스로 재발견한다 — 손으로 만든 2D 위치 임베딩이 별 이득이 없던 이유다. 어텐션 거리(CNN의 receptive field에 대응)를 보면 낮은 층에서도 일부 head는 이미지 전체를 보고, 층이 깊어질수록 넓어지며, 최종적으로 분류에 의미 있는 영역에 집중한다.

물론 한계도 있다. 진짜 위력을 보려면 JFT-300M급 초대형(그것도 비공개) 데이터가 필요하고, 이 논문은 분류만 다뤘으며(검출·분할은 이후 다른 연구들의 몫), 자기지도 학습과 지도학습 사이의 격차도 남아 있다. 그럼에도 ViT는 “비전엔 CNN이 반드시 필요하다"는 통념을 깼고, NLP와 비전을 같은 아키텍처로 통일하며 멀티모달·Foundation Model 시대의 문을 열었다.

한 줄 정리

이미지를 단어처럼 쪼개면 언어 모델용 Transformer가 그대로 비전 모델이 되고, 데이터만 충분하면 CNN의 사전지식 없이도 더 잘한다.

AI가 화면 밖으로 나왔다 — 피지컬 AI 입문 가이드

Mon, 29 Jun 2026 00:00:00 +0900

피지컬 AI(Physical AI)라는 주제로 1장을 4개 절(1.1 ~ 1.4)로 묶어 정리한다. 챗봇을 넘어 현실 세계로 튀어나온 인공지능이 왜 하필 지금 현실적인 흐름이 됐고, 그 진입장벽이 우리가 생각하는 것보다 얼마나 낮아졌는지를 한 편에 담는다.

1.1 비트에서 원자로 — 이미 굴러가고 있는 피지컬 AI

지난 3년의 AI는 대부분 화면 안에 갇혀 있었다. ChatGPT는 텍스트로, Midjourney는 이미지로, Sora는 영상으로 — 결과물은 항상 **비트(bit)**였다. 그런데 2025~2026년을 지나며 풍경이 달라졌다. AI가 원자(atom)를 움직이기 시작했다.

이 단절의 의미는 단순한 “출력 형태"의 변화가 아니다.

챗봇 AI (디지털)	피지컬 AI (현실)
틀려도 사용자가 다시 묻는다	틀리면 컵이 깨지고 사람이 다친다
응답 지연 1~2초 허용	100ms 안에 균형 잡아야 넘어지지 않는다
데이터는 무한 복제 가능	매 동작이 단 한 번의 실세계 시행
결과를 되돌릴 수 있다	깨진 컵은 안 돌아온다

이 단절을 넘는 순간 AI는 “검색 엔진의 후속작"이 아니라 산업혁명의 후속작이 된다.

이미 현실에 나와 있는 사례가 적지 않다. Figure 02는 BMW 공장에서 부품을 옮기고, 1X NEO는 가정용 베타 출하를 시작했으며, Tesla Optimus는 자체 공장에서 배터리 셀을 분류한다. Waymo는 LA·샌프란시스코·피닉스에서 무인 유상 운행을 매주 수십만 회 단위로 돌리고 있다. 수술실에서는 Intuitive da Vinci 5가 봉합사 텐션·조직 손상도를 실시간 코칭하고, Amazon 풀필먼트에는 75만 대 이상의 로봇이 굴러간다. John Deere의 See & Spray는 잡초만 정밀 분사하고, Built Robotics는 굴착기를 무인으로 돌린다.

피지컬 AI가 “AI 시대 2막"으로 불리는 이유도 여기에 있다. 1막(LLM)이 지식 노동의 보조였다면, 2막은 육체 노동의 대체와 증강이다. GDP에서 차지하는 비중이 훨씬 크고, 인구 감소·고령화로 수요는 절박하다. 동시에 위험도 커진다 — 환각이 농담으로 끝나지 않고 사고로 이어진다.

1.2 왜 하필 지금인가 — 6개 곡선이 동시에 교차한 2025

피지컬 AI라는 단어 자체는 새롭지 않다. 보스턴 다이내믹스의 BigDog는 2005년, DARPA Robotics Challenge는 2015년이었다. 그때는 연구 데모였고 지금은 양산 라인으로 가고 있다. 한 가지 돌파 때문이 아니라 6개 축이 거의 동시에 임계점을 넘은 결과다.

① 파운데이션 모델이 로봇으로 건너왔다. 인터넷 텍스트·이미지로 사전학습한 거대 모델이 이제 로봇 정책으로 직접 파인튜닝된다. “투명한 컵을 식기세척기 윗칸에 넣어"라는 문장 안에 들어 있는 상식(투명함, 윗칸, 깨지기 쉬움)이 모델에서 공짜로 따라온다. 로봇이 처음 보는 물건에 대응 가능해진 것이 가장 큰 변곡점이다.

② 시뮬레이션이 sim-to-real 간극을 좁혔다.

구분	2020	2026
GPU 1대당 병렬 환경	수십 개	수만 개 (Isaac Lab)
물리 정확도	강체 위주	가변형·유체·접촉까지
시각 도메인 갭	컸음	월드 모델로 거의 소멸
1일 학습 가능 시간	수천 시간	수십억 시간

③ 하드웨어 단가가 무너졌다. EV 산업의 부수 효과가 결정적이었다. EV용 BLDC 모터로 액추에이터 단가가 1/10, LiDAR는 2017년 7만 5천 달러대(Velodyne)에서 2026년 200~500달러대(Hesai, RoboSense)로, 배터리는 kWh당 10년 만에 1/8이 됐다. 휴머노이드 BOM은 2020년 20만 달러에서 2026년 3만 달러 이하로 떨어졌고, Unitree G1은 1만 6천 달러부터다. 5년 전에는 “기술이 돼도 너무 비싸서 못 깐다"가 진짜 장벽이었다. 그 장벽이 사라졌다.

④ 엣지 컴퓨팅이 로봇 안으로 들어왔다. NVIDIA Jetson Thor(2025)는 손바닥만 한 보드에 2070 TFLOPS를 담는다. 무거운 모델을 양자화·증류해 로봇 등에서 30Hz로 돌릴 수 있게 됐다. “두뇌가 몸 안에 들어갈 수 있다"는 조건이 처음으로 충족됐다.

⑤ 데이터 수집 방식이 산업화됐다. Open X-Embodiment(22개 로봇 플랫폼, 100만+ 에피소드), ALOHA / Mobile ALOHA의 저가 텔레오퍼레이션 리그, Ego4D·EPIC-Kitchens 같은 1인칭 영상 데이터셋이 모였다. Tesla·Figure·1X는 자사 공장 자체를 “공장 배치 → 데이터 → 모델 개선” 플라이휠로 운영한다.

⑥ 자본과 인재가 동시에 몰렸다. 2024~2025년 휴머노이드 스타트업에 70억 달러 이상이 유입됐다(Figure 6.75억, 1X 1억, Physical Intelligence 4억, Skild AI 3억). OpenAI·NVIDIA·Microsoft·Samsung이 직접 출자했고, 중국은 베이징·선전을 휴머노이드 클러스터로 키우고 있다(Unitree, Fourier, UBTech, AgiBot). 자본은 후행 지표지만 인재 이동(LLM → 로봇)은 선행 지표다.

어느 하나의 마법적 돌파(트랜스포머 같은) 때문이 아니라, 6개 곡선이 약속이라도 한 듯 2025~2026년에 교차했다는 것이 핵심이다.

1.3 20만 원, 3개월이면 시작한다 — 흔한 오해 7가지와 입문 경로

“저는 휴머노이드도 없고, 기계공학도 모르고, 공장도 없는데요…” — 막상 뜯어보면 이 장벽들은 2024~2025년 사이에 대부분 무너졌다. 흔한 오해 7개를 짚어본다.

“피지컬 AI = 휴머노이드”: 아니다. 로봇 팔, 자율주행차·드론, 스마트 공장 비전 검사, 스마트홈, 농업·수술 로봇이 모두 피지컬 AI다. 휴머노이드가 가장 어려우니, 테이블 위 로봇 팔부터 시작하면 학습 곡선이 1/10이다.
“수천만 원이 있어야 한다”: 2026년 기준 약 20만 원이면 시작한다. Hugging Face LeRobot이 공식 지원하는 SO-100 / SO-ARM100(약 20만 원), Koch v1.1 팔(약 30만 원), Reachy Mini(약 40만 원), Unitree Go2(약 220만 원). 진짜 장벽은 가격이 아니라 정보 격차다.
“실제 로봇이 없으면 의미 있는 학습이 안 된다”: 시뮬레이터에서 시작이 정석이다. NVIDIA Isaac Sim / Isaac Lab(무료, RTX GPU 한 대로 수만 환경 병렬), MuJoCo(DeepMind 오픈소스), Genesis(2024, 파이썬 한 줄 설치), NVIDIA Cosmos(합성 영상 데이터 생성).
“기계·제어공학 전공만 가능”: 진입점이 AI 엔지니어 쪽으로 옮겨왔다. 필요한 스킬은 PyTorch, transformer, RL 기초, 데이터 파이프라인 — LLM 다뤄본 사람 스킬셋이 80% 그대로 전이된다.
“데이터를 직접 모아야 한다”: 공개 데이터셋이 충분하다. Open X-Embodiment(100만+ 에피소드), DROID(76,000 데모), Ego4D·EPIC-Kitchens, RH20T, BridgeData V2.
“모델을 처음부터 학습해야 한다”: 사전학습된 오픈 모델을 파인튜닝한다. RTX 4090 한 대로 며칠이면 도메인 특화 정책이 나온다.
“한국에선 안 된다”: 부품·제조 측면에선 오히려 유리하다. 삼성·LG·현대로보틱스·두산로보틱스가 본격 투자 중이고, 레인보우로보틱스(현대차 인수)·클로봇·뉴빌리티 같은 성장 기업군이 있다. KAIST·서울대·POSTECH가 RL/매니퓰레이션 분야 글로벌 상위권 논문을 낸다. 정부 K-휴머노이드 연합도 드라이브를 걸고 있다.

7단계 입문 경로는 이렇다.

Hugging Face LeRobot 튜토리얼 (시뮬만으로 가능, 무료)
MuJoCo 또는 Isaac Lab으로 강화학습 예제 굴려보기
SO-ARM100 같은 저가 팔 한 대 구매
텔레오퍼레이션으로 데모 데이터 50~100개 수집
오픈 사전학습 모델 파인튜닝 (Colab Pro 정도면 충분)
자기 환경에서 간단한 태스크 1개 성공시키기(블록 쌓기 등)
결과 영상·코드 공개 → 커뮤니티 진입(Discord, GitHub)

혼자서 3~~6개월, 총비용 50~~100만 원이면 여기까지 도달한다. 진짜 장벽은 돈·전공·장비가 아니라 “내 영역이 아닐 것 같다"는 심리적 거리감이다.

1.4 기술사 분기점에서 본 피지컬 AI — 모바일·LLM 다음 자리

세 절을 한 줄로 묶으면 이렇게 된다.

AI는 더 이상 “답하는 것"이 아니라 “하는 것"이 되고 있다.

기술사에는 몇 개의 진짜 분기점이 있다.

시기	전환의 본질
1990년대 인터넷	정보가 연결되기 시작
2000년대 모바일	정보가 항상 우리 옆에 있게 됨
2010년대 클라우드·딥러닝	정보를 자동으로 해석
2020년대 초 LLM	정보를 자동으로 생성
2020년대 중후반 피지컬 AI	정보가 세계를 직접 바꾸기 시작

각 분기점의 공통점은 건너온 사람과 못 건넌 사람의 격차가 향후 10년을 결정했다는 것이다.

의미는 셋으로 나뉜다.

개인에게: 새 산업의 초기 진입 창문이 다시 열렸다. 그 창문은 LLM 때보다 더 오래 열려 있을 가능성이 높다 — 하드웨어가 끼어 있어 확산이 느리기 때문이다.
기업에게: “AI 도입"의 의미가 챗봇·코파일럿에서 자동화된 노동력으로 확장된다. 적용 범위와 비용 구조가 완전히 달라진다.
사회에게: 사무 노동에 이어 육체 노동까지 자동화 사정권에 들어온다. 노동시장·교육·복지 설계가 다시 그려져야 한다.

신중하게 봐야 할 것도 있다. 마지막 1%가 가장 비싸다 — “공장에서 95% 성공"은 의미가 없다. 데이터·전력·소재가 다음 병목이고, 사회적 합의는 기술보다 항상 느려서 안전·책임·일자리 논의가 따라오지 않으면 백래시가 온다.

피지컬 AI는 새로운 산업 카테고리이기 전에, AI라는 기술이 비로소 우리 세계와 같은 차원에 살게 되는 사건이다. 지금까지의 AI는 우리에게 “말을 거는” 존재였다. 이제부터의 AI는 우리 옆에서 함께 움직이는 존재가 된다. 이 차이는 사소해 보여도 결국 모든 것을 바꾼다.

한 줄 정리

피지컬 AI는 챗봇이 끝낸 자리를 잇는 AI의 2막이며, 모델·시뮬·하드웨어·컴퓨트·데이터·자본 6개 곡선이 동시에 익은 지금이야말로 개인도 기업도 사회도 한 번 더 진입할 수 있는 창문이다.

BitVLA 읽기 — 모든 파라미터가 −1·0·+1인 VLA, 메모리는 1/11

Mon, 29 Jun 2026 00:00:00 +0900

중국과학원(ICT)에서 2026년 3월에 공개한 BitVLA 논문(arXiv:2506.07530v2)을 정리한다. 한 줄 요약은 — **모든 가중치를 {−1, 0, +1} 세 값으로만 표현한 1-bit VLA가 7B짜리 OpenVLA-OFT와 거의 같은 성능을 내면서 메모리는 1.4 GB(11배 감소), 지연은 73 ms(4.4배 감소)**다. 코드와 가중치 모두 공개됐다(GitHub / HuggingFace).

엣지 로봇 입장에서 “GPU 메모리 4 GB짜리 노트북 GPU(RTX 3050 Ti Laptop) 한 장으로 풀 사이즈 VLA를 굴린다"는 게 무슨 의미인지가 이 논문의 진짜 무게다.

왜 1-bit인가 — VLA의 배치 문제

요즘 나오는 VLA는 죄다 크다. π₀ 3.5B, OpenVLA 7.5B, OpenVLA-OFT 7.7B, UniVLA 8.5B. 다 full-precision(BF16)이라 단순 메모리만 7~17 GB가 들고, 추론 지연은 수백 ms 단위다. 그런데 실제 로봇 — 그것도 엣지 플랫폼 — 은 메모리·전력·열 모두 빠듯하다.

흔한 해법은 post-training quantization(PTQ)이다. 학습은 BF16으로 해 두고 추론 시점에만 INT8 / INT4로 떨궈서 쓴다. 깔끔하지만 두 가지 문제가 있다.

정확도가 떨어진다. 특히 4-bit 이하로 가면 캘리브레이션을 잘해도 무너지기 시작한다.
학습 dynamics와 어긋난다. 모델은 full-precision 분포를 가정하고 학습됐는데, 추론은 다른 게임을 한다.

BitVLA의 입장은 명확하다 — “압축은 사후가 아니라 학습 시점에 같이 설계해야 한다(training-time co-design).” 학습 자체를 1-bit 제약 안에서 진행하면, 모델이 처음부터 저정밀에 어울리는 표현을 배운다.

1.58-bit가 뭔가 — BitNet b1.58 베이스

엄밀히 말하면 “1-bit"는 마케팅용 호칭이고 실제로는 log₂(3) ≈ 1.58 bit다. 가중치가 세 값 {−1, 0, +1} 중 하나니까. 0이 끼어 있다는 게 중요한데, 사실상 sparse weight 역할을 해서 표현력이 binary(±1)보다 훨씬 낫다.

BitVLA는 BitNet b1.58 2B4T를 LLM 백본으로 그대로 가져온다. 이 BitNet은 이미 3B 규모부터 full-precision LLM과 맞먹는 성능을 내는 게 검증돼 있다. BitVLA는 그 위에 vision encoder도 1.58-bit로 깎고, 마지막에 로보틱스 학습을 얹는 구조다.

가중치·활성치 양자화 공식은 단순하다.

대상	양자화 방식	출력 범위
가중치 W	absmean → ternary	{−1, 0, +1}
활성치 x	per-token absmax → INT8	[−128, 127]

선형 레이어 출력은 Y = (α/β) · Q_w(W) · Q_a(x) 한 줄로 끝난다. α는 weight L1 평균 기반 스케일, β는 입력 max 기반 스케일. 핵심은 곱셈이 아니라 덧셈으로 풀린다는 점이다. 가중치가 −1/0/+1이니 행렬 곱은 사실상 정수 덧셈·뺄셈·skip의 조합이고, 부동소수점 연산은 per-element 스케일링 정도만 남는다. 이게 4.4× 속도 향상의 출처다.

3단 학습 파이프라인 — Quantize-then-Distill이 핵심

BitVLA의 학습 구조는 단계별로 어떤 모듈을 풀고 잠그는지를 명확히 통제한다.

단계	학습 대상	동결 대상	데이터
① 멀티모달 학습	Connector → LLM+Connector	ViT(처음엔 LLM도)	LLaVA-1.5-558k → MammoTH-VL 10M
② Quantize-then-Distill	1.58-bit Student ViT만	1-bit LLM, Connector	5M 샘플 (≤10B 토큰)
③ 로보틱스 학습	전체 (LLM, Connector, ViT)	—	Open X-Embodiment ≈1M 궤적

진짜 핵심은 ②단계, Quantize-then-Distill이다.

Quantize-then-Distill — 비전 인코더를 깎는 방법

1단계가 끝나면 1-bit LLM은 잘 정렬돼 있지만 SigLIP-L ViT는 여전히 BF16이다. 이걸 그대로 1.58-bit로 떨구면 표현이 망가져서 multimodal alignment가 깨진다.

BitVLA는 knowledge distillation으로 푼다.

Teacher: full-precision SigLIP-L (동결)
Student: 1.58-bit weight + INT8 activation으로 초기화한 같은 인코더
Student만 학습, LLM과 Connector는 동결

손실은 두 갈래의 합이다.

L_total = L_LM + λ · L_aux

L_LM: 표준 autoregressive 언어 모델 loss (답변 토큰에만 적용)
L_aux: 레이어별 hidden state의 MSE — Σ ‖h_teacher^l − h_student^l‖² / n

ablation 결과가 흥미롭다 — representation alignment loss를 빼면 평균 정확도가 50.8% → 42.4%로 폭락한다. teacher의 중간 표현을 student가 모방하게 강제하는 게 단순 SFT보다 결정적으로 효과적이라는 뜻이다.

추가로 흥미로운 발견 — 1-bit LLM 사전학습은 수조 단위 토큰이 필요했지만, 1.58-bit ViT의 QAT는 5~10B 토큰이면 충분하다. teacher가 있으니 데이터 효율이 훨씬 좋다.

t-SNE 시각화에서 layer 0에서는 teacher와 student 임베딩이 흩어져 있지만, layer 26쯤 가면 거의 겹친다. 깊이가 깊어질수록 student가 teacher의 기하 구조를 그대로 학습한다는 증거다.

모델 사양

구성	사양
LLM 백본	BitNet b1.58 2B4T (1.58-bit)
Vision encoder	SigLIP-L @ 224×224 (1.58-bit weight, INT8 activation)
Connector	2-layer MLP + GeLU (BF16 유지)
Action head	OpenVLA-OFT 스타일 (BF16)
총 파라미터	3.0B
메모리	1.4 GB
Attention	causal (bi-directional로 바꾸니 성능 하락)
Action 처리	parallel decoding + action chunking (K=8 시뮬, K=10 실로봇)
Action 손실	L1 regression

Connector와 action head는 일부러 BF16으로 둔다. 메모리 차지가 미미한데 양자화하면 정렬이 깨지기 쉬워서다.

실험 결과 — “11배 작은데 거의 안 진다”

LIBERO 시뮬레이션 (4종 suite 평균 성공률)

모델	크기	메모리	Avg
OpenVLA-OFT	7.7B	15.4 GB	97.1%
π₀	3.5B	7.0 GB	94.2%
GROOT-N1	2.2B	4.4 GB	93.9%
SmolVLA	2.3B	4.6 GB	88.8%
BitVLA	3.0B	1.4 GB	96.0%

OpenVLA-OFT 대비 −1.1%p에 메모리는 11배 작다. π₀보다는 +1.8%p, 특히 long-horizon에서 +7.6%p로 명확히 앞선다.

PTQ와의 비교

이 표가 진짜 핵심이다.

모델	양자화	메모리	Avg
OpenVLA INT4	PTQ	4.4 GB	72.7%
OpenVLA-OFT INT4	PTQ	4.7 GB	96.9%
BitVLA	native 1.58-bit	1.4 GB	96.0%

OpenVLA-OFT를 INT4 PTQ로 줄여도 4.7 GB가 필요하다. BitVLA는 그보다 1/3 메모리로 거의 같은 성능을 낸다. “사후 압축 vs 학습 시 압축"의 격차를 그대로 보여주는 비교다.

실세계 — Franka 7-DoF

기본 태스크 3개(수박 잡기, 빵 바구니에 넣기, 종 세우기) + OOD 변형 3개(스폰지 잡기, 식탁보 배경, 수박을 바구니에).

3개 기본 태스크 평균에서 BitVLA가 π₀를 일관되게 능가, 7B OpenVLA-OFT와 거의 동등
OOD에서도 catastrophic drop 없이 견디는 일반화 능력
사전학습 제거(w/o pre-training) 변형은 대부분 0%에 가까운 성공률 → Open X-Embodiment 사전학습이 실세계 성능에 결정적

추론 효율 — A100 기준

모델	Latency	Throughput
BitVLA	73 ms	341.1 Hz
OpenVLA-OFT+	321 ms	77.9 Hz
RDT-1B	297 ms	84.1 Hz
π₀	86 ms	291.6 Hz
Diffusion Policy	90 ms	267.4 Hz

50 Hz 제어 루프 기준, BitVLA는 매 스텝에 6배 가까이 여유가 생긴다.

한계 — 솔직한 부분들

저자가 정직하게 적어 둔 한계가 인상적이다.

Drop-in 변환이 안 된다. BitVLA는 quantization-aware training이라, 이미 잘 학습된 풀 정밀도 LLM/VLM을 그대로 1-bit로 떨구면 성능이 크게 깨진다(BitNet 원논문에서 이미 관찰된 현상). 즉 기존 모델을 변환하는 레시피가 아니라 처음부터 다시 굽는 레시피다.
사전학습 스케일이 작다. Open X-Embodiment에서 ~1M 샘플만 썼다. 더 다양한 embodiment·환경에 일반화하려면 사전학습 데이터를 키워야 한다.
전용 가속기가 있어야 진가가 나온다. 현재는 BitBLAS 커스텀 커널로 ternary × INT8 matmul을 돌리지만, 본격적인 효율은 1-bit 전용 하드웨어가 나와야 풀린다. 저자도 결론에서 이 부분을 강조한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문이 던지는 신호들.

엣지 VLA의 현실적 후보가 처음으로 등장했다. 1.4 GB면 노트북 GPU·Jetson급에서 진짜 돌릴 수 있다. 사양 잡을 때 “VLA는 무조건 풀 사이즈 GPU 필요"라는 전제가 깨진다.
양자화 전략의 디폴트가 바뀐다. “일단 학습하고 나중에 INT8/INT4"가 아니라 “학습 시 1.58-bit 제약을 박는다"가 새 기준선이 될 수 있다. 적어도 비교 대상에 BitVLA를 넣어야 한다.
Quantize-then-Distill 패턴은 일반화 가능해 보인다. 우리가 자체 VLA를 만들 때도 풀 정밀도로 한 번 학습한 모듈을 teacher로 두고 저정밀 student로 distill하는 흐름은 그대로 가져올 수 있다.
하드웨어-알고리즘 공동 설계가 다음 라운드의 진짜 게임이라는 신호. ternary × INT8 가속을 잘 받는 SoC가 나오면 휴머노이드·엣지 로봇 추론 비용 구조가 한 단계 더 떨어진다.
모델 가중치가 공개돼 있다(HuggingFace). 자체 환경에서 LIBERO·실로봇 재현 실험을 돌려 보는 게 가장 빠른 학습 경로다.

한 줄 정리

BitVLA가 보여준 것은 모델을 키워야만 성능이 오르는 게 아니라는 점이다 — 모든 파라미터를 −1·0·+1로 묶어도 학습 시점에 양자화를 같이 설계하면 7B VLA와 맞먹는 성능이 1.4 GB 안에 들어간다.

π*₀.₆ 읽기 — VLA가 '연습'으로 더 잘하게 되는 법 (RECAP)

Mon, 29 Jun 2026 00:00:00 +0900

Physical Intelligence가 2025년 11월에 공개한 π*₀.₆ 논문(arXiv:2511.14759)을 한국어 번역본 기준으로 읽고 정리한다. 한 줄로 요약하면 — 시연만으로 학습한 VLA를 “현장에서 연습"으로 더 잘하게 만드는 일반 레시피, RECAP에 관한 이야기다. 실제로 이 모델은 모르는 집에서 빨래를 2시간 넘게 개고, 전문가용 에스프레소 머신을 13시간 연속으로 굴리고, 공장 상자를 조립한다.

왜 또 새 논문인가 — 모방학습이 못 넘는 벽

VLA(Vision-Language-Action) 모델은 대부분 **모방학습(imitation learning)**으로 학습된다. 사람이 텔레오퍼레이션으로 시연한 데이터를 정책에 베껴 넣는 방식이다. 깔끔하고 잘 작동하지만 본질적 한계가 두 개 있다.

오차 누적(compounding errors): 정책이 시연 분포에서 살짝 벗어나는 순간, 본 적 없는 상태에서 또 살짝 벗어나고, 그 누적이 결국 실패로 끝난다.
상한선이 사람: 시연 데이터의 품질·속도가 그대로 천장이 된다. 사람보다 빠르거나 견고해질 수 없다.

해결책은 알려진 지 오래됐다. 강화학습(RL)으로 자율 경험에서 학습하기. 다만 거대한 VLA에 RL을 안정적으로, 확장 가능하게, 실세계 보상 신호로 붙이는 게 어려워서 안 됐을 뿐이다. RECAP은 그 “어렵게 막혀 있던 부분"을 푸는 시도다.

RECAP의 3단 구조 — Value · Advantage · Conditioning

RECAP = RL with Experience and Corrections via Advantage-conditioned Policies. 이름이 길지만 실제 골격은 단순한 3단계다.

단계	하는 일	핵심 도구
① 데이터 수집	VLA를 굴리고 결과 라벨(성공/실패)을 붙임. 초기엔 사람이 중간에 개입해 교정	자율 롤아웃 + human-gated DAgger
② 가치 함수 학습	지금까지의 모든 데이터로 분포형 V(o, ℓ)을 학습	멀티태스크 분포형 critic (201 bin 교차엔트로피)
③ 어드밴티지 조건화 학습	각 행동의 A = “기준 정책보다 개선될지” 지표를 정책 입력에 끼워 넣고 fine-tune	CFG(classifier-free guidance) 스타일 추출

이걸 사전학습 1회 + 다운스트림 과제별로 K번 반복한다. 핵심은 ②와 ③의 결합 방식에 있다.

① 분포형 가치 함수

가치 함수 V를 스칼라 하나로 회귀하는 대신, 201개 구간의 확률 분포로 푼다. 궤적 τ의 시점 t부터의 경험 리턴 Rₜ(τ)를 201개 bin으로 이산화하고, 분포 p_ϕ(V|oₜ, ℓ)이 그 정답 bin을 맞추도록 교차엔트로피로 학습한다. 연속 V는 분포의 기댓값으로 뽑아 쓴다.

분포형이 왜 이득이냐 — 보상이 sparse하고 노이즈가 많은 실세계 로봇 환경에서 스칼라 회귀보다 안정적이기 때문이다. critic은 정책과 같은 아키텍처를 쓰되 더 작은 VLM(약 670M, Gemma 3 기반)을 백본으로 쓴다.

② 어드밴티지 조건화 — CFG로 푸는 정책 추출

여기가 RECAP의 가장 영리한 지점이다. 보통 RL에서 critic으로 정책을 개선할 때는 PPO 같은 policy-gradient를 쓴다. 그런데 거대한 플로우 매칭 기반 VLA에 policy-gradient를 붙이는 건 까다롭고(autoregressive 토큰과 flow 행동이 섞여 있다) 불안정하다.

RECAP은 그래서 **분류기 없는 안내(CFG)**의 어드밴티지 버전을 쓴다. 핵심 식은 이렇다.

π̂(a|o) ∝ πref(a|o) · p(I | A^{πref}(o, a))^β

여기서 I는 “이 행동이 기준 정책보다 좋다(개선 지표)“라는 이벤트이고, p(I|A)는 A가 임계값 η_τ를 넘는지로 정의된다. 그러면 정책 학습은 두 갈래 NLL의 합으로 단순해진다.

min E[ −log π(a|o, ℓ) − β·log π(a|I, o, ℓ) ]

베타로 “얼마나 advantage를 따라갈지"를 조절하고, 추론할 때 β > 1을 주면 CFG처럼 좋은 행동 쪽으로 분포를 더 sharpen한다. policy gradient도, importance sampling도 필요 없다. 오프-폴리시·오프라인 데이터를 그대로 다 쓸 수 있다는 게 이 방식의 진짜 매력이다.

③ 데이터 — 시연·자율·개입을 한 통에

RECAP이 처리하는 데이터는 셋이다.

시연(demonstration): 사전학습 + 다운스트림 SFT용
자율 롤아웃(on-policy): 정책을 실제로 굴려서 모은 성공/실패 궤적
사람 개입(intervention): 자율 실행 중 전문가가 텔레오퍼레이션으로 빠르게 끼어들어 교정한 구간

세 종류를 같은 critic·같은 advantage-조건화 파이프라인에 넣는다. 사람 개입은 초기 반복에 특히 효과가 크고, 후반에는 자율 데이터 비중이 올라간다.

모델 — π*₀.₆ 자체의 구조

RECAP과 함께 굴리는 베이스 모델은 π₀.₆(π₀.₅의 백본·조건화 확장판)을 RL용으로 살짝 변형한 π*₀.₆이다.

구성	사양
VLM 백본	Gemma 3 4B
Action expert	약 860M, 플로우 매칭 기반
출력 형식	(a_{t:t+H}, ā \| o, ℓ) — ā는 FAST 이산 토큰(고수준), a는 연속 액션 청크(저수준)
컨디셔닝	관측 o, 언어 ℓ, 그리고 어드밴티지 라벨 I (“Advantage: positive/negative”)
제어 주파수	50 Hz
그리퍼	parallel jaw, 6-DoF, 양손

Knowledge Insulation(KI) 기법을 써서 액션 expert가 흘리는 그래디언트를 VLM 백본으로 역전파하지 않는다. 덕분에 백본은 next-token prediction의 언어 일반화 능력을 유지하면서 행동 expert만 따로 키운다. 보상(I)는 그냥 프롬프트 prefix에 글자로 끼워 넣는다 — “Advantage: positive”. 단순하지만 잘 먹는 트릭이다.

보상은 의도적으로 단순하게 짰다.

rₜ = 0 (성공으로 종료), −C_fail (실패로 종료), −1 (그 외 모든 스텝)

스텝마다 −1이 깔리므로 모델은 자연스럽게 “빨리 끝내자"는 인센티브를 받는다. 처리량(throughput) 개선이 여기서 나온다.

실험 — 빨래·식기·에스프레소·상자

평가는 네 종류 도메인이다.

빨래 개기: 새 가정의 처음 보는 의류로 2시간 이상 연속 동작 (200 시연)
식기세척기 비우기: 컵·그릇·볼·접시·국자 등 11종, 일부 인접 그리퍼 충돌·집기 어려움 등 어려운 시나리오 포함 (500 시연)
에스프레소 음료 제조: 포타필터 결합, 탬핑, 추출, 우유 스팀, 따르기 — 다단계 + 액체 + 정밀
상자 조립: 평평한 골판지를 펴고 접어 상자 형태로 (공장 실사용 라인)

비교군은 ① 사전학습된 π*₀.₆를 그대로 (RECAP RL 미적용), ② SFT만, ③ RL+SFT 혼합, ④ AWR, ⑤ PPO 변형(DPPO/FPO + SPO).

결과 한 줄 — 처리량 ↑↑, 실패율 ↓↓

비교	처리량	실패율
사전학습만	기준선	기준선
RECAP (반복 1)	~1.5×	~50% 수준
RECAP (반복 2)	~2×	약 절반

가장 어려운 과제(액체·변형 물체·다단계)에서 효과가 두드러진다. 새 가정 빨래 개기는 600회 사이클에서 약 90% 성공률, 에스프레소는 13시간 무중단 동작에 도달했다. AWR과 PPO는 같은 데이터에서 RECAP보다 명확히 처졌다 — PPO는 trust-region 제약 때문에 큰 정책 갱신을 못 했고, AWR은 어드밴티지 가중이 약해 개선이 더뎠다는 분석이다.

또 하나 흥미로운 결과 — 이미 한 가정에서 학습한 정책을 처음 보는 환경에 옮길 때도 RECAP의 자율 데이터 학습이 빠른 적응을 만들어냈다. 시연만 추가하는 SFT 베이스라인은 같은 데이터양에서 RECAP 만큼 회복되지 않았다.

의미와 한계

RECAP이 던지는 메시지는 명확하다.

VLA + RL은 더 이상 연구 데모가 아니다. 실제 가정·공장·카페에서 시간 단위로 운용 가능한 신뢰도까지 왔다.
모방학습의 천장이 깨졌다. 자율 경험으로 사람 시연 수준을 넘는 처리량을 만들 수 있다.
policy-gradient 없이도 대형 VLA를 RL 학습할 수 있다. Advantage-conditioned CFG는 simple하고 데이터 효율적이며 오프-폴리시 친화적이다.
scaling이 핵심이 아니라 레시피가 핵심이다. 같은 백본이라도 RECAP의 데이터 통합 방식 차이만으로 2배 처리량을 끌어낸다.

한계도 있다. critic이 보는 advantage가 결국 사람의 보상 설계(여기선 sparse + 스텝 페널티)에 의존하고, “마지막 1%“를 어떻게 더 짤지에 대한 답은 아직 부분적이다. 그리고 RL이라 부르긴 하지만 본질은 반복 오프라인 RL이고, 순수 online RL의 탐험(exploration) 문제와는 다른 게임이다. 저자도 결론에서 “진짜 online RL을 대형 VLA에 효율적으로 붙이는 문제가 다음 연구 과제"라고 말한다.

우리 입장에서 — 무엇을 가져갈까

Physical AI 드림팀 관점에서 이 논문에서 챙길 만한 것들.

이미 사전학습된 VLA를 자체 환경에 맞춰 끌어올리는 표준 레시피가 나왔다. 우리도 다운스트림 과제 1~2개를 정해 “시연 + 자율 + 사람 개입"의 3중 데이터 파이프라인을 흉내 낼 수 있다.
Advantage-conditioned CFG는 구현 난이도가 낮다. critic 따로 + 같은 정책에 “Advantage: positive” 라벨 프롬프트 prefix만 붙이면 되니, π₀ 계열 오픈 구현 위에 얹는 것도 현실적이다.
**분포형 가치 함수(201 bin 교차엔트로피)**는 sparse reward 환경에서 안전한 디폴트로 가져갈 만하다.
보상은 단순할수록 좋다. 성공 0 / 실패 −C / 스텝 −1 — 이 세 줄 보상만으로 처리량과 견고함이 같이 올라간다는 점이 인상적이다.

한 줄 정리

π*₀.₆가 보여주는 것은 모델 크기 자랑이 아니라, 시연·자율·개입을 한 통에 담는 RL 레시피(RECAP)만으로 VLA가 사람 시연의 천장을 부수고 실세계에서 시간 단위로 돌아갈 수 있다는 사실이다.

블로그를 열며 — Physical AI 드림팀

Fri, 26 Jun 2026 00:00:00 +0900

안녕하세요. Physical AI 드림팀의 첫 글입니다.

이곳은 Physical AI를 비롯해 돈 되는 모든 걸 다 하는 팀의 기록을 남기는 공간입니다. 연구 노트, 실험 결과, 그리고 떠오르는 아이디어를 차곡차곡 쌓아가려 합니다.

앞으로 다룰 것

Physical AI / 로보틱스 연구 노트
실험과 삽질의 기록
돈 되는 아이디어와 그 검증

차근차근 채워가겠습니다. 잘 부탁드립니다. 🚀