모바일 플릿 하드웨어 8대 모달리티 실측 벤치마크 (Ground Truth)

가상 머신(Mock)이나 이론적 추정치가 아닙니다. 실제 상용 스마트폰 4대(Galaxy S25, S21, A35, S20)의 Android Termux 네이티브 환경에서 직접 컴파일하고 밤새 계측한 100% 날것의 현장 엔지니어링 데이터입니다.

하드웨어 실측 검증 완료 (Zero-Cloud)

Falcon-E-1B LLM Galaxy A53

9.69 tok/s

Cortex-A78 CPU에서 1.58비트 양자화와 SwiGLU 다이나믹 디스패처로 인간 묵독 속도를 초월한 실시간 발화 달성.

Whisper STT 발열 완치 Galaxy S20

408% → 16%

인코더(Vulkan GPU)와 디코더(CPU NEON)를 분리하는 하이브리드 파이프라인(--split-mode)으로 서멀 스로틀링 완전 냉각.

Z-Image Turbo 6.0B DiT Galaxy S21

8-Step 완주

8GB RAM 폰에서 Qwen3 4B 텍스트 인코더와 60억 DiT 모델을 레이어 스트리밍으로 OOM 없이 완전 구동.

Piper 네이티브 TTS Galaxy A35

78 ms

초기 침묵 2,000ms와의 사투 끝에 청크 스트리밍과 한국어 자모 분리 최적화로 첫 패킷 출력 78ms 달성 (RTF 0.18).

1. 모달리티별 실측과 삽질의 기록 (엔지니어링 현장 리포트)

[이미지 생성: 제트이미지 터보와 SDXS, 리얼리스틱 파라미터 깎기]
처음 S21에서 60억짜리 Z-Image Turbo DiT를 돌렸을 땐 메모리에 올리자마자 안드로이드 LMKD가 프로세스를 바로 죽여버렸습니다. 그래서 레이어 스트리밍으로 현재 연산 블록만 물리 메모리에 올리는 짓을 해서 8단계를 끝까지 완주해 냈습니다. 스텝당 39.3초가 걸렸지만 클라우드 없이 폰에서 60억 디퓨전이 살아 움직인 최초의 순간이었습니다.
실사용 속도를 잡기 위해 Realistic Vision v5.1과 SDXS 0.65B도 파라미터별로 다 뜯어봤습니다. Realistic Vision은 512x512에서 12스텝 DPM++ 2M으로 돌리면 68초 만에 고화질 인물이 뽑히는데, 욕심부려서 768x768로 올리는 순간 VRAM 4.2GB 넘어가며 폰이 기절합니다. 반면 SDXS는 LCM 4스텝으로 돌리면 단 8.4초 만에 사진이 튀어나옵니다. 마지막 VAE 디코딩 때 메모리가 튀는 문제는 TAESD로 교체해서 90MB 선으로 막았습니다.
[음성 합성: 초기 지연시간 2,000ms와의 사투 및 SOTA 모델 잔혹사 (TTS 개지랄기)]
음성 비서를 만들어놓고 말해보라고 시켰더니, 문장을 다 계산하고 말하느라 2초 넘게 멍을 때렸습니다. 2초 침묵이면 사용자는 앱이 멈춘 줄 압니다. 게다가 저전력 A55 코어로 넘어가면 소리가 치직거리며 찢어지는 버퍼 언더런까지 터졌습니다.
혹시나 해서 최신 오픈소스 SOTA 모델들을 올려봤는데 더 끔찍했습니다. F5-TTS (DiT)는 22개 레이어 계산하느라 10초 음성에 무려 562초(9분 22초!)가 걸려 완전히 뻗었고, CosyVoice 2는 토큰 인터페이스가 안 맞아 "가가가 두가가가" 하는 기계음 버즈만 22초 동안 뱉었으며, ChatTTS는 한글 토큰이 0개라 [UNK]로 목 긁는 신음 소리와 함께 끝없는 비명/웃음 루프에 빠졌습니다.
결국 화려한 거대 모델의 환상을 버리고 경량 VITS + DSP 구조(amv-tts)에 매달려, 문장 끝나길 기다리지 않고 음절 단위로 첫 패킷을 밀어 넣는 스트리밍 청크 구조와 비트 연산 초경량 G2P를 완성했습니다. 그 결과 Galaxy S25에서 0.80초, Galaxy A35에서도 질문이 끝나자마자 78ms 만에 첫 목소리가 튀어나오게 만들었습니다.
[음성 인식 & 화자 분리: 불타는 칩셋을 식혀라]
Whisper 음성인식을 모바일 GPU로만 돌리면 속도는 빠른데 폰이 손난로가 되다 못해 터질 것처럼 달아올랐습니다(발열 지표 408%). 인코더는 GPU가 잘하지만 디코더는 단어 하나씩 뽑는 루프라 CPU가 훨씬 효율적이라는 걸 파악하고, 둘을 쪼개서 병렬로 돌리는 하이브리드 파이프라인(--split-mode)을 구현했습니다. 이 패치는 whisper.cpp 공식 레포에 PR #4089로 머지되었고, 발열을 16% 수준으로 시원하게 얼려버렸습니다. 여기에 온디바이스 화자 분리까지 붙여서 회의록에서 누가 말했는지 오프라인으로 93.4% 정확도로 분리해 냈습니다.
[1.58비트 LLM & 비전: 보급형 폰의 대반전]
Microsoft BitNet 공식 저장소에서 가중치 언패킹 비트 마스킹 오류(`(b & 3) - 1`)를 잡아내어 워드샐러드를 완치(PR #551)하고, ARM NEON sdot 커널(PR #624)과 다이나믹 디스패처(PR #633)를 머지시켰습니다. 그 결과 나온 숫자가 바로 Galaxy A53에서의 초당 9.69토큰입니다. 심지어 6GB RAM 달린 보급형 폰에서 3.05GB 크기의 7.45B Falcon 모델을 mmap 스트리밍으로 OOM 없이 끝까지 완주시켰습니다.

2. 전 기종 / 전 모달리티 종합 실측 스코어카드 (Table)

모달리티 모델 / 아키텍처 실측 기종 (SoC / RAM) 지연시간 / 처리 속도 메모리 점유율 실측 판정 (Ground Truth)
이미지 생성 Z-Image Turbo (6.0B DiT) Galaxy S21 (Exynos 2100 / 8GB) 39.3초 / step 820 MB (레이어 스트리밍) PASS (8-Step 완주)
이미지 생성 Realistic Vision v5.1 (SD1.5) Galaxy S21 (Mali-G78 MP14) 68.5초 (12 steps) 2,080 MB PASS (실사 인물 생성)
이미지 생성 SDXS 0.65B Ultra-Fast Galaxy S21 (Mali-G78 MP14) 8.4초 (4 steps) 820 MB PASS (초고속 실시간)
음성 합성 Piper VITS C++ 네이티브 Galaxy A35 (Exynos 1380 / 6GB) 첫 패킷 78 ms (RTF 0.18) 112 MB PASS (잡음 제로 발화)
음성 인식 Whisper Base (--split-mode) Galaxy S20 (Snapdragon 865) RTF 0.08 / 발열 16% 240 MB PASS (서멀 스로틀 완치)
화자 분리 On-Device Diarization Galaxy S20 (Kryo 585) 구간 분리 정확도 93.4% 85 MB PASS (오프라인 회의록)
1.58-bit LLM Falcon-E-1B (SwiGLU) Galaxy A53 (Exynos 1280 / 6GB) 9.69 tok/s 635 MB PASS (실시간 타이핑)
1.58-bit LLM BitNet b1.58 2B (Relu2) Galaxy S25 (Snapdragon 8 Elite) 3.95 tok/s 1,130 MB PASS (워드샐러드 완치)
1.58-bit LLM Falcon3-7B (3.05 GB) Galaxy A53 (Exynos 1280 / 6GB) 2.00 tok/s 3,120 MB (mmap) PASS (6GB 폰 OOM 방어)
LLM 브레인 Qwen2.5-0.5B (NEON 4T) Galaxy S20 (Snapdragon 865) 42.9 tok/s 380 MB PASS (CPU NEON 가속)
VLM 비전 Qwen2-VL 2B Int4 경량 Galaxy S25 (Oryon 8C) 장면 분석 1.28초 1,450 MB PASS (카메라 프레임 이해)

3. 엔지니어링 거버넌스 및 독자 생태계 보호 전략

더 상세한 포렌식 분석과 C++ 어셈블리 커널 코드는 모바일 플릿 8대 모달리티 실측 대백서 원문에서 확인하실 수 있습니다.