다중 런타임 컴파일
- 모델 하나에서 여러 타깃 배포본 일괄 생성
- 연산자 융합·그래프 단순화 자동 적용
- 타깃별 최적 변환 경로 자동 선택
- 단계별 컴파일 로그 실시간 스트리밍
← PORTFOLIO · AI & ANALYTICS
모델은 그대로 두고,
온디바이스 AI 배포 최적화 플랫폼
모델은 그대로 두고,
디바이스에서 돌아가게 만듭니다
학습된 모델 파일 하나를 올리면 여러 런타임의 배포본을 자동으로 컴파일·양자화하고, 양자화 후에도 정확도가 유지되는지 검증한 뒤 실제 엣지 디바이스에서 최적화 전후 성능을 나란히 비교합니다. 변환이 되는지가 아니라, 현장에서 쓸 수 있는지를 확인합니다.
- 다중 런타임 일괄 컴파일
- 양자화 · 정확도 보존 검증
- 연산자 호환성 사전 분석
- 디바이스 실측 A/B 비교
- 원격 배포 · 모니터링
디바이스 실측 — 동일 입력 · 동일 모델
두 디바이스에 같은 입력을 동시에 넣고 처리량·지연·전력을 함께 수집합니다.
컴파일 타깃 — 일괄 생성
정확도는 원본 출력과의 유사도입니다. 기준 미달이면 배포본을 내보내지 않습니다.
연산자 호환성 — 타깃별 지원 현황
컴파일 전에 막힐 지점을 먼저 알려주고, 대체 경로를 제안합니다.
부하 스윕 — 동시 요청 증가 시 처리량
- 최적화 배포본
- 원본 모델
※ 화면은 실제 구동 화면을 재구성한 예시이며, 표시된 수치는 샘플 데이터입니다.
01 — HOW IT WORKS
모델 파일 하나에서 배포 가능한 산출물까지
각 단계는 자동으로 이어지며, 실패한 단계는 이유와 대안을 함께 알려줍니다.
-
STEP 01
모델 등록
학습된 모델 파일을 올리면 연산 그래프를 자동으로 파싱해 구조와 입출력 형상을 정리합니다.
-
STEP 02
호환성 분석
타깃별로 지원되지 않는 연산자를 미리 찾아냅니다. 컴파일을 시작하기 전에 막힐 지점을 알 수 있습니다.
-
STEP 03
컴파일 · 양자화
타깃별 배포본을 일괄 생성하고, 연산자 융합과 정밀도 축소를 적용합니다. 진행 로그가 실시간으로 표시됩니다.
-
STEP 04
정확도 검증
원본 모델과 배포본의 출력을 비교해 유사도를 산출합니다. 기준을 넘지 못하면 산출물로 내보내지 않습니다.
-
STEP 05
실측 비교
두 대의 디바이스에 최적화 전후 모델을 각각 올리고, 같은 입력을 동시에 넣어 처리량·지연·전력을 비교합니다.
-
STEP 06
배포 · 성적서
검증을 통과한 배포본과 측정 결과를 성적서 형태로 정리하고, 원격으로 디바이스에 배포합니다.
02 — FEATURES
"돌아간다"가 아니라 "얼마나 빨라지는지"를 숫자로
양자화 · 정확도 보존
- 정밀도 축소 및 보정 데이터 기반 캘리브레이션
- 원본 대비 출력 유사도 자동 산출
- 기준 미달 시 배포본 반출 차단
- 계층별 양자화 분포 시각화
사전 호환성 분석
- 연산 그래프 정적 분석
- 타깃별 연산자 지원 매트릭스
- 미지원 연산의 대체 경로 제안
- 동적 형상·제어 흐름 처리 방식 안내
디바이스 실증
- 여러 노드를 동시에 운영하는 A/B 오케스트레이션
- 동일 입력 동기 투입 후 결과 나란히 비교
- 처리량·지연·온도·전력 텔레메트리 수집
- 시뮬레이션 모드와 실측 모드 전환
벤치마크 · 환산
- 동시 요청 스윕으로 포화 지점 측정
- 필요 장비 수량·전력·비용으로 환산
- 측정 결과를 성적서 형태로 정리
안전성 평가
- 안전 요구사항 위반 사례를 능동적으로 탐색
- 오작동을 유발하는 조건 조합 추적
- 탐색 결과를 재현 가능한 시나리오로 저장
03 — SCREENS
컴파일 과정과 디바이스 상태가 모두 보입니다
컴파일 엔진
변환이 진행되는 동안 실제 컴파일러 로그가 그대로 흘러갑니다. 어느 단계에서 무엇이 융합되고 어떻게 양자화되는지 확인할 수 있습니다.
[graph] 노드 214 → 융합 후 146 [graph] 합성곱+정규화+활성 38쌍 융합 [quant] 보정 배치 128 수집 [quant] 정밀도 축소 적용 [check] 출력 유사도 0.9992 [check] 기준 0.99 통과 [emit ] 배포본 저장 완료
산출물4개 타깃
디바이스 관리
등록된 노드의 상태와 배포된 모델 버전을 한눈에 봅니다. 원격으로 파일을 전송하고 에이전트를 재기동할 수 있습니다.
EDGE-A · 기준온라인
EDGE-B · 최적화온라인
NODE-C · 통신모듈배포중
NODE-D · 통신모듈대기
EDGE-B 텔레메트리
가속기 점유율72%
소비 전력정상 범위
04 — ARCHITECTURE
서버에서 만들고, 디바이스에서 증명합니다
무거운 컴파일과 벤치마크는 서버가 맡고, 디바이스는 가벼운 에이전트만 올려 실측을 담당합니다.
- 대시보드Python · Streamlit
- 컴파일러다중 백엔드 통합 래퍼
- 그래프 분석연산 그래프 정적 분석
- 디바이스 에이전트경량 HTTP 서비스
- 원격 제어SSH · SCP
- 가속기GPU · 전용 NPU
- 모달리티비전 · 언어 · 음성 · 센서
- 운영Linux · 컨테이너 · systemd
하드웨어가 없어도 시연은 멈추지 않습니다
기본은 시뮬레이션 모드로 동작하고, 실제 디바이스가 연결되면 실측 모드로 전환됩니다. 화면에는 지금 보는 값이 시뮬레이션인지 실측인지가 항상 표시됩니다.
가속기 스택이 없는 환경에서도 검증·리포트 경로는 그대로 동작하도록 설계해, 개발 장비와 운영 장비를 오가며 작업할 수 있습니다.
05 — USE CASES
모델은 있는데 디바이스에서 안 돌아갈 때
자사 하드웨어에 얹을 모델의 변환·최적화 파이프라인을 갖추고 성능을 수치로 제시합니다.
현장 장비에서 실시간 처리가 가능한 수준까지 모델을 줄이고, 정확도 손실을 관리합니다.
제한된 연산 자원과 전력 조건에서 추론이 성립하는지 사전에 확인합니다.
측정 조건과 결과를 재현 가능한 형태로 남겨 시험·심사 자료로 활용합니다.