평가 프로토콜 관리
- 데이터 분할 방식을 프로토콜로 분리해 명시
- 프로토콜 × 모델 일괄 교차 평가
- 완벽한 예측기가 도달 가능한 오차 하한 자동 산출
- 목표 성능이 물리적으로 달성 가능한지 사전 판정
← PORTFOLIO · AI & ANALYTICS
모델을 바꾸기 전에,
AI 전파예측 모델 검증 테스트베드
모델을 바꾸기 전에,
평가 방식부터 검증합니다
무선 전파특성을 예측하는 AI 모델은 같은 데이터로 학습해도 어떤 기준으로 평가하느냐에 따라 성능 수치와 순위가 달라집니다. 이 테스트베드는 평가 조건을 명시적으로 분리해 여러 모델을 교차 검증하고, 조건을 바꿔가며 결과가 어떻게 움직이는지 눈으로 비교할 수 있게 합니다.
- 합성 측정 데이터 생성
- 평가 프로토콜 교차 검증
- 조건 스윕 · 차분 비교
- 실행 이력 기반 재현
- 설치형 · 온프레미스
수신 고도 스윕 — 동일 지역 · 동일 주파수
건물 높이를 넘어서면 전파 기구가 바뀝니다 — 지상 조건으로 학습한 모델은 이 구간을 외삽하지 못합니다.
평가 프로토콜 × 모델 교차표 — 오차(낮을수록 좋음)
※ 상대 경향을 보여주는 예시 표기입니다. 프로토콜이 바뀌면 최우수 모델이 바뀝니다.
조건 스윕 — 가시선 비율
고도가 오르면 회절 지배에서 자유공간 지배로 전환됩니다.
※ 화면은 실제 구동 화면을 재구성한 예시이며, 표시된 값은 경향을 보여주기 위한 샘플입니다.
01 — HOW IT WORKS
데이터 생성부터 재현까지, 여섯 단계가 하나로 이어집니다
각 단계의 설정과 결과가 함께 기록되므로, 나중에 같은 실험을 그대로 다시 돌릴 수 있습니다.
-
STEP 01
환경 구성
지역 유형, 주파수 대역, 송수신 고도, 지형·건물 조건을 지정해 평가 대상 환경을 구성합니다.
-
STEP 02
데이터 준비
합성 측정 데이터셋을 생성하거나, 보유한 실측 데이터를 올려 컬럼 자동 인식과 품질 검사를 거칩니다.
-
STEP 03
프로토콜 정의
학습·평가 데이터를 어떻게 나눌지(동일 조건, 지역·주파수·고도 외삽 등)를 명시적으로 선택합니다.
-
STEP 04
교차 평가
선택한 프로토콜과 모델을 조합해 일괄 평가하고, 이론적으로 도달 가능한 오차 하한을 함께 계산합니다.
-
STEP 05
비교 · 차분
조건을 바꿔 만든 결과들을 공통 색 눈금으로 나란히 놓고, 두 결과의 차이만 뽑아낸 차분 화면으로 확인합니다.
-
STEP 06
기록 · 재현
모든 실행의 파라미터·난수 시드·결과·산출물이 저장되어, 언제든 같은 조건으로 재현하고 비교할 수 있습니다.
02 — FEATURES
"성능이 좋다"를 조건과 함께 말할 수 있게
시뮬레이션 · 스윕
- 지역 격자 기반 전파맵 생성
- 주파수·고도·환경·시드 조합 자동 스윕
- 여러 결과를 공통 색 눈금으로 동시 비교
- 두 결과의 차이만 표시하는 차분 화면
데이터 · 계산 도구
- 합성 측정 캠페인 생성 (시나리오·경로 조합)
- 실측 데이터 업로드 시 컬럼 자동 인식·품질 검사
- 업로드 데이터에 적용 가능한 프로토콜 자동 판정
- 전파 관련 표준 계산식 대화형 계산기
물리 지식 결합
- 통계 모델과 기계학습 모델을 같은 조건에서 비교
- 물리 기반 사전지식을 특징으로 결합
- 학습 범위를 벗어난 조건에서의 외삽 성능 측정
해석 지원
- 로컬 언어모델이 결과 해석과 요약 초안을 작성
- 데이터 품질 이슈에 대한 설명 생성
- 외부 API를 쓰지 않아 데이터가 나가지 않음
재현성 · 운영
- 실행 이력 전체 저장 (파라미터·시드·결과·산출물)
- 과거 실행 불러와 재실행·비교
- 단일 계정 인증 + 서버측 API 접근 통제
- 유휴 시간 초과 시 자동 로그아웃
03 — SCREENS
설정하고, 돌리고, 비교하는 화면이 분리돼 있습니다
프로토콜 평가
평가 조건과 모델을 고르면 조합별 결과가 한 표로 정리됩니다. 도달 가능한 하한이 함께 표시되어, 목표치가 현실적인지 즉시 판단할 수 있습니다.
실행 대기열
동일 조건 · 4개 모델완료
지역 외삽 · 4개 모델완료
주파수 외삽 · 4개 모델진행중
고도 외삽 · 4개 모델대기
도달 가능 하한
일반 지역하한 산출됨
도심하한 상승
밀집 도심하한 최대
실행 이력
모든 실행이 파라미터와 난수 시드까지 함께 저장됩니다. 목록에서 두 실행을 고르면 바로 비교 화면으로 넘어갑니다.
RUN-0148 전파맵 도심 / 중대역 / 고도 60m
seed=20260415 저장됨
RUN-0147 전파맵 도심 / 중대역 / 고도 30m
seed=20260415 저장됨
RUN-0146 캠페인 합성 / 3 시나리오
seed=77001 저장됨
RUN-0145 평가 프로토콜 8종 × 모델 4종
seed=20260415 저장됨
RUN-0148 ↔ RUN-0147차분 비교
04 — ARCHITECTURE
서버 한 대에 설치하고, 데이터는 내부에 둡니다
브라우저만 있으면 사용할 수 있고, 계산과 저장은 모두 기관 내부에서 이뤄집니다.
- 백엔드Python 3 · FastAPI
- 수치 계산NumPy · SciPy · scikit-learn
- 데이터Parquet · SQLite
- 화면서버 렌더링 · 반응형 CSS
- 시각화Matplotlib · 대화형 차트
- 해석 지원로컬 LLM
- 인증단일 계정 · 서버측 강제 · 유휴 만료
- 운영Linux · systemd · Nginx
재현되지 않는 결과는 근거가 되지 못합니다
모든 실행은 입력 파라미터와 난수 시드, 산출물 경로까지 함께 기록됩니다. 몇 달 뒤에도 같은 조건을 그대로 복원해 다시 돌릴 수 있어야 비교와 검토가 성립하기 때문입니다.
측정 데이터와 계산 결과는 외부로 전송되지 않습니다. 결과 해석에 쓰이는 언어모델도 같은 서버에서 실행되는 로컬 모델입니다.
05 — USE CASES
예측 모델의 성능을 조건과 함께 증명해야 할 때
기지국·중계 배치 검토에 쓰는 예측 모델이 대상 환경에서 실제로 유효한지 확인합니다.
학습 데이터에 없던 주파수 대역으로 외삽할 때 성능이 얼마나 떨어지는지 사전 측정합니다.
지상 기준으로 만든 모델을 고도 방향으로 확장할 수 있는지, 어디서부터 어긋나는지 확인합니다.
모델 비교 결과를 재현 가능한 형태로 남겨 기술 검토와 근거 자료 작성에 활용합니다.