How We Test

NVIDIA Isaac Sim 위에서 작동하는 자동 검증 파이프라인

Policy Upload
SHA256 Verify
Isaac Sim Physics
68 Scenarios
14 Metrics
PASS / FAIL

Parameter Space Design

왜 이 파라미터를 선택했는가 — 각각 논문 근거가 있습니다

ParameterRangeScalePaperWhy
friction0.05 – 1.2log-uniformSIMPLER 2024마찰계수-성공률 상관 r=+0.36 (1위)
mass0.05 – 2.0 kglog-uniformSIMPLER 2024Franka 페이로드 한계 반영
com_offset0.0 – 0.4uniformSuction Grasp 2025무게중심 편향 → 파지 안정성 변화
size0.02 – 0.12 muniformSIMPLER 20242cm 이하 물체에서 실패율 급증
ik_noise0.0 – 0.04 raduniformICRA Sim2Real 2025Sim-to-Real 제어 오차 시뮬레이션
obstacles0 – 4integerRoboFAC 2025장애물 3+ 시 충돌률 2배
shape5 typescategoricalGrasp Anything 2024box, cylinder, sphere, L, irregular
placement14 typescategoricalALEAS 2025회전/기울임/모서리 배치

Latin Hypercube Sampling으로 10,000개 균등 분포 — 랜덤 대비 2-3배 공간 커버리지 (ALEAS 2025)

Failure Taxonomy

RoboFAC (2025) 기반 6가지 실패 유형 분류

Grasp Miss

그리퍼가 물체에 접근했으나 잡지 못함

원인: size < 3cm, approach_angle > 60°

Collision

로봇이 테이블/물체/장애물과 충돌

원인: obstacles ≥ 3, cluttered scene

Drop / Grip Loss

파지 후 이동 중 물체를 놓침

원인: friction < 0.2, mass > 1.5kg

Timeout

제한 시간 내 태스크 미완료

원인: 복잡한 IK 해, 비수직 접근

Slip Event

파지 중 미끄러짐 감지 (놓치지는 않음)

원인: friction < 0.3, com_offset > 0.2

Position Deviation

목표 위치에 정확히 놓지 못함

원인: reach_ratio > 0.82, IK noise

Cross-Robot Validation

동일 실험을 두 로봇에서 실행 → 보편적 위험 구간 발견

Franka Panda (7DOF)

10,000

실험 · 성공률 33.3%

danger zone: 7,808

UR10 (6DOF)

10,000

실험 · Coming Soon

UR10 PickPlaceController 기반

로봇에 의존하지 않는 보편적 위험 구간: friction < 0.15, size < 3cm, obstacles ≥ 3

Statistical Confidence

Wilson Score Interval — 유한 샘플 신뢰구간 (SureSim 2025)

10,000

샘플 수

±1%

95% CI margin

p < 0.001

통계적 유의성

Wilson Score: p̂ ± z·√(p̂(1-p̂)/n + z²/4n²) / (1 + z²/n)

n=10,000, p̂=0.333, z=1.96 → CI = [0.324, 0.342]

References

RoboGate가 기반으로 하는 논문들

SIMPLERCoRL 2024

friction × mass 조인트 샘플링, Sim-to-Real 갭 정량화 (24-30%)

ALEASRSS Workshop 2025

Latin Hypercube Sampling — 랜덤 대비 2-3배 공간 커버리지

ICRA Sim2RealICRA 2025

IK noise injection으로 도메인 랜덤화

SureSimL4DC 2025

Wilson Score Interval — 유한 샘플 신뢰구간

RoboFACarXiv 2025

6가지 실패 유형 분류 체계 (failure taxonomy)

Suction GraspRA-L 2025

Center of Mass offset이 파지 안정성에 미치는 영향

Learning to Grasp AnythingCoRL 2024

5가지 물체 형상 (box, cylinder, sphere, L, irregular)

Isaac LabNVIDIA 2025

GPU 병렬 환경 (4096 envs), Newton Physics 엔진