izblue/mujoco-lunarlander-v1

🚀 MuJoCo 3D Lunar Lander v1 — Brave Brain (74% Success DQN)

💡 74.0% 착지 성공률 달성! 3D MuJoCo 물리 엔진 기반의 착지선(Lunar Lander)을 실시간 거리·자세 보상 엔지니어링(Reward Shaping)을 통해 정밀 제어하는 Deep Q-Network(DQN) 모델입니다.

---

🎥 비행 및 착지 시연 (Demo)

💡 착지선의 몸통과 두 개의 캡슐 다리가 MuJoCo 물리 엔진의 실시간 충돌 해석(d.contact)을 통해 안전하게 착지대에 안착합니다.

---

📊 실험 성과 및 평가 결과 (50 Episodes Evaluation)

독립된 50개의 미학습 시드(Seed 5000 ~ 5049)를 대상으로 성능을 검증한 결과입니다.

지표 (Metrics)	11번 셀 기본형 (Baseline)	3차 실험: 용감한 두뇌 (본 모델)
완벽 착지 성공률	~40.0% (20/50판)	74.0% (37/50판) 🏆
추락 (Crash)	12판	0판 (0.0%)
착지대 밖 착지	18판	13판 (26.0%)
에피소드 평균 보상	-12.4	+89.8

• 단 1회의 추락이나 뒤집힘 없이 100% 안전하게 착지했으며, 그중 74%가 착지대 정중앙 안전 영역에 완벽 안착했습니다.

---

🛠️ 핵심 보상 엔지니어링 (Reward Shaping)

기존 기본 시뮬레이터(11번 셀)는 착지 시점까지 의미 있는 보상이 주어지지 않는 '희소 보상(Sparse Reward)' 문제와 연료 벌점에 대한 공포로 인해 보수적인 행동(착지대 밖 착지)을 보였습니다.

본 모델은 다음과 같은 보상 설계를 적용했습니다:

1. 실시간 지수 거리 보너스: $$R_{\text{dist}} = +0.5 \times \exp(-\text{거리})$$ 착지대 중심 $(0, 0.05)$에 가까워질수록 매 스텝마다 누적 가산점을 주어 중심부로 끌어당김.
2. 수직 자세 보너스: $$R_{\text{att}} = +0.1 \times \cos(\theta)$$ 몸체가 기울어지지 않고 똑바로 서 있도록 유도하여 착지 시 전복 방지.
3. 과감한 기동 독려 (Fuel Tuning): 연료 소모 벌점을 $0.3 \to 0.05$(가운데), $0.03 \to 0.005$(측면)로 낮추어 적극적인 제어 분사 유도.
4. 신경망 용량 확장: 은닉 노드를 $128 \to 256$으로 확장하여 비선형 물리 역학을 정밀 학습.

---

💻 빠른 시작 및 실행 방법 (Quick Start)

1. 환경 설치

pip install mujoco gymnasium torch numpy

2. 착지선 평가 실행

저장소를 클론하거나 파일들을 내려받은 후 바로 실행할 수 있습니다:

python mujoco_lander.py lander_brave_brain.pth

3. 파이썬 코드에서 직접 불러오기

import torch
from mujoco_lander import 모델생성, 실시간보너스_착지환경

# 1. 256 은닉 노드 Q-Network 로드
model = 모델생성(상태수=8, 행동수=4, 은닉=256)
model.load_state_dict(torch.load('lander_brave_brain.pth', map_location='cpu'))
model.eval()

# 2. MuJoCo 환경 초기화
env = 실시간보너스_착지환경()
obs, _ = env.reset(seed=42)

done = False
while not done:
    with torch.no_grad():
        action = int(model(torch.from_numpy(obs)).argmax())
    obs, reward, terminated, truncated, info = env.step(action)
    done = terminated or truncated

print(f"최종 결과: {info['결과']}")

---

📂 파일 구조

• lander_brave_brain.pth: 74% 착지 성공 DQN 신경망 가중치 (279KB)
• mujoco_lander.py: MuJoCo XML + 환경 클래스 + 추론 통합 실행 파일
• lander_demo.mp4: 비행 및 착지 시연 영상 (16KB)
• README.md: 모델 카드 및 성능 리포트