Update README.md
Browse files
README.md
CHANGED
|
@@ -3,5 +3,28 @@ license: mit
|
|
| 3 |
language:
|
| 4 |
- ko
|
| 5 |
---
|
|
|
|
| 6 |
|
| 7 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 3 |
language:
|
| 4 |
- ko
|
| 5 |
---
|
| 6 |
+
Universal Z-Rule Runner Architecture (Prototype)
|
| 7 |
|
| 8 |
+
|
| 9 |
+
|
| 10 |
+
https://github.com/10kseason/uzr
|
| 11 |
+
|
| 12 |
+
UZR
|
| 13 |
+
|
| 14 |
+
개요 (Korean)
|
| 15 |
+
|
| 16 |
+
모델 파이프라인: 입력 문자열은 바이트 단위 토크나이저로 정규화되어 BOS/EOS 토큰과 패딩이 포함된 시퀀스로 변환됩니다.【F:uzr/model.py†L10-L28】
|
| 17 |
+
표현 학습기: TinyEncoder 트랜스포머가 토큰 임베딩과 위치 임베딩을 결합해 문맥 표현을 만들고, FiLM 계층이 언어·추론 잠재 벡터를 결합하여 토큰별 로짓을 산출합니다.【F:uzr/model.py†L43-L146】
|
| 18 |
+
잠재 상태 융합: UZRModel은 규칙 추론(z_rule), 사고 보조(z_think), 언어 식별자 임베딩을 결합해 단일 조건 벡터로 투영합니다.【F:uzr/model.py†L62-L145】
|
| 19 |
+
압축 메모리: CompressedMemory는 평균 임베딩과 느린 잠재 벡터를 정규화된 키와 함께 저장하고, 코사인 유사도 기반 검색 및 MLP 학습기로 복원값을 추정합니다.【F:uzr/memory.py†L37-L200】【F:uzr/memory.py†L282-L287】
|
| 20 |
+
장기 추론 루프: 추론 스크립트는 태스크 샘플링 후 컨텍스트를 인코딩하고, 메모리에서 초기 z_fast를 받아 내부 경사 하강으로 조정한 뒤 느린 상태와 메모리를 업데이트합니다.【F:uzr/infer_longrun.py†L6-L170】
|
| 21 |
+
태스크 생성기: sample_task는 언어별 규칙 팩토리를 조합해 컨텍스트·쿼리 예시와 설명을 반환하며, 수학 등 구조화된 입력을 선택적으로 혼합합니다.【F:uzr/tasks.py†L361-L420】
|
| 22 |
+
|
| 23 |
+
Overview (English)
|
| 24 |
+
|
| 25 |
+
Model pipeline: Input strings are normalized by a byte-level tokenizer that inserts BOS/EOS markers and padding before batching them as tensors.【F:uzr/model.py†L10-L28】
|
| 26 |
+
Representation learner: A TinyEncoder transformer fuses token and positional embeddings, while a FiLM layer conditions the sequence states with language and reasoning latents before projecting token logits.【F:uzr/model.py†L43-L146】
|
| 27 |
+
Latent fusion: UZRModel merges rule inference (z_rule), thinking support (z_think), and language embeddings into a single control vector via a learned projection.【F:uzr/model.py†L62-L145】
|
| 28 |
+
Compressed memory: CompressedMemory stores normalized keys with averaged embeddings and slow latents, serving cosine-similarity retrieval and an auxiliary MLP regressor to reconstruct stored codes.【F:uzr/memory.py†L37-L200】【F:uzr/memory.py†L282-L287】
|
| 29 |
+
Long-run inference loop: The inference script samples tasks, encodes contexts, seeds z_fast from memory, refines it with inner gradient steps, then updates the slow state and memory sketch.【F:uzr/infer_longrun.py†L6-L170】
|
| 30 |
+
Task generator: sample_task blends language-specific rule factories to emit context/query pairs and human-readable descriptions, optionally injecting structured cases such as arithmetic.【F:uzr/tasks.py†L361-L420】
|