# ๐Ÿค– Pick & Stack (๋ธ”๋ก ์ง‘๊ธฐ ๋ฐ ์ˆœ์ฐจ ์ ์žฌ) ๋ชจ๋ธ ๋ชจ๋ธ๋ช… : task1_act_dagger2 --- ## 1. ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์„ฑ (Dataset) ### 1.1 ์ด์ „ ๋ชจ๋ธ๊ณผ์˜ ์ฐจ์ด์  * **๊ธฐ์กด ๋ฐ์ดํ„ฐ์…‹์˜ ํ•œ๊ณ„:** DAgger๋ฅผ ๋ฐ์ดํ„ฐ์…‹์„ ์ถ”๊ฐ€ํ•˜๋Š” ๊ณผ์ •์—์„œ ๊ธฐ์กด Task๋ฅผ ์ˆ˜ํ–‰ํ•˜๋Š” ํšจ์œจ์ด ๋–จ์–ด์ง * **๋ฐ์ดํ„ฐ์…‹ ๊ฐœ์„ :** DAgger์™€ ๊ธฐ์กด ๋ฐ์ดํ„ฐ์…‹ ๊ฐ„ ๋น„์œจ ๋ณ€ํ™”์— ๋”ฐ๋ฅธ ์„ฑ๋Šฅ ๋ณ€ํ™”๋ฅผ ํ™•์ธํ•˜๊ธฐ ์œ„ํ•ด DAgger ์—ํ”ผ์†Œ๋“œ ์ˆ˜ ์ค„์ž„ ### 1.2 ์ „์ฒด ๋ฐ์ดํ„ฐ์…‹ ๊ตฌ์กฐ * ๊ธฐ๋ณธ ์—ํ”ผ์†Œ๋“œ 75๊ฐœ * ๊ณ ์ •๋œ ์œ„์น˜ 60๊ฐœ * ์™ผ์ชฝ ์œ„์น˜ 50๊ฐœ * ์˜ค๋ฅธ์ชฝ ์œ„์น˜ 59๊ฐœ * DAgger Correction 20๊ฐœ --- ## 2. ๋ชจ๋ธ ํ•™์Šต ๋ฐฉ์‹ (Training Procedure) ### 2.1 ๋ชจ๋ธ ์•„ํ‚คํ…์ฒ˜ (ACT ๊ธฐ๋ฐ˜) ์ฐจ์ด ์—†์Œ ### 2.2 ์„œ๋ฒ„ ์ถ”๋ก  ๊ธฐ๋ฐ˜ ์‹œ์Šคํ…œ ๋ฐ ํ†ต์‹  ์ฐจ์ด ์—†์Œ ### 2.3 Chunk ๋ฐ Step ์ฐจ์ด ์ฐจ์ด ์—†์Œ --- ## 3. ์ˆ˜ํ–‰ ๊ฒฐ๊ณผ (Evaluation & Results) ### 3.1 ์ˆ˜ํ–‰ ๊ฒฐ๊ณผ * **๊ณ ์ • ์œ„์น˜:** ์ด 5ํšŒ ์‹œ๋„ ์ค‘ 1.4๊ฐœ ๋ธ”๋Ÿญ ์„ฑ๊ณต (2, 1, 1, 3, 0) * **๋žœ๋ค ์œ„์น˜:** ์ด 5ํšŒ ์‹œ๋„ ์ค‘ 1๊ฐœ ๋ธ”๋Ÿญ ์„ฑ๊ณต (2, 1, 0, 1, 1) * **ํŠน์ด ์‚ฌํ•ญ:** * ์ˆœ์„œ๋ฅผ ๊ฐ€์ง€๊ณ  ์ด๋™ํ•˜๋ ค๋Š” ๊ฒฝํ–ฅ (์™ผ์ชฝ ์•„๋ž˜ -> ์™ผ์ชฝ ์œ„ -> ์˜ค๋ฅธ์ชฝ ์œ„ -> ์˜ค๋ฅธ์ชฝ ์•„๋ž˜) * ์™ผ์ชฝ ์•„๋ž˜ ๋ธ”๋Ÿญ์„ ์ง‘์„๋•Œ ์ž์ฃผ ์‹คํŒจ (๋ธ”๋Ÿญ ์œ„์น˜๋ณด๋‹ค ์œ„์ชฝ์„ ์ง‘์œผ๋ ค๊ณ  ์‹œ๋„, ์ œ๋Œ€๋กœ ์ง‘์ง€ ๋ชปํ•˜๊ณ  ๋ธ”๋Ÿญ์ด ์•„๋ž˜๋กœ ๋ฐ€๋ฆผ) * ์˜ค๋ฅธ์ชฝ ์œ„์—์„œ posterior collapse ์ž์ฃผ ๋ฐœ์ƒ, ์™ผ์ชฝ ์•„๋ž˜ ์˜์—ญ์—์„œ๋„ posterior collapse ๋ฐœ์ƒ * ์™ผ์ชฝ ํ•˜๋‹จ, ์˜ค๋ฅธ์ชฝ ํ•˜๋‹จ์—์„œ ํ‘œ์‹œ์˜์—ญ์„ ๋ธ”๋Ÿญ์œผ๋กœ ์ธ์‹ํ•˜์—ฌ ์ง‘์œผ๋ ค๋Š” ์‹œ๋„ ### 3.2 ๊ฒฐ๊ณผ ํ”ผ๋“œ๋ฐฑ * klw1 ๊ฒฐ๊ณผ์™€ ๊ฑฐ์˜ ๋น„์Šทํ•œ ์ˆ˜์ค€, DAgger 40๊ฐœ๋ณด๋‹ค ์ƒ๊ฐํ•˜๋Š” ์„ฑ๋Šฅ ๋‚ฎ์•„์ง * 300๊ฐœ์˜ ์ผ๋ฐ˜ ๋ฐ์ดํ„ฐ์…‹ ์ˆ˜์ง‘ ์ดํ›„ posterior collapse์ด ๋ฐœ์ƒํ•˜๋Š” ๋ถ€๋ถ„์— ๋Œ€ํ•œ DAgger ๋ฐ์ดํ„ฐ์…‹ ๊ณ„์† ์ถ”๊ฐ€ํ•ด๊ฐ€๋ฉฐ ๊ฒฐ๊ณผ๋ฅผ ๋ถ„์„ * ํ˜„์žฌ๋Š” ์˜ค๋ฅธ์ชฝ ์ƒ๋‹จ์—์„œ ๊ณ„์†ํ•ด์„œ ๋ธ”๋Ÿญ์„ ์ง‘์œผ๋ ค๋Š” ํ˜„์ƒ์— ๋Œ€ํ•œ DAgger Correction ๋ฐ์ดํ„ฐ์…‹ ํ•„์š” * ์ง€์ •๊ตฌ์—ญ์„ ๋ธ”๋ก์œผ๋กœ ์ธ์‹ํ•˜๋Š” ํ˜„์ƒ, ์ง€์ •๊ตฌ์—ญ ์•ˆ์— ์žˆ๋Š” ๋ธ”๋ก๋“ค์„ ์ง‘์œผ๋ ค ํ•˜๋Š” ํ˜„์ƒ ๊ฐœ์„  ํ•„์š” * ์™ผ์ชฝ ์•„๋ž˜์— ๋Œ€ํ•œ ์—ํ”ผ์†Œ๋“œ ์ถ”๊ฐ€ or DAgger Correction ์—ํ”ผ์†Œ๋“œ ์ถ”๊ฐ€ ํ•„์š” --- ## 4. ์ฐธ๊ณ  ์ž๋ฃŒ (Reference) https://www.alphaxiv.org/abs/1011.0686