walkinglabs/hands-on-modern-rl

๐Ÿš€ ๊ธฐ๋ณธ RL ๊ฐœ๋…๋ถ€ํ„ฐ LLM ์ •๋ ฌ, RLVR ๋ฐ ๊ณ ๊ธ‰ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ๊นŒ์ง€์˜ ๊ฒฉ์ฐจ๋ฅผ ๋ฉ”์šฐ๋Š” ์˜คํ”ˆ์†Œ์Šค ์‹ค์Šตํ˜• ์ปค๋ฆฌํ˜๋Ÿผ์ž…๋‹ˆ๋‹ค.

hands-on-modern-rl๋ž€ ๋ฌด์—‡์ธ๊ฐ€์š”?

์ด ์Šคํ‚ฌ์€ ๊ฐ•ํ™” ํ•™์Šต(RL)์˜ ๊ธฐ์ดˆ ๊ฐœ๋…์—์„œ๋ถ€ํ„ฐ ๋Œ€๊ทœ๋ชจ ์–ธ์–ด ๋ชจ๋ธ(LLM) ์ •๋ ฌ, RLVR(Reinforcement Learning from Verifiable Rewards), ๊ทธ๋ฆฌ๊ณ  ๊ณ ๊ธ‰ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ์— ์ด๋ฅด๊ธฐ๊นŒ์ง€ ํญ๋„“์€ ์ฃผ์ œ๋ฅผ ๋‹ค๋ฃจ๋Š” ์‹ค์Šตํ˜• ์ปค๋ฆฌํ˜๋Ÿผ์ž…๋‹ˆ๋‹ค. ํ˜„๋Œ€ RL์˜ ์ตœ์‹  ์—ฐ๊ตฌ ๊ฒฐ๊ณผ๋ฅผ ์‹ค์ œ ์ฝ”๋“œ์™€ ํ•จ๊ป˜ ํ•™์Šตํ•  ์ˆ˜ ์žˆ๋„๋ก ์„ค๊ณ„๋˜์–ด ์žˆ์œผ๋ฉฐ, Claude Code, Cursor, Codex ๋“ฑ ๋‹ค์–‘ํ•œ AI ์—์ด์ „ํŠธ ํ”Œ๋žซํผ๊ณผ ํ˜ธํ™˜๋ฉ๋‹ˆ๋‹ค. ๊ฐ ์ฃผ์ œ๋Š” ์„ค๋ช…, ์ฝ”๋“œ ์˜ˆ์ œ, ์‹ค์Šต ๊ณผ์ œ๋กœ ๊ตฌ์„ฑ๋˜์–ด ์žˆ์–ด ์ด๋ก ๊ณผ ์‹ค์ œ ๊ตฌํ˜„์„ ๋™์‹œ์— ์ตํž ์ˆ˜ ์žˆ์Šต๋‹ˆ๋‹ค. ํŠนํžˆ LLM ์ •๋ ฌ๊ณผ RLVR๊ณผ ๊ฐ™์€ ์ตœ์‹  ๊ธฐ์ˆ ์„ ์ค‘์ ์ ์œผ๋กœ ๋‹ค๋ฃจ์–ด, ์‹ค์ œ ํ”„๋กœ์ ํŠธ์— ๋ฐ”๋กœ ์ ์šฉ ๊ฐ€๋Šฅํ•œ ์‹ค์šฉ์ ์ธ ์ง€์‹์„ ์ œ๊ณตํ•ฉ๋‹ˆ๋‹ค.

์ง€์› ๋Œ€์ƒ~Claude Code~Codex CLI~Cursorโœ“Antigravity
npx skills add walkinglabs/hands-on-modern-rl

Installed? Explore more ์ฝ”๋”ฉ & ๊ฐœ๋ฐœ skills: steipete/bluebubbles, steipete/eightctl, steipete/blucli ยท View all 6 โ†’

์ฆ๊ฒจ ์‚ฌ์šฉํ•˜๋Š” AI์—๊ฒŒ ๋ฌผ์–ด๋ณด๊ธฐ

์ด ์—์ด์ „ํŠธ ์Šคํ‚ฌ์ด ๋ฏธ๋ฆฌ ๋กœ๋“œ๋œ ์ƒˆ ์ฑ„ํŒ…์„ ์—ฝ๋‹ˆ๋‹ค.

๋ฌธ์„œ

hands-on-modern-rl์€(๋Š”) ๋ฌด์—‡์„ ํ•˜๋‚˜์š”?

๐Ÿš€ ๊ธฐ๋ณธ RL ๊ฐœ๋…๋ถ€ํ„ฐ LLM ์ •๋ ฌ, RLVR ๋ฐ ๊ณ ๊ธ‰ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ๊นŒ์ง€์˜ ๊ฒฉ์ฐจ๋ฅผ ๋ฉ”์šฐ๋Š” ์˜คํ”ˆ์†Œ์Šค ์‹ค์Šตํ˜• ์ปค๋ฆฌํ˜๋Ÿผ์ž…๋‹ˆ๋‹ค.

๊ฐœ์š”

์ด ์ปค๋ฆฌํ˜๋Ÿผ์€ ๊ฐ•ํ™” ํ•™์Šต(RL)์˜ ๊ธฐ์ดˆ๋ฅผ ์ดํ•ดํ•˜๊ณ , ์ด๋ฅผ ํ˜„๋Œ€์ ์ธ LLM ์ •๋ ฌ ๋ฐ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ์— ์ ์šฉํ•˜๋Š” ๋ฐฉ๋ฒ•์„ ํ•™์Šตํ•ฉ๋‹ˆ๋‹ค.

์ฃผ์š” ์ฃผ์ œ

  • ๊ธฐ๋ณธ RL ๊ฐœ๋…: MDP, ์ •์ฑ…, ๊ฐ€์น˜ ํ•จ์ˆ˜, Q-๋Ÿฌ๋‹ ๋“ฑ
  • LLM ์ •๋ ฌ: ๋ณด์ƒ ๋ชจ๋ธ๋ง, PPO, RLHF(์ธ๊ฐ„ ํ”ผ๋“œ๋ฐฑ์„ ํ†ตํ•œ ๊ฐ•ํ™” ํ•™์Šต)
  • RLVR: ๊ฒ€์ฆ ๊ฐ€๋Šฅํ•œ ๋ณด์ƒ์„ ํ†ตํ•œ ๊ฐ•ํ™” ํ•™์Šต
  • ๊ณ ๊ธ‰ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ: ๋‹ค์ค‘ ์—์ด์ „ํŠธ ์‹œ์Šคํ…œ, ๊ณ„์ธต์  RL ๋“ฑ

์‹œ์ž‘ํ•˜๊ธฐ

  1. ์ €์žฅ์†Œ๋ฅผ ํด๋ก ํ•ฉ๋‹ˆ๋‹ค: git clone https://github.com/walkinglabs/hands-on-modern-rl
  2. ์„ค์น˜ ์ง€์นจ์„ ๋”ฐ๋ฆ…๋‹ˆ๋‹ค.
  3. ์ฒซ ๋ฒˆ์งธ ๋…ธํŠธ๋ถ์„ ์—ฝ๋‹ˆ๋‹ค.

์ง€์› ํ”Œ๋žซํผ

์ด ์ปค๋ฆฌํ˜๋Ÿผ์€ Claude Code, Cursor, Codex ๋“ฑ ์ฃผ์š” AI ์—์ด์ „ํŠธ ํ”Œ๋žซํผ์—์„œ ์›ํ™œํ•˜๊ฒŒ ์ž‘๋™ํ•ฉ๋‹ˆ๋‹ค.

๋ผ์ด์„ ์Šค

์ด ํ”„๋กœ์ ํŠธ๋Š” MIT ๋ผ์ด์„ ์Šค ํ•˜์— ๋ฐฐํฌ๋ฉ๋‹ˆ๋‹ค.

๊ด€๋ จ ์Šคํ‚ฌ