Skip to content

Latest commit

 

History

7 Commits

Folders and files

NameName
Last commit message
Last commit date
 
 
 
 
 
 
 
 
 
 

Repository files navigation

LoCAL: Localizing Capability via Activation in Layers

LLM의 한국어 생성형 수학(STEM) 능력이 특정 레이어/헤드에 국소화되어 있다면 그 위치만 4-bit QLoRA로 학습해 효율적 적응이 가능한지를 8단계로 검증한 연구다. 핵심 결론: "능력이 표상되는 위치"(인과적 국소화 H2 지지)와 "학습해야 할 위치"(타겟 QLoRA H3 기각)는 다르다 — 6개 가설 중 H2만 지지되고 나머지는 기각·미입증인 음성 결과를 사전 판정 기준 그대로 포장 없이 보고한다. 모델은 Qwen3-1.7B(dense, primary)·Qwen3.5-2B(hybrid, secondary), RTX 5080 16GB 단일 GPU(누적 24.93h/80h)에서 수행했다.

📄 최종 보고서: paper/report.md (figure 40종 포함)

About

Localizing Capability via Activation in Layers

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

Packages

Contributors

Languages