모델은 의도적으로 더 멍청해지고 있다

최근 소형/MoE 모델은 적은 활성 매개변수로도 수학·코딩 추론 성능을 높이는 대신, 세부 정보 회상 능력은 약해지는 모습을 보임
사실 지식(factual knowledge) 은 많은 모델 용량을 차지하고 빠르게 낡지만, 문제 분해·검산·되돌아가기 같은 추론 절차는 여러 문...