arXiv:2610.32115v1 발표 유형: 신규
요약: 희소 혼합 전문가 모델(MoE)은 신경기계번역(NMT)의 확장과 언어 이질성 관리에 있어 강력한 패러다임입니다. 그러나 실제적인 한계로 인해 자원 제약이 큰 디바이스에서는 이를 적용하기 어려웠습니다. 전체 전문가 풀을 메모리에 상주시켜야 하며, 토큰당 연산 예산도 학습 과정에서 고정된 최상위 k 라우팅 방식으로 정해져 있기 때문입니다. 우리는 EDWARD-NMT(신경기계번역을 위한 적응형 라우팅과 이중 일관성을 갖춘 탄성 차원)를 제안합니다. 이는 한 번 학습하고 어디서나 배포할 수 있는 패러다임을 지향하는 새로운 MoE 인코더-디코더 아키텍처로, 추론 시점에 다양한 배포 가능한 하위 네트워크 계열을 제공합니다. EDWARD-NMT는 세 가지 주요 혁신을 통합합니다: (i) 마트료시카 스타일의 탄성 차원을 통해 메모리 사용량을 유연하게 절감하고, (ii) 학습된 작업별 조건에 따라 동적으로 임계값을 결정하는 적응형 시그모이드 라우터를 도입하여 각 토큰이 활성 전문가 수를 동적으로 결정하도록 하며, (iii) 추출된 하위 네트워크의 성능을 극대화하기 위한 이중 일관성 목표를 채택합니다. PhoMT(영-베트남), WMT-14(영-독), 다국어 OPUS-16 및 다중 도메인 독일어-영어 벤치마크에서 수행된 광범위한 실험을 통해 우리 접근법이 검증되었습니다. 전용량 아키텍처는 개선된 매개변수 효율성을 바탕으로 강력한 MoE 기반 모델들과 동등하거나 그 이상의 성능을 보여줍니다. 또한, 단일 체크포인트에서 간편히 추출된 하위 네트워크들은 별도의 재학습 없이도 동급 규모의 밀집형 트랜스포머보다 일관되게 우수한 성능을 발휘합니다.