Flux: LLM 학습을 위한 광 회로 스위치의 최적 스케줄링
arXiv:2609.25949v2 발표 유형: replace-cross 초록: 광회로 스위칭(OCS)은 LLM 학습에 있어 높은 대역폭 밀도와 에너지 효율을 제공하지만, 무시할 수 없는 재구성 지연이 발생합니다. 기존 연구에서는 일반적으로 컴퓨트와 독립적으로 광회로 스위치를 스케줄링하며, 어떤 회로를 언제 할당할지 결정하기 위해 집계된 트래픽 수요를 사용합니다. 우리는 이러한 분리가 근본적인 비효율성을 야기한다고 주장합니다. 컴퓨트 타임라인을 고려하지 않은 재구성이 통신을 지연시켜 회로 활용도를 낮추고 버퍼 요구량을 크게 증가시킬 수 있습니다. 본 논문에서는 전체 워크로드의 구조를 기반으로 광회로 스위치를 최적으로 스케줄링하는 스케줄러인 Flux를 제안합니다. Flux는 회로를 재사용하고 컴퓨트 및 통신 뒤에서 재구성 지연을 분산함으로써 다양한 스위칭 속도 범위에서도 효과적으로 작동합니다. 우리는 Flux가 전통적인 주기적 스케줄러에 비해 학습 반복 시간을 최대 $10\times$ 단축하고 NIC 버퍼의 최대 요구량을 세 자릿수 이상 감소시킨다는 것을 보여줍니다.


