추측적 디퓨전은 두 가지 절충의 이야기입니다
arXiv:2610.31819v1 발표 유형: 신규 초록: 추측적 디코딩은 더 빠르고 낮은 품질의 초안 모델로부터 샘플링을 수행함으로써 자동회귀형 대규모 언어 모델(LLM)의 추론 속도를 가속화하는 기법입니다. 전통적으로, 추측적 디코딩의 근본적인 특성은 검증자 분포에 대해 무손실이라는 점으로, 품질을 희생하지 않고 속도를 보장한다는 것입니다. 이는 최근 개발된 디퓨전 LLM(dLLM)과는 달리, 덜 많은 디퓨전 작업으로 출력의 품질을 저하시킴으로써 상당한 속도 향상을 달성할 수 있다는 점에서 차별됩니다. 디퓨전 모델은 토큰을 병렬로 생성하여 자동회귀 모델보다 더 빠르게 샘플링할 수 있기 때문에, 추측적 디퓨전에서 초안 모델로서 강력한 후보로 간주됩니다. 널리



