GRAFT: 에이전트 설계를 위한 실행 기반 유전자 재조합
arXiv:2611.23509v1 발표 유형: 신규 초록: 자동 에이전트 설계는 언어 모델 크로스오버를 사용하여 작업 분해, 모델 조정 및 검증을 위한 유망한 메커니즘을 재조합하는 진화적 방법으로 LLM 기반 에이전트 성능을 향상시키는 실행 가능한 아키텍처를 탐색합니다. 그러나 이러한 탐색은 일반적으로 집계 적합도만으로 안내되며, 이는 각 점수 뒤에 숨겨진 인스턴스 수준의 성공과 실패를 가려냅니다. 우리는 에이전트 설계를 위한 실행 안내형 유전 재조합(GRAFT)을 제안하며, 여기서 집계 적합도는 선택과 생존에 사용되고 부모별 실행 증거는 통합된 변이와 함께 의미적 크로스오버를 안내하는 데 활용됩니다. 이 시스템의 피드백 하네스는 적합도 평가에서 얻은 성공 및 실패 실행의 제한된 샘플을 재사용하며, 참조 답안을 보류하고 추가적인 작업 실행을 요구하지 않습니다. 우리는 개방형 가중치 최적화 및 실행기 모델을 사용하여 여섯 가지 추론 및 프로그래밍 설정에서 GRAFT를 평가합니다. 그 결과 평균 테스트 정확도 82.0%를 달성하여 가장 강력한 기준선을 9.8%포인트 상회합니다. 통제된 제거 실험에 따르면, 초기화, 탐색 규칙, 복구 정책 및 평가 예산을 고정한 상태에서 실행 증거를 추가하면 테스트 정확도가 향상됩니다. 우리의 결과는 진화적 에이전트 설계에 있어 부모별 실행 증거의 가치를 뒷받침합니다.



