최신 AI 뉴스를 한눈에.

LLM 정렬을 위한 리스트와이즈 선호도의 랭크 인식 차분적 개인 정보 보호 공개

arXiv:2610.37682v1 발표 유형: 신규 초록: 리스트와이즈 선호도 피드백은 쌍대비교보다 대규모 언어 모델(LLMs) 정렬을 위한 더 풍부한 감독 정보를 제공하지만, 전체 순위는 더욱 민감한 사용자 선호까지 드러냅니다. 기존의 개인정보 보호형 정렬 방법들은 주로 쌍대비교 피드백에 집중해 왔으며, 로컬 차분적 개인 정보 보호(LDP) 하에서의 리스트와이즈 정렬은 아직 미탐구 상태입니다. LDP를 이러한 리스트와이즈 영역으로 확장하는 데에는 중대한 과제가 따릅니다: 전체 순위 공간의 높은 민감성으로 인해 과도한 노이즈가 발생하여 리스트와이즈 감독의 이점이 무력화될 수 있기 때문입니다. 이 문제를 해결하기 위해 우리는 하위 단계 학습에서 감독의 세분화 정도와 개인정보 보호 노이즈 간의 상호작용을 분석하고, 리스트와이즈 선호도를 개인화하는 랭크 인식 지수 메커니즘을 도입합니다.

아트팩트 증류: 프런티어 모델에서 소형 언어 모델로의 학습 없이 이전하기

arXiv:2610.37680v1 발표 유형: 신규 요약: 프런티어 모델과 소형 언어 모델 간의 격차를 해소하는 일반적인 접근법은 증류입니다. 즉, 소형 모델(학생)을 프런티어 모델(교사)의 출력에 대해 미세 조정함으로써 이전 작업을 학습 계산에 의존하게 만들고, 전달된 지식을 상당히 불투명하게 만듭니다. 우리는 아트팩트 증류를 제안합니다. 교사가 학습 사례를 해결하고 그 문제 해결 절차를 외부화하여 아트팩트 은행으로 저장하며, 학생은 추론 시 해당 은행을 조회합니다. 이 과정에서는 파라미터 업데이트가 전혀 발생하지 않습니다. 네 가지 LiveBench 과제에서, Claude Opus 4.5가 작성한 은행을 사용하면 Claude Haiku 4.5는 공간 추론에서 무보조 Claude Sonnet 4.5보다 60%의 비용으로 더 높은 점수(0.707 대 0.647)를 기록하며, 테이블 조인에서도 Sonnet 4.5 수준에 도달하는데 그 비용은 89%에 불과합니다. 동일한 원시 은행은

오픈 언어 모델의 모든 학습 단계에서 아첨 행동 탐지

arXiv:2610.37788v1 발표 유형: 신규 초록: 언어 모델 기반 비서는 사용자가 잘못된 답변을 제시하면 때때로 올바른 답변을 수정하기도 한다. 이러한 행동은 ‘아첨’으로 불리며, 일반적으로 선호 기반 사후 학습에 기인한다고 여겨지지만, 초기 측정에서는 사전 훈련된 모델에서도 발견되었다. 우리는 이 현상이 어디에서 발생하는지 파악하기 위해 학습의 모든 가능한 단계에서 이를 측정하였다: 기본 모델부터 감독 학습, 선호도 최적화를 거쳐 출시에 이르기까지, 5개 계열의 오픈 체크포인트 13개를 대상으로 분석했다. 또한, 주입된 주장이 모델의 답변을 얼마나 변화시키는지와 답변이 얼마나 견고하게 유지되었는지를 구분하고, 주장의 주체와 그 신뢰도, 그리고 주장의 강도를 다양하게 설정하여 실험을 진행했다. 그 결과, 서로 다른 기원을 가진 두 가지 아첨 행동이 나타났으며, 이 두 행동 모두 다양한 데이터셋에서 재현되었다. 주장에 대한 복종은 i

추론을 위한 대규모 언어 모델의 지도학습微調: 종합적 조사

arXiv:2610.37681v1 발표 유형: 신규 요약: 최근 대규모 추론 모델들은 복잡한 과제를 해결하는 데 있어 뛰어난 성능을 보여왔으며, 이는 긴 사고 체인 데이터에 대한 지도학습微調(SFT)이 그들의 추론 능력을 발현하고 향상시키는 데 핵심적인 기반이 되었기 때문입니다. 추론 중심의 SFT를 개선하고 분석하는 데 있어 빠른 진전에도 불구하고, 이 분야에는 아직도 급속히 증가하는 관련 문헌을 통합적으로 정리한 체계적인 조사가 부족한 실정입니다. 이러한 공백을 메우기 위해 우리는 추론을 위한 SFT의 최근 발전상을 포괄적으로 검토하며, 방법론적 설계와 분석적 탐구라는 두 가지 관점에서 문헌을 살펴봅니다. 먼저, SFT 전반에 걸친 방법론적 개선 사항들을 검토하고 이를 데이터 중심 접근과 알고리즘 중심 접근으로 구분합니다.

리퀴드 AI, 효율성과 전용 지능을 강조하는 LFM3 다중모달 모델 패밀리 공식 발표

최근 리퀴드 AI는 차세대 기반 모델 패밀리인 LFM3을 정식으로 출시했습니다. 첫 번째 버전에는 약 2B 파라미터 규모의 모델 여섯 가지가 포함되며, 텍스트, 비전, 오디오, 옴니모달 및 의사결정 등 다양한 영역을 포괄합니다. 이들 모두는 LFM3-1.7B-Base를 기반으로 하며, 사전훈련 단계에서 최대 22T 토큰의 처리량을 달성했습니다. 해당 시리즈는 새로운 트라이하이브리드 레이어 아키텍처를 채택해 게이트 기반의 짧은 컨볼루션과 슬라이딩 창 메커니즘 등을 융합함으로써, 더 적은 파라미터와 높은 효율성을 특징으로 합니다.

로컬 규칙을 이해하도록 NVIDIA Nemotron을 미세 조정하기: 단순히 로컬 언어만이 아닌

AI 도입이 전 세계적으로 확대됨에 따라, 다양한 언어와 문화권의 사람들이 일상생활의 더 많은 영역에서 이를 활용하고 있습니다. 범용 언어 모델은...

ProtoEEG: EEG 시각적 해독을 위한 구조화된 프로토타입 정렬

arXiv:2610.33065v1 발표 유형: 신규 초록: 두피 기록은 잡음이 많고 공간적 해상도가 낮으며 실험 조건과 피실험자 간에 변동성이 크기 때문에 EEG를 통한 시각적 해독은 여전히 어려운 과제로 남아 있습니다. 대부분의 시스템은 각 실험을 고밀도 이미지 임베딩과 정렬하지만, 이러한 임베딩은 의미적 내용과 개별 사례에 특화된 질감, 자세, 배경 등을 혼합하고 있습니다. 이는 EEG에서 제공되지 않는 세부 정보를 요구할 뿐만 아니라, 예측을 뒷받침하는 시각적 요인들에 대한 명시적인 설명도 제공하지 않습니다. 우리는 \textbf{ProtoEEG}라는 프로토타입 기반 프레임워크를 제안합니다. 이 프레임워크는 EEG와 이미지 간의 정렬 문제를 공유 가능한 학습 가능한 시각 코드북 위에서 이루어지는 소프트한 합성으로 재구성합니다. 학습 가능한 EEG 인코더와 고정된 시각 교사가 동일한 $K=64$개의 프로토타입에 대한 할당 분포를 생성하며, 이들의 가중치를 적용한 재구성 결과는 구조화된 표현을 형성합니다

지혜로운 속삭임: ASR 미세조정을 위한 스마트 서브셋 선택

arXiv:2610.32997v1 발표 유형: 신규 초록: OpenAI의 Whisper와 같은 자동 음성 인식(ASR) 모델은 음성 인식 품질을 크게 향상시켰지만, 특히 대량의 문자화된 오디오 데이터가 존재하는 경우에도 미세조정 비용이 여전히 높습니다. 이로 인해 많은 실무자들이 이러한 모델을 새로운 언어나 도메인에 맞게 적용하는 데 어려움을 겪고 있습니다. 본 연구에서는 ASR 미세조정을 위한 더 작은 교육 세트를 선택하기 위해 임베딩 기반 서브셋 선택 방법을 제안합니다. Whisper의 사전훈련된 인코더를 사용하여 각 오디오 샘플을 고정 차원의 임베딩 공간으로 매핑하고, 탐욕적 k-센터 알고리즘을 적용하여 교육 데이터에서 다양하고 대표적인 서브셋을 선별합니다. 우리는 이 접근법을 히브리어와 덴마크어 두 언어에 대해 평가한 결과, k-센터 선택 방식이 종종 …

OpenESM: 에너지 기반 모델은 확장 가능하며, 파운데이션 학습자들입니다

arXiv:2610.33005v1 발표 유형: 신규 초록: 에너지 기반 모델은 도메인 특화 작업에서 유망한 성능을 보여왔지만, 범용 시나리오를 모델링하는 데는 여전히 어려움이 있습니다. 이러한 격차를 해소하기 위해 우리는 기초 언어 모델링을 위한 에너지 주도형 모델(ESM)을 설계합니다. ESM은 단일 아키텍처 내에서 에너지 주도와 토큰 생성을 통합하여, 에너지 기반 탐색을 활용해 토큰 생성을 정교화합니다. 구체적으로, ESM은 먼저 에너지 지형 위에서 잠재 상태를 최적화한 다음, 이 정제된 잠재 상태를 토큰 생성에 활용합니다. 대규모 말뭉치를 대상으로 이러한 에너지 기반 사전훈련을 수행함으로써, ESM은 유리한 토큰이 낮은 에너지 값을 갖는 일반적으로 효과적인 에너지 지형을 학습합니다. ESM의 스케일링 특성을 탐구하기 위해, 우리는 ESM을 사전훈련합니다

EKT-라우터: 신체화된 비전-언어 모델을 위한 전문가-증거 정합

arXiv:2610.33044v1 발표 유형: 신규 초록: 체화된 시각-언어 모델은 부분적이고 변화하는 관찰로부터 제시된 질문에 답해야 한다. 이들의 성공 여부는 선택된 추론 능력과 해당 모델이 활용할 수 있는 증거 양 측면에 모두 달려 있다. 전문 라우터는 내부 계산을 조정하는 반면, 도구를 보강한 시스템은 외부 증거를 확보한다; 두 가지 접근 방식을 독립적으로 선택하면 적합한 전문가가 필요한 증거를 갖추지 못하는 상황이 발생할 수 있다. 우리는 EKT-Router를 제안하며, 이는 능력 전문가, 선택적 지식, 그리고 인지 도구를 함께 선택하는 제한된 프레임워크이다. 결과 기반 서명은 일반적 전문가, 공간 추론 전문가, 그리고 시공간 전문가의 중복되는 강점을 나타낸다. 공동 효용 함수는 호출 예산 하에서 완전한 전문가-증거 경로를 평가한다. 수집 후, 패킷 검증기는 유효한 것을 인정한다

ReMedI: 제어 가능한 분자 최적화를 위한 추론 시 정제 및 자기 디스틸레이션

arXiv:2610.32103v1 발표 유형: 신규 초록: 약물 개발에서 리드 최적화는 투과성을 높이고 독성을 낮추는 등 상충되는 특성을 개선하는 동시에, 리드의 효능을 저해할 수 있는 골격 변화를 제한해야 한다. C-MORAL과 같은 RL 기반 사후 학습은 분자 언어 모델을 미세 조정하여 관심 있는 목표에 대해 분자 리드를 직접 최적화함으로써 이러한 문제를 해결하지만, 이는 비용이 많이 드는 특정 작업용 데이터셋에 의존하며 다목적 최적화(MOO) 달성에도 어려움을 겪는다. 우리는 사전 학습된 모델이 이미 제로샷 생성으로는 효율적으로 도달하기 어려운 유용한 분자 수정 정보를 포함하고 있을 수 있다고 주장한다. 제로샷 생성의 제한된 탐색 능력에 착안하여, 우리는 효율적인 메트로폴리스-허스팅스 탐색 전략을 개발하여 베팅…

증거를 통한 직관: 다중 모달 에이전트를 위한 적응형 이중 메모리

arXiv:2610.33019v1 발표 유형: 신규 초록: 다중 모달 에이전트가 지속적인 상호작용을 수행할 때, 장기 기억은 세부적 증거 회수와 전반적 이해를 위한 내재화된 해석이라는 두 가지 서로 다르지만 상호 보완적인 기능을 수행한다. 비록 일화 기억과 잠재 기억이 각각 명시적 역사 기록과 내재화된 경험을 통해 이러한 요구를 충족하긴 하지만, 일화 기억의 증거 범위와 통합에 대한 한계, 그리고 잠재 기억의 사실적 근거 마련에 대한 한계로 인해, 어느 한 패러다임만으로는 과제 간의 다양한 기억 특성들을 모두 포괄하기 어렵다. 이러한 격차를 해소하기 위해 우리는 모델 고유의 잠재 기억을 직관적인 사전으로 활용하고, 검색 조건에 따라 공동 정렬을 통해 정확한 증거 재구성을 가능하게 하는 다중 인덱스 기반 일화 기억을 결합한 이중 기억 프레임워크를 제안한다. At i

사후 학습은 LLM의 가치 선호를 어떻게 형성하는가?

arXiv:2610.33371v1 발표 유형: 신규 초록: 사후 학습 과정에서 대규모 언어 모델(LLM)은 다양한 인구통계학적 집단과 관련된 의견이 불균형적으로 분포된 코퍼스로부터 가치 선호를 학습하게 된다. 이러한 불균형을 증폭시키면 일부 집단의 의견은 더욱더 과소대표될 수 있다. 그러나 의견 혼합이 사후 학습 경로에 따라 가치 선호를 어떻게 형성하는지는 아직 명확히 밝혀지지 않았다. 이 질문에 답하기 위해, 우리는 서로 다른 의견 혼합을 가진 사후 학습 코퍼스와 SFT, DPO, GRPO 기반의 다섯 가지 사후 학습 경로를 활용한 통제된 실험을 수행하였다. 그 결과, 사후 학습이 각각의 경로에서 의견 불균형을 서로 다르게 증폭시킨다는 사실을 확인했다. 일단 가치 선호가 증폭된 후에는, 추가적인 사후 학습으로 이를 제거할 수 있는지 여부는 사후 학습의

희박한 검색 기록을 활용한 검색: 불완전한 검색 로그와 제로 비용 프록시를 통한 교차 작업 아키텍처 탐색

arXiv:2610.32179v1 발표 유형: 신규 초록: 신경망 아키텍처 탐색(NAS)은 비용이 많이 들지만, 교차 작업 전이를 통해 이전 작업에서 얻은 지식을 재사용함으로써 비용을 절감할 수 있습니다. 그러나 기존 방법들은 희박한 검색 기록과 작업별 전이 실패 문제에 어려움을 겪습니다. 우리는 챔피언 기반 초기화와 공동 쌍방향 랭커 사전 학습을 통해 희박한 소스 로그와 제로 비용 프록시를 결합하는 위험에 강인한 전략을 제안합니다. TransNAS-Bench-101에서 본 제안은 심각한 최악의 경우 실패를 완화하여, 마이크로 자동인코딩에서는 최악 10% 순위를 290에서 43으로, 매크로 방 배치에서는 465에서 45로 낮추었습니다. 13개의 셀 공간 목표에 걸쳐, 평균 및 최악의 경우 성능 모두에서 프록시만 사용하는 랭커보다 10개의 목표에서 우수한 성능을 보이며, 동시에 경쟁력 있는 평균 성능도 유지합니다.

행동에 대한 처벌을 언제 중단해야 할까요? VLA 강화학습을 위한 마팅게일 GRPO

arXiv:2610.32431v1 발표 유형: 신규 초록: 비전-언어-행동(VLA) 롤아웃이 실패했다고 해서 모든 행동이 실패에 기여했다는 의미는 아니다. 그러나 그룹 상대 정책 최적화(GRPO)에서는 롤아웃 내 모든 행동에 대해 단일 궤적 수준의 이득이 할당된다. 이로 인해 잠재적으로 유용한 복구 시도가, 그것이 바로잡으려는 오류와 함께 처벌받을 수 있다. 실패 피드백을 위한 이상적인 중단 조건은 성공 확률 및 정책 점수 마팅게일을 활용하여 규명된다. 이러한 중단 시점에서는, 제거된 그라디언트 기여의 조건부 기대값이 유지된 정보를 조건으로 하여 영이 된다. 따라서 절단은 기준 GRPO 그룹 그라디언트 추정량의 기대값을 보존하고 그 공분산을 줄일 수 있다. 이러한 중단 중 하나는 성공의 조건부 확률이

Import AI 478: 정렬을 위한 수학; ProgramBench; 그리고 Mirendil은 RSI가 무엇을 의미하는지 보여줍니다

기계에게 ‘밤’이란 무엇일까요?

실시간 분할 제어에서 제로샷 조정을 위한 인지적 제약을 가진 파트너

arXiv:2610.31726v1 발표 유형: 신규 초록: 효과적인 인간-기계 팀워크를 위해서는 예측 불가능한 인간 파트너와 협력하는 에이전트가 필요합니다. 실시간 인간 피드백이나 대규모 행동 데이터셋을 기반으로 한 강화학습은 비용이 많이 들며, 순수하게 시뮬레이션된 학습은 인공적인 규칙에 과적합되어 실제 사람들과의 제로샷 조정에서는 실패합니다. 우리는 인지적 제약을 가진 파트너를 상대로 팀워크 에이전트를 학습시키는 프레임워크를 제안합니다. 이 시뮬레이션 파트너들은 보상 설계나 과거 학습 체크포인트가 아닌, 인간의 생리학적 문헌에 근거한 절차적 제약—특히 반응 지연과 지각 한계—에서 비롯된 다양성을 갖습니다. 수정된 루나랜더 환경에서, 이러한 파트너들이 더 유사하게 플레이한다는 초기 증거를 보고합니다.

새로운 연구에 따르면, 강화학습에서 기존의 크리틱은 대규모 언어 모델의 신뢰도 추정기로 그대로 재사용할 수 있다.

2026년 10월 26일 arXiv에 게재된(번호 2610.31820v1) 한 편의 AI 연구 논문은, 가치 기반 강화학습(value-based RL)으로 학습된 대형 언어 모델(LLMs)의 경우, 기존의 크리틱 모듈이 별도의 학습이나 데이터 없이도 높은 정확도와 높은 교정성을 갖춘 신뢰도 추정기로 활용될 수 있음을 보여준다고 지적했다.

추천 이유이 연구는 신뢰도 추정과 강화학습에서의 크리틱 학습 간의 수학적 본질적 동등성을 밝혀냈으며(정확성 결과 정의 하에), 10여 개 분야(수학, 코드 작성, 도구 호출, 일반 추론)에 걸친 실증을 통해 크리틱 재사용의 효과성과 일반화 능력을 검증하였다. 이러한 성과는 LLM의 신뢰할 수 있는 배포 문턱을 낮추는 데 직접적인 엔지니어링 가치를 지닌다.

문맥 내 의존성 파싱을 위한 POS 서명 시연 검색

arXiv:2610.31966v1 발표 유형: 신규 요약: 문맥 내 학습을 위한 시연은 종종 의미적 유사성을 기준으로 검색되며, 이는 구조화된 예측에서의 관련성을 제대로 대표하지 못할 수 있습니다. 우리는 Universal Dependencies 파싱을 위한 시연 선택 방식을 연구하며, 품사 통계를 가중치로 표현하고 라벨링된 교육 세트에서 길이가 호환되는 골드 라벨 해석 사례 3개를 검색하는 POS 서명 정책을 적용합니다. 우리는 미세조정 없이 두 개의 오픈 웨이트 언어 모델을 UD 영어 웹 트리뱅크 테스트 세트의 총 2,077개 문장에 대해 평가하며, 해당 정책을 샷 및 형식이 일치하는 고정 및 의미적 3샷 기반과 비교하고, 또한 제로샷, 사고 체인, 비평-정제 시스템과도 비교합니다. POS 서명 검색은 가장 높은 라벨링 성과를 달성합니다.

액터-크리틱 기반 에이전트를 위한 재정적 맥락을 반영한 전략: 주식 거래를 위한 딥 강화 학습 접근법

arXiv:2610.32237v1 발표 유형: 신규 초록: 현대 금융 시장에서 대규모 거래의 4분의 3 이상은 전통적인 인간 트레이더보다 높은 정밀도와 속도를 달성하기 위해 고급 거래 전략에 기반한 알고리즘 트레이딩에 의해 실행된다. 가격 기반 지표에 중점을 두던 기존 전략들은 사회적 감정, 정치적 불안정성 또는 갑작스러운 경제 변화와 같은 현실 세계의 사건들로 인해 발생하는 시장의 역동성을 포착하는 데 한계가 있다. 딥 강화 학습(DRL)의 부상과 데이터의 확보에 따라, 이러한 외부 요인들을 거래 전략에 통합할 수 있는 보다 효율적인 알고리즘이 요구되고 있다. DRL은 실제 상황을 시뮬레이션하고 복잡한 의사결정을 단순화하는 데 잠재력을 보여왔으며, DRL 에이전트는 자동으로