DEVOCEAN

Neurips2025 in San Diego

지난 12월 2일부터 6일까지 샌디에이고에서 있었던 Neurips2025 학회에 다녀왔어요.

paper 발표나 workshop 참여는 아니고 그냥 단순 구경/방문 목적이었습니닷.

그 과정에서 이것 저것 보고 느낀바가 있어서 방문기를 적게 되었습니다.

일종의 저만의 서방견문록이라고 할까요..!?

큰 돈 주고(ㅜ.ㅜ) 다녀 왔기에 뭐라도 좀 남기고 싶어서 작성하게 되었습니다.

웨이모(구글의 무인 택시)도 타보기도 했구요, 학회가 열렸던 샌디에이고 컨벤션 센터 앞에는 야구장(Petco Park)도 있어서 구경도 했습니다.

일단 도착해서 가장 먼저 느낀 것은 매우매우 사람이 많다는 점이었어요.

세션을 이동하는 데에도 항상 사람이 많았고, 특정 세션에만 많은 것이 아니라 그냥 전반적으로 모두 많았습니다.

메인 컨퍼런스에도 많았고, 기업들이 여는 부스에도 사람들이 가득했어요

21,575개의 논문 제출, 5,290개 채택 - 이 숫자만 봐도 NeurIPS 2025가 얼마나 거대한 이벤트인지 알 수 있습니다

전년 대비 61% 증가한 제출 수는, AI 연구의 폭발적 성장을 그대로 보여줍니다.

(당연히 위 숫자는 다녀와서 찾은 겁니당..^^:;)

이런 폭발적인 성장 속에서 가장 관심을 가진 아젠다들은 아래와 같습니다.

(Best Paper와 invited talks 중심으로)

1. Scaling 이후의 시대: Data · Reasoning · Efficiency

Scaling의 마법은 아직도...

이번 학회에서 반복적으로 등장한 키워드는 Data, Reasoning, Efficiency였어요.

그동안의 AI 발전은 제법 단순한 공식 위에 서 있었습니다.

더 큰 모델, 더 많은 데이터, 더 많은 연산 자원.

이 조합은 분명 놀라운 성과를 만들어냈지만, 여러 측면에서 한계에 도달했다는 인식이 공감대를 이루고 있었습니다.

최여진 교수님의 invited talks에서도 스케일링의 벽은 존재한다고(The scaling wall is real) 하면서 스마트한 방식의 합성 데이터, 알고리즘의 역할을 강조했습니다.

데이터는 이미 상당 부분 소진되었고, 단순히 양을 늘리는 방식은 노이즈와 편향을 함께 키우는 문제가 됩니다.

모델 하나를 학습시키기 위해 필요한 비용과 에너지는

이제 개인 연구자나 소규모 그룹이 감당하기 어려운 수준이 되기도 했지요.

그리고 이 모든 문제의식이 모이는 지점이 바로 추론(Reasoning)이었습니다.

Large Language Model(LLM)에서 Large Reasoning Model(LRM)로 관심이 완전히 이동하였고,

단순히 다음 토큰을 잘 예측하는 능력보다, 모델이 문제를 어떻게 풀고 있는지,

그 과정에서 어떤 중간 사고를 거치는지에 대한 관심이 눈에 띄게 커졌습니다.

"Scaling을 멈춰야 한다"가 아니라, "어떻게 Scaling 하느냐"에 대한 얘기가 된 것이지요.

생각(thought)이 다음 토큰 예측에 얼마나 정보 이득을 주는지를 reward로 사용

이런 관점에서 "1000-Layer Self-Supervised Reinforcement Learning" 논문이 best-paper를 수상하고

이목이 집중된 것은 당연했습니다.

이 논문은 "무작정 크게"가 아니라 "똑똑하게 크게" 만드는 방법을 보여주었기 때문입니다

"깊이(Depth)가 곧 능력(Capability)이다"

Kevin Wang의 발표는 도발적인 질문으로 시작되었습니다.

"언어 모델과 비전 모델은 수천억 개의 파라미터로 확장되어 새로운 능력을 얻었는데,

왜 강화학습은 여전히 2~4층짜리 작은 네트워크를 쓰고 있을까?"

기존에는 강화학습이 네트워크 크기에 따라 확장되지 않는다고 여겨졌습니다.

하지만 이 논문은 다섯 가지 핵심 요소(자기지도학습, 데이터 규모, 신호 밀도, 안정적 학습, 네트워크 규모)를

올바르게 조합하면 강화학습에서도 확장이 가능하다는 것을 증명했습니다.

가장 인상적이었던 것은 Humanoid 환경 실험이었습니다.

RL, RL, RL, RL is taking over the world!!

268개 관절을 가진 로봇이 목표까지 걸어가야 하는 과제에서, 표준 네트워크는 금방 넘어졌지만,

깊이를 확장한 모델은 안정적으로 걸어가 52배의 성능 향상을 달성했습니다.

더 놀라운 것은 네트워크를 1024층으로 확장하자 휴머노이드가

미로 벽을 뛰어넘는 전략을 스스로 학습했다는 점입니다.

이는 언어 모델의 "창발적 능력(Emergent Abilities)"과 유사하다고 저자들은 이야기합니다.

특정 임계점을 넘어서면, 모델이 질적으로 새로운 능력을 획득하는 것이죠.

이 연구가 시사하는 바는 명확합니다.

Scaling 자체가 문제가 아니라, 어떤 요소들을 함께 Scaling 하느냐가 중요하다는 것입니다.

특히 빼놓을 수 없는 키워드인 Physical AI, 로봇제어, 실제 환경과 맞닿은 RL연구에

바로 쓰일 수 있다는 점에서 실용적인 연구로 보였습니다.

Trend 2: AI 동질화의 위기(hive mind)

hive mind...창의력의 종말!?

이번 학회에서 주목 받은 부문은 메인 트랙으로 합쳐진 Datasets & Benchmarks Track입니다

2021년 신설된 이 트랙은 그동안 별도 일정으로 운영되었지만,

2025년부터는 메인 트랙과 동일한 리뷰 프로세스를 거치며 위상이 크게 높아졌습니다.

그리고 이 트랙에서 best paper를 수상한 "Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond)" 논문을 보면 왜 이런 변화가 필요했는지 드러납니다.

AI 동질화에 대한 경고 및 해결 방향성을 제시

"Hivemind(집단의식)"란 많은 개체가 마치 하나의 정신처럼 생각을 공유하는 현상을 의미합니다.

이 논문은 현재의 언어 모델들이 바로 이런 "인공적 집단의식" 상태에 빠져있다고 주장합니다.

연구팀은 실제 ChatGPT 사용자 100만 건의 질문을 분석했고, 그 중 75%가 창의적 글쓰기나 브레인스토밍 같은

"열린 질문"이었습니다. 문제는 이런 질문에 대해 언어 모델들이 지나치게 비슷한 답변을 생성한다는 것입니다.

"알록달록한 두꺼비가 모험을 떠나는 이야기를 써줘"라는 질문에 같은 모델이 50번 답변을 생성했을 때,

79%의 경우 평균 유사도가 0.8을 넘었습니다.

더 놀라운 것은 서로 다른 25개 모델의 답변도

단 두 개의 클러스터("시간은 강물", "시간은 직조공")로 수렴했다는 점입니다.

사실 모두 같은 말을 하고 있다..!?

발표자는 이렇게 경고했습니다.

"ChatGPT는 주간 활성 사용자 8억 명에 도달했습니다. 수백만 명이 매일 비슷한 질문을 하고 비슷한 답변을 받는다면, 창의적 콘텐츠가 표현되는 방식 자체를 동질화하는 것입니다."

이 문제는 특히 정렬(alignment) 과정에서 심화됩니다.

보상 모델이 좁은 범위의 정답만을 학습하면서, 다양한 가능성들이 훈련 과정에서 소실되는 것이죠.

Artificial Hivemind 논문은 Infinity Chat이라는 새로운 데이터셋을 제안하며,

"모델 다양성을 어떻게 측정할 것인가?"라는 질문에 답하고자 했습니다.

기존 선호도 데이터셋은 예시당 몇 개의 라벨만 있어 다양성을 평가하기 어려웠지만,

이 연구는 응답당 25명의 독립적 평가자를 동원해 31,000개의 밀집 라벨을 수집했습니다.

"AI의 미래는 같은 목소리의 더 큰 메아리가 아니라, 많은 목소리의 합창이어야 합니다.

그리고 이를 측정하고 개선하기 위해서는, 다양성을 제대로 평가할 수 있는 데이터셋과 벤치마크가 필요합니다."

발표의 마지막은 강렬한 시사점을 남기기에 충분했습니다

Trend 3: 데이터와 벤치마크의 위기 - "우리는 제대로 측정하고 있는가?"

알고보니 발달 심리학은 항상 힘겨운 싸움을 하고 있었다

Trend 1에서는 "어떻게 Scaling 하느냐"가, Trend 2에서는 "AI 동질화를 어떻게 볼 것인가"가 중요했다면,

이 모든 질문은 결국 더 근본적인 물음으로 수렴합니다.

• "우리는 AI를 제대로 측정하고 있는가?"

Melanie Mitchell 교수의 invited talk은 신경과학자 Terry Sejnowski의 말을 인용하며 시작되었습니다.

"마치 우리와 소통할 수 있는 외계인이 갑자기 나타난 것 같습니다. 그들의 행동 일부는 지능적으로 보입니다.

하지만 인간의 지능이 아니라면, 그들의 지능의 본질은 무엇일까요?"

Mitchell 교수는 "오늘날 생성 AI 시스템은 많은 벤치마크에서 이미 인간 성능을 초과했고,

벤치마크 자체도 포화상태"라고 하면서 직설적으로 얘기합니다.

"벤치마크에 잘한다는 것이 무엇을 의미하는지 우리는 알고 있는가?".

그러면서 현재 벤치마크가 놓치고 있는 것들에 대한 근본적인 물음을 던졌죠.

1. 데이터 오염(Data Contamination): 테스트가 훈련 데이터에 섞여 들어가는 문제

2. 근사 검색(Approximate Retrieval): 유사한 질문이 훈련 데이터에 있어 패턴 매칭만으로 답하는 경우

3. 지름길(Shortcuts): 벤치마크의 허위 상관관계를 이용해 실제 능력 없이도 정답을 맞추는 경우

4. 구성 타당도(Construct Validity) 부족: 변호사 시험 통과가 실제 변호사 역량을 의미하지 않는 것처럼, 테스트가 측정하려는 능력의 좋은 대리 지표가 아닌 경우

5. 의인화(Anthropomorphism): 인간을 위해 설계된 테스트를 AI에게 주면 같은 의미를 갖는다는 잘못된 가정

6. 재현성과 강건성 문제: 같은 모델도 GPU 개수나 배치 크기만 바꾸면 정확도가 최대 9%까지 달라짐

강연에서는 "발달심리학에서 배우자"는 독특한 얘기도 있었는데, 재밌었습니다.

발달심리학자들은 수십 년간 또 다른 종류의 외계 지성, 즉 인간 아기에게 똑같은 질문을 해왔다는 겁니다.

Mitchell 교수는 "아기는 물리학을 이해하는가?" 연구를 소개합니다.

연구자들은 불가능한 물리 현상을 보여주고 아기가 더 오래 쳐다보는지 측정했지요.

단 한 번이 아니라 여러 조건을 체계적으로 통제하고, 다양한 변형을 시도하며,

반복 실험으로 확인하는 작업을 거쳤습니다.

이를 통해 Mitchell 교수는 "AI커뮤니티는 재현 연구를 경시한다며 좋은 과학의 본질적 특성은 선행 연구의 재현과 점진적 확장임을 강조합니다."

더 이상 어려운 벤치마크를 만들고 리더보드 상위에 오르는 트렌드, 유행을 쫓아가기 보다는

더 엄격한 평가 방법론을 통해 AI의 지능을 판별하자는 것이 핵심입니다.

"비행기를 크게 만들면 이전의 기록은 깰 수 있겠지만, 아무리 크게 만든다 하더라도, 달에는 갈 수 없다"는

얀 르쿤의 말처럼, 지금은 기록 깨기 경쟁이 아니라 달에 갈 수 있는 방법을 찾아야 되는 시기인 것이지요.

개인적인 관심: XAI, Causality

why should we trust you??

NeurIPS에서 개인적으로 가장 관심 있게 본 주제는 XAI(Explainable AI)와 Causality에 대한 내용입니다.

데이터 분석 업무를 하면서 가장 많이 받는 질문이기도 해서 항상 관심이 있었고,

해당 세션들에는 사람들도 매우 많이 모여 확실히 인기 있는 주제임을 알 수 있었어요.

일단, 두 주제 모두 "왜(Why)?"에 대한 답변을 찾아가는 면에서는 비슷하지만, 질문의 방향이 전혀 다릅니다.

XAI: "AI 모델이 왜 이런 예측을 했는가?"

Causality: "현실세계에서의 X는 Y의 원인이 되는가?"

XAI: “모델에 대한 설명은 이해를 돕지만, 진실을 보장하지는 않는다”(tutorial 강연)

XAI(explainable AI) tutorial의 핵심 메시지는 명확했습니다:

"AI는 이제 우리 삶 깊숙이 들어왔고, 우리는 그것이 어떻게 작동하는지 알아야 한다."

그러면서 XAI의 세 가지 핵심 가치를 이야기 합니다.

1. 신뢰(Trust): 사용자가 모델을 더 잘 신뢰할 수 있게

2. 통찰(Insight): 인간이 보지 못한 패턴 발견 (AlphaGo의 37수처럼)

3. 디버깅(Debug): 연구자가 모델을 개선할 수 있게

강연은 Explainability 유명 기법들과 사례들을 제시하면서 진행되었습니다.

허스키 vs 늑대 분류 문제: 모델이 허스키 사진을 "늑대"로 분류 알고 보니 모델은 **배경의 눈(snow)**만 보고 판단하고 있었다는 것, 동물이 아니라 배경을 학습한 거죠

LLM의 시대로 와서는 Claude가 발견한 Golden Gate Bridge에 대한 예시로 설명을 이어 갑니다.

LLM 내부에 "Golden Gate Bridge"에 대응하는 숨겨진 개념(hidden concept)이 발견되어,

어떤 언어로 입력하든, 심지어 이미지를 넣어도 같은 feature 조합이 활성됨을 밝혔습니다.

해당 연구를 진행한 Claude는 LLM이 실제로 어떻게 작동하는지 이해하기 시작했다고 했었죠.

하지만, 발표자들이 반복해서 강조한 건 아래와 같습니다.

"설명이 그럴듯하다고 해서 모델의 실제 판단 근거라고 믿어서는 안된다"

XAI 기술들은 "모델이 무엇을 학습했는가" 를 보여줄 뿐,

"왜 그것이 올바른 인과관계인가"는 말해주지 않는다는 것이지요.

허스키-늑대 분류기가 배경 눈(snow)을 보고 판단한다는 걸 알았다고 해서,

눈과 늑대 사이에 인과관계가 있다는 뜻은 아니잖아요?

단지 모델이 데이터에서 그런 "상관관계(correlation)"를 학습했을 뿐입니다.

사람이 납득하기 쉬운 설명과, 모델 내부의 실제 결정 메커니즘이 어긋나는 경우도 생각보다 흔하기에,

모델에 대한 설명은 오히려 모델이 학습한 지름길(shortcut) 을 정당화하는 도구가 될 수도 있습니다.

이 지점에서 XAI 기술 수준에 대한 판단은 “설명이 얼마나 친절한 해설”이냐는 게 아니라,

"과학 실험처럼 검증되어야 할 대상을 얼마나 잘 판단해주냐'는 것이 되어야 한다는 것은

매우 중요한 시사점으로 보입니다.

Causality:인과는 설명이 아니라 문제 해결의 언어(조경현 교수)

조경현 교수님의 강연은 XAI 튜토리얼과 출발점은 비슷했지만,

문제를 바라보는 시선은 훨씬 더 practical하고, problem solving에 가까웠습니다.

머신러닝(AI)으로 세상을 설명하려고 하지말고, 어려운 문제를 찾아내고 일반화해서

반복 가능한 해법을 찾는 discipline으로 사용하자는 것이죠.

이 같은 생각은 자신이 그간 걸어온 길을 돌아보는 것을 시작으로 (기계번역,음성인식,대화모델링,바이오 제약 관련...),

그 여정 속에서 얻은 통찰이라고 합니다.

"Learning to X: 문제를 푸는 알고리즘을 설계하지 말고 ,학습에게 맡기자"

각기 다른 분야의 문제들에 대한 estimator들을 만드는 것은 일단 불가능해보입니다.

너무 복잡하고, 시간 소모적입니다.

Learning to X는,,

합리적인 데이터 생성 시뮬레이터를 만들고(완벽할 필요 없음!),

여기서 수백만 개의 (input, output) 쌍을 생성한 뒤에

DNN(Deep Neural Network)를 학습시키고,

실제 세계의 데이터는 그대로 DNN을 통과시키는 inference를 통해 시뮬레이션 등을 수행하는 개념입니다.

Learning to x 설명할 때, 가장 인상적으로 들었떤 BBCI. 샘플데이터들을 다량으로 만든 뒤에 전체 데이터셋에 대해 학습하고, 실제 데이터는 학습된 neural net을 통과시켜 결과를 얻는 방식

물론 이 접근은 곧바로 trust(신뢰) 문제와 부딪힙니다.

조경현 교수님도 "고전 알고리즘은 보통 점근적 보장(asymptotic guarantee)이 있지만,

학습된 알고리즘은 블랙박스에 최소한의 보장만 있다"라고 하며 이 간극이 존재함을 인정합니다.

하지만 그는 이를 해결하기 위해 패러다임을 바꿔야 한다고 합니다.

"a priori guarantee(사전 보장)" → "a posteriori verification(사후 검증)"

Learning to X를 통해 발견한 알고리즘들을 광범위한 테스트(extensive testing)로 검증하며

신뢰를 쌓아가자는 것이죠. 완벽한 보장은 못 하더라도, 우리가 손으로 풀 수 없는 문제를

근사(approximation)로라도 풀 수 있다면 그것으로 충분하다는 입장입니다.

예전에 다른 강의에서 인간의 사고도 (thinking)사실 규명된 것이 없는데, AI에 대한 해석에 대해서 너무 엄격한 거 아니냐는 얘기를 들은 적이 있어요. Fully Embrace...비슷하게 들립니다.

XAI와 Causal에 대한 내용을 모두 듣고 정리하면 아래와 같습니다.

둘 다 “모델을 믿을 수 있게 만들고, 모델을 통해 세상/문제를 이해/해결 하려는 것”은 동일하나

XAI는 기본적으로 학습된 모델에 대한 **설명(interpretation)**을 만듭니다.

• "모델이 뭘 보고 결정했는지"

• 하지만 그 설명이 진짜 원인인지 (인과관계가 있는지)는 별개의 문제로 남겨둡니다.

• "상관관계(correlation"는 보여주지만, '인과관계(causation)"는 보장하지 않습니다.

Causality는 **행동(개입, intervention)**의 결과를 알고 싶어 합니다.

• 무엇을 바꾸면 결과가 어느 정도로 바뀌는가"

• 대신 가정/식별가능성(identifiability)/데이터 조건이 까다로워서 쉽지 않았습니다.

• 하지만 DNN과 새로운 접근(Learning to X) 등으로 인과 추론을 학습으로 근사하는 시도들이 활발히 진행되고 있습니다.

Epilogue: 새로운 시대로...

노벨 물리학상의 제프리 힌트 교수님은 새로운 상의 시상을 하기 위해 Neurlips에 왔습니다.

이 상에 대해서는 흥미로운 에피소드가 있는데, 이야기는 아래와 같습니다.

시간은 1980년대 초, 힌튼 교수가 테리 세즈노프스키(Terry Sejnowski)와 함께

Boltzmann Machine을 발견했을 때입니다.

"당시 우리는 젊고 열정적이었고, 이것이야말로 뇌가 작동하는 방식이라고 확신했습니다.

생리학·의학 노벨상을 받을 줄 알았는데..." 잠시 멈췄다가 농담조로 덧붙였습니다.

"뇌가 작동하는 방식을 발견하지 못한 것으로 물리학상을 받을 줄은 몰랐습니다."

그리고, 이어가길

"그런데, 한 가지 문제가 있었습니다. 세즈노프스키도 이 상을 받았어야 했습니다."

힌튼 교수는 진지하게 말했습니다.

"우리는 1980년대 초에 약속을 했습니다. 둘 중 한 명만 노벨상을 받으면 상금을 절반씩 나누자고요."

힌튼 교수는 Terry세즈노프스키 연락해서 상금의 절반을 주겠다고 했으나, 거절했다고 하네요.

힌튼 교수는 세즈노프스키의 몫을 어떻게 할지 고민했고, 결국 이 상금을 NeurIPS에 기부해서,

1980년대 초에 우리가 했던 그 종류의 연구 - AI와 신경과학의 아이디어를 결합하는 연구 - 를 보상하는 상을

만드는데에 사용하기로 결정합니다. 그렇게 Sejnowski-Hinton Award가 탄생했고,

첫 수상자는Random Synaptic Feedback Weights Support Error Backpropagation for Deep Learning"의

저자들에게 돌아갔습니다.

100명도 채 오지도 않았던 학회에 2만명이 넘는 사람들이 모인 모습을 보니 감동적이라고 하는 힌튼 교수는,

분명 다음 세대는 더 큰 과학의 진보를 가져올 수 있을 것이라 하면서 후배들의 앞날을 기원헀죠.

12월 12일 토요일, 이화여대에서 있었던 모두의 연구소 콘서트(모두콘)

한국으로 오고나서, 모두의 연구소에서 하는 행사에도 참석했어요.

여기에도 많은 인원이 있었는데 AI에 대한 관심은 국적을 가리지 않는 것 같았습니다.

사람들이 던지는 질문은 결국 비슷합니다.

"AI는 어디로 가고 있는가?" "우리는 무엇을 준비해야 하는가?"

각자가 옳다고 믿고 있는 답으로, 다가오는 미래를 맞이하는 연말의 풍경입니다.

Reference

• https://neurips.cc/

• https://moducon.modulabs.co.kr/