[nature] Avoiding fusion plasma tearing instability with deep reinforcement learning

본 글은 서재민 교수님의 "Avoiding fusion plasma tearing instability with deep reinforcement learning" 논문을 생성형 AI와 함께 리뷰한 글입니다.

1. 핵융합 에너지와 상용화 도전

1.1 핵융합의 잠재력

핵융합은 탄소중립과 에너지 전환 시대의 핵심 기술로 주목받고 있습니다.

핵융합의 장점:

• 막대한 에너지 생성 (고온 플라즈마에서 가벼운 원자핵 융합)
• 이산화탄소 배출 없음
• 고준위 방사성 폐기물 미발생

최근 성과:

• 미국 NIF: 192개 레이저로 투입 에너지보다 더 많은 에너지 최초 획득
• KSTAR, EAST, JET 등 토카막: 장시간 고온 플라즈마 유지 기록 갱신

1.2 상용화의 핵심 난제: 플라즈마 붕괴

실험적 진전에도 불구하고 상용화를 위한 심각한 장벽이 존재합니다.

플라즈마 붕괴(Disruption)의 위험성:

• ITER 같은 장시간 운전 장치에서 단 한 번의 붕괴도 비가역적 손상 초래
• 현재 해결책: AI 기반 플라즈마 붕괴 예측 기술 개발 중

2. Tearing Instability: 붕괴의 주요 원인

2.1 현상 이해

Tearing Instability는 플라즈마 붕괴를 유발하는 대표적인 내부 불안정성입니다.

발생 메커니즘:

• 자기장 구조가 찢어지며 플라즈마 에너지 급격 손실
• q = m/n 위치에서 발생 (q: 안전계수, m,n: 폴로이달/토로이달 모드 수)
• 부트스트랩 전류의 작은 요동이 시드 역할하여 불안정성 성장

ITER 표준 조건에서의 위험성:

• 낮은 q95 (안전계수)
• 낮은 회전 속도
• → 억제(suppression)가 늦어 붕괴로 직결

2.2 기존 접근법의 한계

물리 기반 제어의 문제점:

• 불안정성 발생 후 진압하는 방식의 한계
• Tearing instability는 한번 발생하면 빠르게 성장
• 복잡한 MHD/gyrokinetic 시뮬레이션 필요 → 실시간 제어 어려움

새로운 접근: 발생 회피(Avoidance)

• 불안정성 발생 자체를 사전 차단
• AI 기반 실시간 회피 제어 시스템 개발

3. 강화학습 기반 제어 시스템

3.1 강화학습 적용의 타당성

이 문제는 강화학습이 강점을 보이는 전형적인 구조입니다:

• 복잡하고 비선형적인 고차원 제어 문제
• 딥러닝 기반 actor 모델로 최적 정책 학습 가능

3.2 시스템 구성 요소

3.2.1 행동(Action) - AI가 제어하는 변수

1. 중성입자빔 총 출력(Total Beam Power)
2. 플라즈마 삼각도(Triangularity)

선택 이유: 플라즈마 압력에 영향을 주지만 q95나 회전에는 큰 영향을 주지 않음

3.2.2 관측(Observation) - AI가 입력받는 상태 정보

자기 유동선 좌표계로 정규화된 1D 프로파일:

• 전자 밀도 및 온도
• 이온 회전 속도
• 안전 계수(q) 프로파일
• 플라즈마 압력

이유: Tearing 불안정성은 공간적 구배와 위치 의존성이 크기 때문

3.2.3 환경(Environment) - 예측 모델

25ms 후 예측값:

• 플라즈마 압력 (βN)
• Tearing 가능성 (Tearability)

3.2.4 보상 함수(Reward) - 목표 정의

• βN: 플라즈마 압력 (높을수록 좋음)
• T: Tearability (낮을수록 좋음)
• k: 안전 임계값 (0.2, 0.5, 0.7 중 선택)

3.3 제어 계층 구조

고수준 제어 (AI 담당)

• 기능: "무엇을 할지" 결정
• 출력: 전략적 목표값 (빔 전력 총량, 플라즈마 형태 등)
• 담당: RL Policy

저수준 제어 (PCS 담당)

• 기능: "어떻게 할지" 실행
• 출력: 실제 장치 제어 신호 (전류, 전압 등)
• 담당: 기존 검증된 Plasma Control System

설계 철학: RL은 일반화에 강하지만 정밀 하드웨어 제어에 약함. 따라서 전략은 AI에, 실행은 기존 시스템에 맡김.

4. 핵심 설계 원리

4.1 안전성-성능 균형

근본적 딜레마:

• βN ↑ (성능 향상) → T ↑ (불안정성 증가)
• βN ↓ (안전 확보) → 에너지 효율 감소

4.2 장애물 회피 전략

보상 함수의 비연속적 경계 설계로:

• Tearability < 임계값: 공격적 성능 추구
• Tearability ≥ 임계값: 급격한 페널티로 회피 유도

4.3 ITER 표준 조건 유지

고정 변수 (PCS 제어):

• 빔 토크 (Beam Torque)
• 플라즈마 전류 (Ip)
• 길쭉함 (Elongation)

목적: q95≈3 유지 및 낮은 회전 조건에서 테스트 - 이는 Tearing 불안정성이 가장 발생하기 쉬운 조건

강화학습

이 논문에서는 강화학습(RL)을 이용해 플라즈마 내부의 tearing instability를 사전에 회피하는 제어 정책을 학습한다. 이 문제는 복잡하고 비선형적인 고차원 제어 문제로, RL이 강점을 보이는 전형적인 구조다.

강화학습의 핵심 구성 요소는 아래와 같다:

• 행동(action): AI가 조절하는 변수들. 본 실험에서는 중성입자빔 출력(total beam power)과 플라즈마 모양(plasma triangularity)이다.
• 상태(observation): 현재 플라즈마 상태를 나타내는 신호. 전자 밀도, 전자 온도, 이온 회전 속도, 안전 계수(q-profile), 압력 등의 1D 프로파일로 구성되어 있고, 자기 유동선 좌표계(magnetic flux coordinate)에 맞춰 재구성된다.
• 환경(environment): AI가 행동을 취했을 때 그 결과를 보여주는 시뮬레이션 모델. 본 논문에서는 25ms 뒤의 플라즈마 압력(βN)과 tearing 가능성(Tearability)을 예측하는 동적 모델을 사용한다.
• 보상 함수(reward): tearing 가능성을 낮추면서도 플라즈마 압력을 높이는 행동에 높은 점수를 주도록 설계된다.

[그림 1] 다양한 진단 장비들에서 측정된 신호는 서로 해상도나 위치가 다르기 때문에, profile reconstruction과 EFIT을 통해 정규화된 형식으로 전처리된다. 전처리된 데이터는 DNN 기반의 AI 컨트롤러로 입력되고, 이는 고수준의 제어 명령(빔 출력, 삼각도)을 계산한다. Plasma Control System(PCS)은 이 명령을 받아 실제 코일 전류나 빔 개별 출력과 같은 저수준 제어 명령으로 변환한다.

보상 함수 설계

이제 목표를 강화학습이 이해할 수 있도록 보상 함수로 수식화해야 한다. 여기서 설계된 보상은 아래와 같다:

$R = \begin{cases} β_N, & \text{if } T < k \\ k-T, & \text{otherwise} \end{cases}$

• $β_N$: 플라즈마의 정규화된 압력
• $T$: tearability (25ms 후의 tearing 발생 가능성)
• $k$: 허용 가능한 tearing 가능성의 임계값 (0.2, 0.5, 0.7 중 선택)

즉, T가 k보다 작으면 압력이 클수록 높은 보상을 주고, 그렇지 않으면 음의 보상을 부여해 해당 행동을 피하도록 유도한다. 이 구조는 마치 장애물 회피 문제(obstacle avoidance)처럼 설계되어 있다:

• 플라즈마 압력은 가능한 한 높게 유지하고 싶다.
• 그러나 그로 인해 tearing이 발생하면 운전이 중단되므로 반드시 피해야 한다.
• 이 두 목표 사이에서 균형을 맞추는 게 강화학습의 과제다.

실제로 이 보상 함수는 T가 k를 넘는 순간 급격히 점수가 떨어지는 비연속적인 경계를 가지기 때문에, 에이전트는 βN을 너무 밀어붙이지 않고 tearability가 임계값에 닿기 직전까지는 공격적으로, 이후에는 보수적으로 제어하는 전략을 학습하게 된다.

실험 결과: 보수적인 AI vs 공격적인 AI

실제 실험에서는 다양한 보상 임계값 k에 따라 학습된 RL 컨트롤러를 적용해보았다.

• 보수적 AI 제어 (k=0.2, Discharge 193277): tearability를 매우 낮게 유지했지만 너무 보수적이어서 beam power가 하한에 자주 도달. 결국 5.5초경 tearing 발생.
• 공격적 AI 제어 (k=0.7, Discharge 193281): 높은 $β_N$을 추구했지만 tearability도 높아졌고, 이후 안정적으로 떨어뜨리지 못함.
• 균형 잡힌 AI 제어 (k=0.5, Discharge 193280): tearability를 임계값 이하로 안정적으로 유지하면서도 $β_N$을 지속적으로 회복.

실험 결과에서 주목할 점은:

• k가 너무 낮으면 보수적이어서 성능이 떨어지고, 너무 높으면 위험구간에 들어갈 가능성이 크다.
• 한 k를 찾는 것이 중요하며, 본 연구에서는 k=0.5가 가장 안정성과 성능 사이의 균형을 잘 맞춘 것으로 나타났다.
• AI 컨트롤러는 tearability 예측이 급상승하기 수십 밀리초 전에 이미 제어 신호를 조정하며, 실제로 tearing을 회피하는 데 성공했다.

이처럼 RL로 학습된 제어 정책은 상황에 따라 적극성과 보수성을 스스로 조절하며, 플라즈마 운전의 안정성과 효율성을 모두 잡는 가능성을 보여주고 있다.