신경-상징 인공지능(Neuro-Symbolic AI)은 신경망(Neural Networks)과 상징적 인공지능(Symbolic AI)의 강점을 결합한 기술로, 신경망은 대규모 데이터를 처리하고 패턴을 학습하는 데 뛰어나지만, 해석 가능성이 부족합니다. 반면 상징적 AI는 명시적 규칙과 논리를 통해 높은 해석 가능성을 제공하지만, 복잡한 패턴 인식에는 한계가 있습니다. 신경-상징 AI는 이 두 가지 접근법을 통합하여 두마리 토끼를 둘 다 잡은 방법이라고 합니다. 본 논문에서는 안과학에서 영상분야에 대한 neuro-symbolic learning을 적용해보며 어떠한 역할을 하는지 설명합니다.
논문에 대해 설명하기 전 neuro-symbolic ai가 대충 어떤놈인지 살펴보겠습니다.
신경-상징 인공지능(Neuro-Symbolic AI)은 신경망과 추론 AI의 결합을 통해 데이터 학습과 논리적 추론을 동시에 수행하는 시스템입니다. 이를 수학적으로 이해하기 위해 간단한 예제를 들어보겠습니다.
신경망 부분: 데이터 학습
먼저, 신경망을 통해 데이터를 학습하는 과정을 살펴보겠습니다. 예를 들어, 이진 분류 문제를 풀기 위해 다음과 같은 신경망을 사용한다고 가정합시다:
- 입력 벡터
- 가중치 벡터
- 편향
신경망의 출력 는 다음과 같이 계산됩니다:
여기서 는 활성화 함수입니다.
상징적 AI 부분: 논리적 추론
상징적 AI는 규칙 기반의 추론을 사용합니다. 예를 들어, 의료 진단 규칙을 고려해 봅시다:
- 만약 환자가 고열 과 기침 을 동시에 겪고 있다면, 환자는 독감일 가능성이 높습니다.
이 규칙은 아래와 같이 표현될 수 있습니다:
신경-상징 학습
NeSyL은 신경망의 학습 결과를 상징적 AI의 규칙과 결합하여 더 정교한 예측을 합니다. 예를 들어, 신경망은 입력 데이터에서 다음과 같은 확률을 출력할 수 있습니다:
상징적 AI는 이 확률을 사용하여 결론을 도출합니다. 위의 규칙을 적용하면, 환자가 독감일 확률은 다음과 같이 계산될 수 있습니다:
그런데 생각해보면 그냥 flu라는 항목을 추가하는게 훨씬 편하지 않나? 라는 생각이 듭니다. 데이터가 부족할 때 추론을 위한 방법인가 싶기도 하고 우선 계속 봅시다.
본 논문에서는 우선 병변 검출 방법에 대한 timeline을 설명합니다.
SVM, Random Forest와 같은 전통적인 머신러닝 기법부터 CNN, GAN,ResNet,Unet, Graphic Convolutional Network 그리고 Transformer 순서로 사실상 딥러닝 기반 object detection의 발전사를 나열 해놓았습니다.
여기서 x축은 연도별 AI의 기술의 적용, y축은 적용된 기술의 ratio를 뜻합니다.
논문에서는 우선 안과학 에서 딥러닝의 여러 적용방법(classification, segmentation, prediction등)을 설명합니다.
예상대로 데이터 세트의 한계가 symbolic ai의 사용 이유였습니다.
데이터의 불균형, 소스 부족등으로 추론능력, 블랙박스에서의 결과도출 방면에서 그리 좋지 않아 Neuro-Symbolic AI가 연구되고 있다 설명합니다.
Symbolic AI와 connectionist AI의 차이 설명
S-AI는 시스템은 인간이 만든 지식을 기반으로 하며
일반적으로 알고리즘 동작을 지시하는 if/then 쌍 문을 포함하는
이 시스템에 속합니다. 추론 엔진 모델은 지식 기반을 참조하고 주
어진 기호 또는 기호 세트에 해당하는 규칙을 선택합니다. sAI는
명확한 규칙과 목표가 있는 작업에 널리 사용되었습니다.
그러나 이산 추론의 알고리즘 복잡성은 상당한 수동 조정이 필요한 알고리즘에서는 비결정론적 다항식 시간(NP)으로 인해 복잡한 문제를 해결하기 어렵습니다
C-AI는 컴퓨터의 연산능력을 기반으로 하며 cAI 시스템은 사전 지식이 없거나 거의 없는 대규모 데이터로부터 연관성을 학습합니다. cAI는 CNN, DNN, 그래프 신경망(GNN) 등 온갖 종류의 신경망으로 구성되며. cAI는 패턴 인식 및 일반화에서 우수한 성능을 제공합니다. 그러나 자율주행차, 의료 등 안전이 중요한 분야에 매우 필요한 솔루션에 어떻게 도달했는지 설명할 수 없는 경우가 많습니다.
사실 트랜스포머, CNN 및 GNN 등 온갖 네트워크 구조에서 공통적으로 발생하는 문제라 할 수 있습니다. 이렇게 하면되지 않을까? 해서 해보니까 됐다.
이게 기존 AI의 문제입니다. 까놓고 말하자면 기도메타입니다. VGG16이 VGG19보다 성능이 좋다. RESNET50이 RESNET34보다 성능이 좋다. 왜? 설명을 못합니다. 실제로 적용해봐야 알아요. 그래서 나온게 Neuro-Symbolic AI입니다.
NeSyL Components (Neuro-Symbolic Learning Components)
Neuro-Symbolic Learning (NeSyL) 시스템은 신경망(Neural Networks)과 상징적 인공지능(Symbolic AI)의 결합을 통해 더 높은 해석 가능성과 신뢰성을 제공하기 위해 설계되었습니다. NeSyL의 주요 구성 요소는 다음과 같습니다:
1. 신경망 구성 요소 (Neural Network Component)
신경망 구성 요소는 데이터에서 패턴을 학습하고 추출하는 데 사용됩니다. 이 부분은 주로 딥러닝 알고리즘을 활용하여 대량의 데이터를 처리하고, 이미지를 분석하거나 예측하는 역할을 합니다. 예를 들어, 딥러닝 모델은 망막 이미지에서 병변을 감지하거나, 환자의 의료 데이터를 기반으로 질병 발생 확률을 예측할 수 있습니다.
- 예시: 딥러닝 모델이 의료 영상에서 특정 병변(예: 녹내장)을 감지할 때, 컨볼루션 신경망(CNN)을 사용하여 이미지의 특징을 추출하고 이를 바탕으로 예측을 수행합니다.
2. 상징적 구성 요소 (Symbolic Component)
상징적 구성 요소는 논리적 추론을 수행하고, 명시적 규칙과 도메인 지식을 활용하여 결과를 해석하는 데 사용됩니다. 상징적 AI는 규칙 기반 시스템으로, 인간의 지식을 코드로 표현하고 이를 통해 논리적 결정을 내립니다.
- 예시: "환자가 고열과 기침을 동시에 겪고 있으면, 독감일 가능성이 높다"와 같은 규칙을 사용하여 신경망의 출력을 해석하고, 더 높은 수준의 추론을 수행합니다.
3. 결합 메커니즘 (Integration Mechanism)
NeSyL의 핵심은 신경망과 상징적 AI의 출력을 결합하여 최종 결정을 내리는 메커니즘입니다. 이 메커니즘은 두 가지 접근법의 장점을 모두 활용하여 더 정확하고 해석 가능한 결과를 도출합니다. 예를 들어, 신경망이 추출한 특징을 상징적 AI의 규칙과 결합하여 복합적인 문제를 해결합니다.
- 예시: 신경망이 특정 증상(예: Fever, Cough)의 발생 확률을 계산한 후, 상징적 AI는 이러한 확률을 바탕으로 질병(예: Flu)의 가능성을 계산하여 최종 진단을 내립니다.
4. 해석 가능성 향상 (Enhancing Interpretability)
NeSyL은 결과의 해석 가능성을 높이기 위해 다양한 방법을 사용합니다. 시각화 도구, 설명 기법, 그리고 명시적 규칙을 통해 사용자가 결과를 더 잘 이해할 수 있도록 지원합니다.
- 예시: SHAP(Shapley Additive exPlanation)와 같은 해석 가능한 AI 기법을 사용하여 각 특징이 예측에 얼마나 기여했는지를 설명하고, 이를 시각적으로 표현합니다.
이와 같이 NeSyL은 신경망과 상징적 AI의 강점을 결합하여 더 높은 수준의 해석 가능성과 신뢰성을 제공하며, 복잡한 문제를 효과적으로 해결할 수 있습니다
해당 논문에서는 hybrid, unified 방식의 NeSyL에 대해 설명합니다. 어텐션, 그래프등을 사용하는 하이브리드 방식, Bayes' Rule을 적용하는 단일방식에 대해 간단히 설명 후 5가지의 대표적인 구조들에 대해 table로 나타냈습니다.
III. REVISITING CNN THROUGH NESYL
기존 신경망의 이미지 인식 방법과 NESYL를 추가한 방법에 대해 설명합니다.
A. 신경망의 안과 응용
가장 널리 사용되는 이미지 인식 방법인 CNN과 GCN은 안과 이미지를 식별, 진단 및 추론하는 데 사용될 수 있습니다. 예를 들어, 녹내장 진단을 위해 이중 계층 깊은 컨볼루션 신경망이 사용되었으며, 92.64%의 설득력 있는 정확도를 보였습니다 . Nusinovici 등은 망막 사진을 기반으로 생물학적 나이를 예측하기 위해 딥러닝 접근법을 사용했습니다. Upadhyay 등은 광학 단층 촬영 이미지에서 망막 질환을 감지하기 위해 일관된 컨볼루션 신경망을 사용했습니다 . 신경망 기반 방법은 가용성, 견고성 및 정확성에서 이점을 가집니다.
신경망과 딥러닝은 다양한 문제를 해결하는 데 강력한 능력을 가지고 있어 매우 인기가 있지만, 해석 가능성과 설명 가능성 같은 문제는 여전히 해결해야 할 과제입니다. 복잡한 네트워크 아키텍처와 계산 접근법을 통해 딥러닝 모델은 많은 어려운 문제에 대한 실행 가능한 솔루션을 제공할 수 있지만, 잠재 공간 내의 수많은 숫자는 인간에게 설명할 수 없습니다. 법적 영역에서 생성된 결과 뒤의 원칙을 활용하는 것은 불가피합니다.
고전 AI(Good old fashioned AI, GOFAI)로도 알려진 상징적 AI는 추론 능력을 갖춘 해석 가능하고 일반화된 개념입니다. 그러나 GOFAI는 지식 데이터셋을 심볼 형태로 수동으로 구축해야 합니다. 따라서 이 두 가지 개념을 NeSyL로 결합하는 것은 매우 자연스러운 일입니다.
B. 고전 딥러닝에 대한 NeSyL의 잠재적 우위
NeSyL은 많은 분야에 적용될 수 있으며, 고전적인 DNN에 비해 비용 절감, 일반화 및 견고성, 해석 가능성과 설명 가능성, 효율적인 훈련, 인간 인지 능력 모방 등의 이점을 가지고 있습니다 . 일부 연구자들은 DNN의 학습을 최적화하고 더 나은 손실 함수를 도출하기 위해 상징적 추론 지식을 사용했습니다 . 따라서 NeSyL을 DNN 전에 적용하여 손실 함수를 선택하면 시스템 전체의 성능을 향상시키는 데 도움이 될 수 있습니다.
NeSyL은 레이블링 비용이 낮아 일반적인 방법에 비해 더 많은 이점을 가지고 있습니다. 연구에 따르면 네트워크의 깊이와 너비가 모두 중요하며, 이는 시간과 자원 소비의 균형을 맞추기 어렵게 만듭니다 . CNN과 비교할 때, NeSyL은 적은 자원을 필요로 하며 많은 상황에서 만족스러운 성능을 달성할 수 있습니다.
C. NeSyL을 통한 이미지 처리
지난 10년 동안 CNN 모델은 특히 의료 영상 및 안과 질환 진단에서 이미지 처리에 큰 기여를 했습니다. 반면, NeSyL은 전문가 지식을 통합하고 설명 가능성을 추가하여 인간에게 투명한 결정 시스템을 보장합니다. 예를 들어, 당뇨병성 망막병증 분류를 위해 U-Net 세그멘테이션 네트워크를 사용하여 인간이 읽을 수 있는 상징적 표현을 추출한 후, 결정 메이킹을 위한 완전 연결 네트워크에 전달합니다.
NeSyL 모델은 해석 가능성과 설명 가능성을 달성하면서 인도 당뇨병성 망막병증 이미지 데이터셋(IDRiD)에서 최첨단 방법과 비교 가능한 성능을 얻었습니다 .
D. NeSyL을 사용한 안과 응용 가능성
몇몇 연구자들은 VQA(Visual Question Answering) 처리를 돕기 위해 NeSyL을 사용하여 추론 과정에 더 많은 투명성과 설명 가능성을 제공합니다. NeSyL 기반 모델은 장면 파서, 질문 파서, 프로그램 실행기의 세 부분으로 구성되며, 이를 통해 시각적 인식과 텍스트 이해의 추론을 분리합니다.
이와 같이 NeSyL은 복잡한 문제 해결에서 중요한 역할을 할 수 있으며, 특히 해석 가능성과 신뢰성이 중요한 의료 분야에서 큰 잠재력을 가지고 있습니다.
이후에 나오는 내용들은 대부분 NESYL의 적용에 관한 설명이네요
실제로 어떤식으로 적용되는지 연구 논문들을 찾아봐야할 것 같습니다.
