ChatMOF : anartificial intelligence system for predicting and generating metal-organic frameworks using large language models

Received : 17 August 2023
Accepted: 15 May 2024
Published online : 03 June 2024

An artificial intelligence system for predicting and generating metal-organic frameworks using large language model

1. Introduction

ChatMOF란?

• ChatMOF는 대형 언어 모델(LLM, GPT-4 등) 을 활용하여 금속-유기 골격체(MOF) 를 예측하고 생성하는 AI 시스템이다.
• 자연어 입력을 분석하여 MOF 데이터베이스에서 정보를 검색하고, 특정 속성을 가진 MOF를 생성할 수 있다.
• 기존의 구조화된 쿼리(query) 없이 자연어로 질문을 던질 수 있다는 점에서 혁신적이다.

ChatMOF의 필요성

• 기존의 MOF 연구는 구조적 복잡성 및 훈련 데이터 부족 문제로 인해 AI 적용이 어려웠다.
• LLM을 이용하면 MOF의 다양한 속성을 학습하고, 예측 및 생성 할 수 있다.
• 화학, 재료공학, 물리학 등의 연구자들이 MOF를 쉽게 설계할 수 있도록 돕는 것이 목표다.

2. Results

2.1 ChatMOF의 설계

ChatMOF는 3가지 주요 컴포넌트로 구성된다.

• 에이전트(Agent): 사용자의 질문을 분석하고, 어떤 툴킷을 사용할지 결정.
• 툴킷(Toolkit): 실제 검색, 예측, 생성을 수행하는 다양한 도구.
• 평가자(Evaluator): 결과를 평가하고 최종 응답을 생성.

→ LLM을 활용해 데이터를 처리하는 방식이 마치 CPU의 역할과 유사함.

2.2 Toolkit (도구)

ChatMOF는 여러 개의 도구(Tool)를 사용하여 MOF 데이터를 처리한다.

1. Table-Searcher (데이터베이스 검색): 기존 MOF 데이터베이스(CoREMOF, QMOF)에서 정보를 검색.

   • 예: "MIBQAR16의 최대 기공 크기(15.0Å)는 얼마인가?"
   • 예 : "LITDAV의 밀도는 다른 재료들과 비교했을 때 어떤가?"
     

2. Predictor (속성 예측): 기계 학습 모델(MOFTransformer)을 사용해 특정 MOF의 속성을 예측.

   • 예측 가능한 속성: 표면적, 수소 저장 능력, CO₂ 흡착량 등
   • 예 : "77K, 1bar에서 수소 확산률이 가장 높은 MOF를 찾으세요."
     

3. Generator (MOF 생성): 유전 알고리즘(Genetic Algorithm)을 활용하여 새로운 MOF 구조 생성.
   • 예 : "표면적이 가장 큰 구조물을 생성할 수 있습니까?"
     

4. Utilities (기타 도구): 계산기, 데이터 시각화, 인터넷 검색 등 다양한 부가 기능 제공.

   • 예 : "298K에서 XEGKUR의 CO 헨리 계수를 mol/cm³Pa로 제공하세요"
     - Predictor(속성예측)"를 사용하여 Henry 계수를 예측 한 뒤, 추가적으로 "Unit Converter(단위변환)"도구를 사용하여 단위를 변환.
     

3. ChatMOF의 성능 평가 (Evaluation)

ChatMOF의 성능을 평가하기 위해 검색(Search), 예측(Prediction), 생성(Generation) 작업에 대한 분석이 수행되었다.
이러한 평가를 통해 ChatMOF가 MOF(금속-유기 골격체) 데이터를 얼마나 정확하게 검색, 예측, 생성할 수 있는지 확인하였다.

평가 방법

ChatMOF의 정확도를 검증하기 위해 MOF 속성 관련 다양한 질문을 생성하고, 세 가지 태스크를 평가함.

• 평가 질문 :

  • 검색(Search) 태스크: 100개의 질문
  • 예측(Prediction) 태스크: 100개의 질문
  • 생성(Generation) 태스크: 10개의 질문

• GPT-4 : 질문을 생성하는 과정에서 인간의 개입을 최소화하고, 공정성을 높이며, 다양한 질문을 만들기 위해 GPT-4를 사용

평가 기준

ChatMOF의 정확도를 평가하기 위해 세 가지 라벨(Label) 을 사용.

라벨	설명
True	ChatMOF가 정확한 논리를 바탕으로 정답을 제공한 경우
False (Token Limit Exceeded)	LLM의 토큰 개수가 4000을 초과하여 응답을 생성하지 못한 경우
False (Logic Error)	ChatMOF의 논리적 오류로 인해 잘못된 답변을 생성한 경우

• Token Limit Exceeded (토큰 한계 초과)

  • LLM의 토큰 개수가 4000을 넘어서 분석이 중단될 때 발생.
  • 주로 검색(Search) 및 예측(Prediction) 과정에서 데이터가 많아질 때 발생.
  • 이는 Recall 값(정답을 찾는 비율)에 영향을 미침.

• Logic Error (논리적 오류)

  • ChatMOF의 잘못된 알고리즘적 접근이나 코드 오류로 인해 정답이 틀린 경우.
  • 이는 Precision 값(정확한 답변을 제공하는 비율)에 영향을 미침.

평가 결과

태스크 유형	정확도 (GPT-4)
검색(Search)	96.9%
예측(Prediction)	95.7%
생성(Generation)	87.5%

• Search & Prediction : '토큰 한도 초과' 인스턴스를 제외하면 각각 96.9%와 95.7%의 높은 정확도.
• Generation : 생성 작업의 경우 정확도는 87.5%. 이 작업의 고유한 복잡성으로 인해 다른 두 작업에 비해 관찰된 정확도가 더 낮음

GPT-4 vs GPT-3.5 성능 비교

• ChatMOF에 GPT-4를 적용했을 때 정확도가 GPT-3.5-turbo보다 높음.
• GPT-3.5는 논리적 오류 발생률이 높고, 토큰 한계를 초과하는 경우가 많음.
• GPT-4는 더 정교한 알고리즘을 사용하여 보다 정확한 답변을 제공.

평가 결론

• 유전 알고리즘 기반 MOF 생성은 성공적으로 수행되었지만, 토큰 제한 및 생성 개수의 일관성 부족 등의 한계가 있음.
• 전통적인 알고리즘 대비 LLM 기반 접근법은 개선이 필요하지만, MOF 설계 및 연구에 새로운 가능성을 제시함.

4. Discussion (논의)

ChatMOF의 장점

• 자연어를 이용한 MOF 연구 자동화: 복잡한 검색어 없이 자연어로 질문 가능.
• 높은 정확도: 기존 연구 방법 대비 정확도가 높음.
• 재료 과학 및 화학 연구에 새로운 AI 도구로 활용 가능.

ChatMOF의 한계

• 사전 학습된 가중치(Pre-trained Weights)에 대한 의존성이 있음.
• 데이터 공유(Data Sharing) 및 모델 개선이 필요함.

향후 개선 방향

• 모델의 용량 확장(Model Capacity Expansion)
• 온라인 데이터 공유 플랫폼 활성화 → 데이터 접근성을 높이고 AI 성능을 향상.
• ChatMOF의 최적화 및 지속적인 개선 → MOF 연구에서 AI의 자율성을 더욱 높일 가능성이 있음.

5. Methods (방법론)

ChatMOF의 구현 및 작동방식은 프롬프트엔지니어링, 시스템구조, 유전 알고리즘, 역설계 시뮬레이션 등으로 구성된다.

5.1 Prompt Engineering (프롬프트 엔지니어링)

• Langchain라이브러리를 활용하여 LLM과 프롬프트를 결합.
• MRKL(Modular Reasoning, Knowledge, and Language) 및 ReAct 프레임워크의 구조를 참고하여, 각 에이전트 및 툴킷이 다음의 순서로 작동하도록 구성
  • Question --> Thought --> Input --> Output --> Observation --> Final Thought --> Final Answer
• 각 도구별 프롬프트 설계 방식
  • 검색도구 (Table-Searcher) : 테이블 헤더와 상위 5개 행을 제공
  • 예측 도구 (Predictor) : MOF Transformer 모델을 설정하고, property 및 material 형식으로 에측 수행
  • 생성도구(Generator) : 유전 알고리즘을 활용하여 새로운 MOF 구조 생성, 목표설정 -> 부모유전자 선택 -> 자식 유전자 생성 방식 사용
• 각 프롬프트에는 2~3개의 예제 (Examplar)를 포함하여 LLM이 정밀한 응답을 생성할 수 있도록 유도.

5.2 Details of ChatMOF System (ChatMOF 시스템 상세 구조)

• chatMOF는 LLM과 다양한 도구(머신러닝, Python 라이브러리, 데이터베이스 등)을 연결하는 코드 기반 시스템이다.
• 사용된 LLM 모델 GPT-4, GPT-3.5-turbo, Llama2-7b-chat, Llama2-13b-chat
• 실험시 미세조정(Fine-tuning)없이 LLM을 그대로 사용하여 평가
• 온도 (Temperature) 값 : 실험에서 모델의 일관성을 유지하기 위해 0.1로 설정
• 검색(Search) 기능 :
  • CoREMOF데이터베이스 사용
  • ZEO++ 소프트웨어를 활용하여 MOF의 기하학적 특성 계산(-ha 옵션사용)
  • 질소(Nirogen, 3.31A) 모델 적용하여 MOF 기공 크기 및 특성 분석
• 예측(Prediction) 기능 :
  • MOF Transformer 모델 활용 -> 4개의 논문을 기반으로 훈련됨
• ChatMOF의 정확도 테스트는 v0.0.0버전에서 수행.

5.3 Genetic Algorithm (유전 알고리즘)

ChatMOF의 생성 기능은 유전 알고리즘을 기반으로 수행된다.

• 유전알고리즘 적용방식:
  1. 부모유전자(Parent Genetics) 선택 -> 2000개 MOF Data 중에서 100개의 부모 유전자 선택.
  2. 자식유전자(Offspring Gene) 생성 -> 각 토폴로지(Topology) 별로 100개의 새로운 MOF 구조 생성
  3. MOF 구조 생성 후 예측 도구 (Predictor)를 사용하여 속성 계산
  4. 생성된 데이터에서 최적의 MOF 구조를 선택
• 사용된 9가지 MOF Topology :
  • pcu, dia, acs, rtl, cds, srs, ths, bcu, fsc
  • 유전 알고리즘 실행 후 최적의 MOF구조를 선택하여 최종 결과 제공

5.4 Simulation for Inverse Design (역설계 시뮬레이션)

• MOF 구조 최적화 :
  • Materials Studio의 Forcite 모듈을 사용한 Universal Force Field(UFF) 적용.
  • MOF 원자에 Partial Charge (부분 전하) 할당 없음.
• 수소 저장량(Hydrogen Uptake) 예측 :
  • MOF Transformer와 동일한 방식으로 예측 수행.
  • RASPA 소프트웨어를 사용하여 시뮬레이션 실행.
  • Feynman-Hibbs 접근법을 활용하여 낮은 온도에서의 수소 거동 조정.
  • Lenard-Jones 포텐셜 적용, Lorentz-Berthelot 혼합 규칙 사용.
  • Grand Canonical Monte Carlo (GCMC) 시뮬레이션 실행 (100 bar, 77K에서 10,000회 생산 주기).

방법론 결론

• ChatMOF는 프롬프트 엔지니어링과 유전 알고리즘을 결합하여 MOF 연구를 자동화하는 혁신적인 시스템.
• LLM과 머신러닝 모델을 통합하여 MOF 속성을 예측하고 최적화된 구조를 생성하는 것이 특징.
• 유전 알고리즘 기반 MOF 생성 기능을 통해 다양한 MOF 구조를 설계 및 최적화할 수 있음.
• 향후 프롬프트 최적화, 모델 성능 개선, 데이터 공유 확대를 통해 MOF 연구에서 더욱 중요한 역할을 할 것으로 기대됨.

• 이 그림은 ChatMOF의 유전 알고리즘을 활용한 MOF 생성(Inverse Design) 실험 결과를 보여준다ㅑ.
• 유전 알고리즘 + AI 기반 예측(MOF Transformer) + Inverse Design 기법을 결합하여 이루어진다.

6. Data Availability (데이터 및 코드 공유)

• ChatMOF의 코드 및 모델은 GitHub에서 공개됨.
  • https://github.com/Yeonghun1675/ChatMOF.git
• MOF 데이터셋 및 모델 가중치는 Figshare에서 다운로드 가능.
  • https://figshare.com/articles/dataset/Fine-tuned_MOFTransformer_model/24288919
• 유전알고리즘에서 사용되는 hMOF
  • https://figshare.com/articles/dataset/Database_for_ChatMOF/24287731

7. References (참고문헌)

• LLM 및 MOF 관련 주요 논문들을 인용.
• MOFTransformer, 유전 알고리즘, LLM의 최신 연구들 포함.

8. Conclusion (결론)

• ChatMOF는 MOF 연구에 LLM을 도입하여 검색, 예측, 생성을 자동화하는 혁신적인 AI 시스템이다.
• 높은 정확도를 보이며, 향후 개선을 통해 더욱 정교한 MOF 설계가 가능해질 것으로 기대된다.