adversarial attack strategy
모델이 잘못된 출력을 생성하도록 하기위해 의도적으로 입력을 변경하는데 사용되는 방법이다.
이러한 방법은 모델의 약점이나 훈련된 방식을 이용하도록 설계되었으며 모델의 견고성과 보안을 테스트하는데 사용될 수 있다.
몇가지 일반적인 전략에는 입력에는
- 입력에 노이즈를 추가하는 것
- 입력에 변환을 적용하는 것
- 모델을 속이도록 설계된 합성 입력을 생성하는 것이 있다.
stable learning
기계학습에서 훈련 데이터의 작은 변화에 직면한 경우에도 모델의 정확성과 성능을 유지할 수 있는 능력을 가리키는 용어이다.
즉 stable learning은 입력 분포의 변화에 강하고 데이터를 과적합 하거나 과소적합 하지 않은 알고리즘이다.
(simply, 일반화가 잘되도록, 어떤 변화에도 안정하도록 학습하는 방법을 말하는 것 같다.)
meta-path-based neighbors
특정 메타 경로를 통해 다른 노드에 연결된 그래프의 노드이다.
이러한 이웃은 노드 간의 관계를 정의하는데 사용될 수 있으며, 추천 시스템, 소셜 네트워크 분석 및 기타 그래프 기반 응용 프로그램에서 예측 또는 권장 사항을 만다는데 사용된다
(simply, 다른 그래프와 연결할때, 노드를 이용해 그래프를 연결하는 것 같다)
vanilla training
'바닐라 교육'은 수정이나 추가 기술 없이 기계 학습 모델을 교육하는 기본 또는 표준 방법을 의미합니다. 가장 단순하고 직설적이며 가장 꾸밈이 없는 훈련 형태라는 의미에서 "바닐라"라고 합니다. 이 용어는 전이 학습, 앙상블 또는 미세 조정과 같은 기술을 사용하는 보다 복잡한 교육 방법과 대조하는 데 사용됩니다. 바닐라 교육은 일반적으로 확률적 경사 하강법과 같은 표준 최적화 알고리즘을 사용하여 대규모 데이터 세트에서 처음부터 모델을 교육하는 것입니다.
meta-path
'메타 경로'는 네트워크 분석이나 추천 시스템 분야와 같은 그래프 기반 데이터 분석에 사용되는 개념입니다. 그래프에서 경로를 정의하는 일련의 노드 관계를 나타냅니다. 즉, 특정 순서로 노드(정점)를 연결하는 연결(에지) 유형을 지정합니다. 예를 들어, 소셜 네트워크에서 메타 경로는 "사용자-친구-친구"로 표현되는 사용자에서 친구의 친구(FOAF)까지의 경로를 지정할 수 있습니다. 메타 경로는 경로를 형성하는 노드 간의 관계(친구) 유형을 정의합니다. 서로 다른 메타 경로를 고려하여 그래프에서 서로 다른 유형의 구조 패턴을 캡처하고 이를 링크 예측 또는 커뮤니티 감지와 같은 다양한 분석 작업에 사용할 수 있습니다.
- Large-RG를 만들었다.
- problem를 해결하기 위해 GNN 베이스인 레시피 임베딩 모델 recipe2vec을 제안한다.
- 우리 모델의 수행능력을 평가하기 위해 많은 실험들을 구성했다.
Abstract
효율적인 레시피 표현을 배우는 것은 음식 연구에서 필수적이다.
이 논문에서는 레피시 임베딩에 대해 visual, textual, relational information을 통합시키기 위해 멀티 모달 레시피 학습법의 문제점을 공식화 한다.
우리는 (half million nodes를 넘는 새로운 레시피 그래프 데이터)Large-RG을 처음으로 보여주고, 이것으로 가장 큰 레시피 그래프로 만든다.
-> 요것은 three types of nodes, four types of edges로 구성된다.
stable learning과 performance를 향상하는 것을 확실히 하기위해 adversarial attack strategy를 소개한다.
joint objective function of node classification과 모델을 최적화 하기위해 adversarial 학습법을 고안하였다.
Introduction
본 논문의 주요 contribution들을 요약하자면,
-
멀티 모달 레시피 학습법의 문제를 연구하기위해 첫 번째 시도로써, 우리는 Large-RG를 만들고 배포하였다.
-
새로운 GNN베이스인 레시피 임베딩 모델 recipe2vec을 제안하였다.
이는 visual, textual, relational information을 사로잡기 위해 이용할 수 있으며, 몇개의 신경망 모듈을 통해 효율적인 표현을 배운다.
더 나아가, 모델을 최적화 하기위해 새로운 목적함수를 소개한다. -
2개의 고전적인 study task 실험에서 우리의 모델은 sota 달성
- cuisine category
- region prediction
Model
recipe2vec에 대한 세부사항을 보여준다.
첫 번째로 노드 속성을 인코딩하고 레시피 임베딩을 배우기 위해 멀티 모달 heterogeneous한 GNN을 개발했다.
GNN은 몇개의 모듈을 포함시켰다.
- a multi-view neighbor sample
- an adaptive node aggregator
- a cross-modal aggregator
- an attentional relation aggregator
또한 stable learning을 보장하기 위해 feature-based adversarial attack strategy를 소개하였다.
4.1 Encoding Nodes Attributes
Recipe images를 인코딩하기 위해 ( 이미지 인코딩 ) ResNet,
Instructions를 인코딩하기 위해 two-stage LSTM을 사전학습 시켯다.
그후, 사전학습 시킨 노드 속성으로 레시피 노드와 함께 사전 이미지 임베딩과 instruction을 연결시켰다.
동시에, 재료 노드들의 속성으로 영양소 와 유저 노드의 속성으로써 랜덤 벡터들을 고려하였다.
속성의 다양한 모달리티 때문에, 우리는 모달리티 특정한 노드 속성을 project하기 위해 입력 projection을 소개한다.
4.1 Encoding Nodes Attributes
Recipe images를 인코딩하기 위해 ( 이미지 인코딩 ) ResNet,
Instructions를 인코딩하기 위해 two-stage LSTM을 사전학습 시켯다.
그후, 사전학습 시킨 노드 속성으로 레시피 노드와 함께 사전 이미지 임베딩과 instruction을 연결시켰다.
동시에, 재료 노드들의 속성으로 영양소 와 유저 노드의 속성으로써 랜덤 벡터들을 고려하였다.
속성의 다양한 모달리티 때문에, 우리는 모달리티 특정한 노드 속성을 project하기 위해 입력 projection을 소개한다.
4.2 Multi-modal Heterogenous GNN
각각의 레시피 노드 vi에 대해,
우리는 처음으로 그래프 스키마 뷰와 meta-path view로 부터 노드를 샘플하기 위해 멀티 뷰 이웃 샘플러를 소개한다
그런 다음, 특정한 관계아래의 노드들로 부터 정보를 인코딩하기 위해 적응한 노드 집합을 사용한다.
Next, 다른 모달리티들로 부터 정보를 태우기 위해 cross-modal 집합을 제안한다.
After that, 다른 관계들로 부터 정보를 결합하기위해 attentional relation 집합을 고안하였다.
그런다음 최종 레시피 임베딩을 얻는다
Multi-view Neighbor Sampler
우리는 meta-path view를 통해 high-order 정보와 그래프 스키마 뷰를 통해 local 정보를 사로잡기 위해
멀티 뷰 이웃 샘플러를 소개한다.
graph schema view에서 노드는 노드의 direct 이웃들로 부터 정보를 모은다.
이것은 graph schema-based neighbors로써 정의한다.
meta-path view에서 이웃들은 high-order 정보에 대한 meta-path walks에 의해 결정되어 진다.
Conclusion
- multi-modal recipe 표현 학습법의 문제를 공식화함.
- 이러한 문제를 해결하기위해,
새롭고 큰 레시피 그래프 데이터 그래프 기반 푸드 연구를 용이하게 하기위해 Large-RG를 만들고 배포하였다. - 새로운 GNN베이스인 레시피 임베딩 모델 Recipe2vec을 계발하였다.
- Recipe2vec은 다양한 신경망 모듈로 고안된 것을 통해 visual, textual , relational 정보를 사로잡기 위해 이용할 수 있다.
- 광범위한 실험들을 통해, 2개의 고전적인 푸트 연구 작업들에서 sota성능을 달성 하였다.
