Spring 에서 Vector DB 맵핑하기

프로젝트를 진행하면서 팀원이 AI 모델에 적합한 데이터 관리를 위해 벡터 데이터베이스를 사용하게 되었다. 이에 따라 백엔드에서는 벡터 데이터베이스에서 데이터를 효율적으로 가져와 제공하는 API를 구현할 필요가 있었다. 벡터 데이터베이스는 일반적인 관계형 데이터베이스와는 다른 구조를 가지므로 이에 대한 학습이 필요하였고, Spring과의 연동 과정에서 여러 요소들을 배울 수 있었다. 이번 포스팅에서는 배운 내용들을 바탕으로 Spring과 Vector DB 간의 연동에 대해서 상세하게 알아볼 것이다.

Spring과 Vector Database

벡터 데이터베이스는 AI 모델을 학습시키거나 데이터를 분석하는 과정에서 벡터 형태로 데이터를 저장하고 검색할 수 있는 데이터베이스이다. 대표적인 벡터 데이터베이스로는 Pinecone, Weaviate, FAISS 등이 있으며, 이들은 주로 고차원 벡터를 저장하고 유사도를 기반으로 효율적인 검색을 지원하는 데 초점을 맞추고 있다. 벡터 데이터베이스는 복잡한 연산을 빠르게 수행할 수 있는 특수한 인덱싱 기법을 사용하여 AI 및 머신러닝 애플리케이션에서 큰 가치를 지닌다.

벡터 데이터베이스의 이해

벡터 데이터베이스가 무엇인지, 일반적인 관계형 데이터베이스와 어떻게 다른지, 그리고 어떤 경우에 사용하는 것이 적합한지에 대해 깊이 있게 알아보자. 특히 고차원 벡터와 유사도 검색이 필요한 AI 애플리케이션에 왜 벡터 데이터베이스가 적합한지 다루려고 한다.

벡터 데이터베이스란?

벡터 데이터베이스는 벡터 형태의 데이터를 저장하고 유사성을 기반으로 검색할 수 있는 데이터베이스이다. 기존의 관계형 데이터베이스와는 다르게, 고차원 데이터를 효율적으로 저장하고, 특정 벡터와의 유사도를 계산하여 빠르게 검색할 수 있다. 이러한 기능은 이미지 검색, 자연어 처리, 추천 시스템 등 다양한 AI 분야에서 유용하게 사용된다.

벡터 데이터베이스는 특히 대량의 벡터 데이터를 저장하고 빠른 검색이 필요할 때 탁월한 성능을 발휘한다. 예를 들어, 사용자가 올린 이미지와 가장 유사한 이미지를 데이터베이스에서 찾아내는 이미지 검색 시스템을 구축할 때 벡터 데이터베이스는 큰 장점이 된다. 데이터의 특징을 벡터화하여 유사도를 기반으로 검색을 수행하는 것이 기존의 키워드 기반 검색보다 더 정확한 결과를 제공하기 때문이다.

관계형 데이터베이스와의 차이점

관계형 데이터베이스는 정형화된 데이터를 저장하고 SQL을 통해 데이터를 쿼리한다. 반면 벡터 데이터베이스는 고차원 벡터를 저장하며, 이러한 벡터 간의 유사도를 빠르게 계산하여 유사한 데이터를 찾는 데 초점을 맞춘다. 이는 AI 모델에서 데이터의 특징 벡터를 사용해 유사도 기반 검색을 수행하는 데 매우 효과적이다.

벡터 데이터베이스는 특정 패턴이나 유사도를 찾아야 하는 복잡한 작업을 쉽게 처리할 수 있다. 예를 들어, 고객의 구매 이력 데이터를 벡터화하여 고객의 취향과 유사한 상품을 추천하는 개인화된 추천 시스템을 만들 수 있다. 이러한 방식은 일반적인 관계형 데이터베이스로는 어렵고 비효율적이지만, 벡터 데이터베이스를 사용하면 훨씬 효율적으로 처리할 수 있다.

Spring을 사용한 벡터 데이터베이스 매핑하기

기존 벡터 데이터베이스에 저장된 데이터를 Spring을 사용하여 조회하는 방법에 대해 설명하려고 한다. 벡터 데이터베이스에는 {0.3,0.2,0.67} 과 같이 숫자 데이터로 저장되어 있다. 이를 spring에서 어떻게 객체로 맵핑 시킬까 하였는데 jdbc, jpa에서 모두 가능하였다. (역시 jpa의 끝은 없는 것인가..)
기존 프로젝트의 예시를 들어보면서 설명을 하려고 하는데, 벡터 데이터베이스에는 레시피 ID, 레시피 이름, 조리 방법 등이 저장되어 있다. 이제 이 데이터를 Spring을 통해 어떻게 효율적으로 가져올 수 있는지에 대해 알아보자.

쿼리를 이용한 데이터 조회

벡터 데이터베이스에 이미 저장된 레시피 데이터를 조회하기 위해 JDBC Template이나 JPA를 사용할 수 있다. 아래는 벡터 데이터베이스에서 레시피 ID와 레시피 이름을 조회하는 예제를 JDBC Template과 JPA를 각각 사용하는 방법이다.

JDBC Template을 사용한 데이터 조회

Spring의 JDBC Template은 간단히 데이터베이스에 접근하고 쿼리를 실행할 수 있는 도구이다. 벡터 데이터베이스에 저장된 데이터를 읽어오는 방법을 다음 예제를 통해 살펴보자.

import org.springframework.jdbc.core.JdbcTemplate;
import org.springframework.jdbc.core.RowMapper;
import org.springframework.stereotype.Repository;

import java.sql.ResultSet;
import java.sql.SQLException;
import java.util.List;

@Repository
public class RecipeRepository {
    private final JdbcTemplate jdbcTemplate;

    public RecipeRepository(JdbcTemplate jdbcTemplate) {
        this.jdbcTemplate = jdbcTemplate;
    }

    public List<Recipe> findAllRecipes() {
        String sql = "SELECT recipe_id, recipe_name FROM recipe_table";
        return jdbcTemplate.query(sql, new RecipeRowMapper());
    }

    private static class RecipeRowMapper implements RowMapper<Recipe> {
        @Override
        public Recipe mapRow(ResultSet rs, int rowNum) throws SQLException {
            Recipe recipe = new Recipe();
            recipe.setRecipeId(rs.getLong("recipe_id"));
            recipe.setRecipeName(rs.getString("recipe_name"));
            return recipe;
        }
    }
}

JdbcTemplate을 사용하여 벡터 데이터베이스에서 레시피 ID와 레시피 이름을 조회한다. SQL 쿼리를 사용하여 데이터를 가져오고, RecipeRowMapper를 통해 결과를 Recipe 객체로 매핑하여 리스트로 반환한다.

JPA를 사용한 데이터 조회

Spring Data JPA를 사용하여 벡터 데이터베이스에서 데이터를 조회하는 방법도 있다. JPA는 SQL 쿼리를 작성하지 않아도 데이터베이스와 연동할 수 있어 편리하다. 아래 예제는 JPA를 사용하여 레시피 데이터를 조회하는 방식이다.

import org.springframework.data.jpa.repository.Query;
import org.springframework.data.repository.CrudRepository;
import org.springframework.stereotype.Repository;

import java.util.List;

@Repository
public interface RecipeJpaRepository extends CrudRepository<Recipe, Long> {
    @Query("SELECT r.recipeId, r.recipeName FROM Recipe r")
    List<Object[]> findAllRecipeIdsAndNames();
}

위의 RecipeJpaRepository는 JPA를 사용하여 레시피 ID와 이름을 조회하는 쿼리를 정의하였다. @Query 어노테이션을 사용하여 JPQL 쿼리를 작성하고, 결과를 Object[] 형태로 반환한다. 이렇게 조회한 결과는 컨트롤러에서 가공하여 사용할 수 있다.

벡터 데이터베이스와의 직접 통신

벡터 데이터베이스와 Spring JPA를 활용한 연동 방식 외에도, JPA를 사용하지 않고 벡터 데이터베이스와 직접 통신하는 방법이 있다. 이는 벡터 데이터베이스의 구조나 사용 목적에 따라 더 적합할 수 있다. 특히, 벡터 데이터베이스를 유사도 검색이 아닌 단순한 데이터 저장 용도로 사용하는 경우에는 API 호출 방식이 더 직관적이고 간단하게 구현 가능하다.

벡터 데이터베이스 대부분은 REST API 또는 gRPC와 같은 인터페이스를 제공하며, 이를 통해 데이터를 저장하거나 조회할 수 있다. 이 경우 Spring에서 제공하는 RestTemplate이나 WebClient와 같은 HTTP 클라이언트를 활용하면 벡터 데이터베이스와의 통신이 가능하다.

RestTemplate을 사용한 벡터 데이터 저장 및 조회

Spring의 RestTemplate은 HTTP 요청을 간단히 처리할 수 있는 도구로, 벡터 데이터베이스와의 통신에 유용하다. 아래는 벡터 데이터를 저장하는 예제 코드이다.

import org.springframework.stereotype.Service;
import org.springframework.web.client.RestTemplate;

@Service
public class VectorDatabaseService {
    private final RestTemplate restTemplate;

    public VectorDatabaseService(RestTemplate restTemplate) {
        this.restTemplate = restTemplate;
    }

    public String saveVector(double[] vector) {
        String url = "http://your-vector-db-api/vectors";
        return restTemplate.postForObject(url, vector, String.class);
    }

    public double[] getVectorById(String id) {
        String url = "http://your-vector-db-api/vectors/" + id;
        return restTemplate.getForObject(url, double[].class);
    }
}

위 코드에서 saveVector 메서드는 주어진 벡터 데이터를 벡터 데이터베이스에 저장하며, getVectorById 메서드는 ID를 기반으로 벡터 데이터를 조회한다. 이러한 방식은 벡터 데이터베이스의 REST API와 간단하게 통신할 수 있도록 해준다.

WebClient를 사용한 비동기 통신

WebClient는 Spring WebFlux의 일부로, 비동기 방식으로 HTTP 요청을 처리할 수 있다. 벡터 데이터베이스와의 통신이 비동기적으로 이루어져야 한다면 WebClient를 활용하는 것이 적합하다.

import org.springframework.stereotype.Service;
import org.springframework.web.reactive.function.client.WebClient;
import reactor.core.publisher.Mono;

@Service
public class VectorDatabaseService {
    private final WebClient webClient;

    public VectorDatabaseService(WebClient.Builder webClientBuilder) {
        this.webClient = webClientBuilder.baseUrl("http://your-vector-db-api").build();
    }

    public Mono<String> saveVectorAsync(double[] vector) {
        return webClient.post()
                .uri("/vectors")
                .bodyValue(vector)
                .retrieve()
                .bodyToMono(String.class);
    }
}

saveVectorAsync 메서드는 벡터 데이터를 비동기적으로 저장하며, 반환값으로 Mono 객체를 제공한다. 이를 통해 비동기 처리를 보다 효율적으로 구현할 수 있다.

직접 통신의 장점

• 단순화된 구현: 벡터 데이터를 저장하거나 조회하는 과정이 간단하며, JPA와 같은 ORM을 설정하지 않아도 된다.
• 직관적인 데이터 관리: 벡터 데이터베이스가 제공하는 REST API의 기능을 그대로 사용할 수 있다.
• 유연성: 프로젝트의 필요에 따라 동기 또는 비동기 방식으로 데이터를 처리할 수 있다.

위 방법들은 Spring JPA 대신 벡터 데이터베이스와 통신하는 데 유용하며, 프로젝트에서 벡터 데이터를 유사도 검색 없이 저장 및 조회하는 경우 효율적인 방법이 될 수 있다.

벡터 데이터베이스 연동 시 고려 사항

벡터 데이터베이스의 성능 최적화

벡터 데이터베이스의 성능을 최적화하는 것은 중요한 고려 사항이다. 벡터 데이터는 고차원 특성을 가지므로 데이터베이스에서 검색하는 데 시간이 오래 걸릴 수 있다. 이러한 문제를 해결하기 위해 인덱싱 및 효율적인 쿼리 사용을 고려해야 한다. 벡터 데이터베이스의 경우 HNSW (Hierarchical Navigable Small World)와 같은 인덱싱 기술을 사용하면 검색 속도를 크게 향상시킬 수 있다. 인덱싱은 유사도 검색 시 검색 범위를 좁혀줌으로써 성능을 개선한다. 또한, 인덱스를 효과적으로 관리하고 최적화된 인덱싱 구조를 유지하는 것이 매우 중요하다.

벡터 데이터베이스와 Spring 통합 시 고려하면 좋은 요소

데이터 캐싱 전략

벡터 데이터베이스에서 데이터를 자주 조회하는 경우, 캐싱을 통해 성능을 크게 향상시킬 수 있다. Spring에서 Redis와 같은 캐시 솔루션을 사용하여 자주 접근하는 데이터를 메모리에 저장해두면 데이터베이스의 부하를 줄이고 응답 시간을 단축할 수 있다. 특히, 특정 레시피 데이터를 반복적으로 요청하는 경우 캐시를 사용하여 네트워크 트래픽을 감소시키고 빠른 응답을 제공할 수 있다. 캐시는 데이터를 미리 메모리에 로드함으로써 검색을 최적화하고 애플리케이션의 사용자 경험을 개선한다.

import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;

@Service
public class CachedRecipeService {
    private final RecipeRepository recipeRepository;

    public CachedRecipeService(RecipeRepository recipeRepository) {
        this.recipeRepository = recipeRepository;
    }

    @Cacheable("recipes")
    public List<Recipe> getAllRecipes() {
        return recipeRepository.findAllRecipes();
    }
}

위 코드에서는 @Cacheable 어노테이션을 사용하여 레시피 데이터를 캐싱하고 있다. 이로써 동일한 요청이 반복될 경우 캐시된 데이터를 사용하게 된다. 캐싱은 검색에 소요되는 시간을 줄이고, 시스템 리소스의 효율적인 사용을 도와준다.

차원 축소 기법 활용

벡터 데이터가 고차원일 경우 데이터의 복잡도가 높아져 검색 성능에 영향을 미칠 수 있다. 이를 해결하기 위해 차원 축소(Dimensionality Reduction) 기법을 활용할 수 있다. PCA (Principal Component Analysis)나 t-SNE 같은 기법은 벡터의 차원을 줄여주며, 이를 통해 검색 속도와 메모리 사용량을 최적화할 수 있다. 차원 축소 후의 데이터는 원래의 데이터보다 적은 공간을 차지하면서도 비슷한 유사도를 유지할 수 있다. 이러한 기법은 데이터 처리의 효율성을 높이고 저장 공간을 절약하는 데 도움을 줄 수 있다.

마무리

벡터 데이터베이스는 AI 기반 애플리케이션에서 고차원 데이터를 효율적으로 저장하고 검색하는 데 강력한 도구이다. Spring을 사용하여 벡터 데이터베이스와 통합하면 이러한 데이터를 읽어와서 애플리케이션에 유용하게 활용할 수 있다. 이번 포스팅에서는 JDBC Template과 JPA를 활용하여 벡터 데이터베이스에서 데이터를 조회하는 방법을 소개했으며, 성능 최적화 전략, 캐싱 및 차원 축소 기법과 같은 추가적인 고려 사항들에 대해서도 설명하였다. 이러한 기술을 잘 활용하여 벡터 데이터베이스와의 통합을 효율적으로 구현하고, AI 애플리케이션의 성능을 극대화할 수 있으면 좋겠다.