오늘은 프로젝트를 진행하며 이미지를 저장하고 업로드 하기 위해 AWS S3 버킷과 스프링 프로젝트를 연동하여 사용하는 방법을 정리해보겠습니다.

AWS S3란?

AWS S3란 Simple Storage Service의 약자로, 주로 파일 서버에 이용됩니다.

• 모든 종류의 데이터를 원하는 형식으로 저장
• 저장할 수 있는 데이터의 전체 볼륨과 객체 수에는 제한이 없음
• Amazon S3는 간단한 key 기반의 객체 스토리지이며, 데이터를 저장 및 검색하는데 사용할 수 있는 고유한 객체 키를 할당.
• Amazon S3는 간편한 표준 기반 REST 웹 서비스 인터페이스를 제공

AWS S3를 사용하는 이유

여러가지가 있겠지만, 아래 두가지 이유가 가장 큽니다.

• 확장성(Scalability) : 파일 서버는 트래픽이 증가함에 따라 서버 인프라 및 용량 계획을 변경해야 되는데, S3가 확장 및 성능 부분을 대신 처리해준다.

• 내구성(Durability) : 여러 영역에 여러 데이터 복사본을 저장하므로 한 영역이 다운되더라도 데이터를 사용할 수 있고, 복구가 가능하다.

Bucket (버킷)

버킷은 다수의 객체를 관리하는 컨테이너로, 파일 시스템이라고 생각하면 됩니다.

Object (객체)

파일과 파일 정보로 구성된 저장단위로, 파일 이라고 생각하면 됩니다.

---

AWS S3 설정

이제 본격적으로 AWS S3를 사용해보도록 하겠습니다.

1. 버킷 생성

버킷 생성하는 과정은 생략하도록 하겠습니다. 인터넷에서 잘 나와있기에 혹시라도 어려우신 분들은 여기를 참고하여 진행하시면 될 것 같습니다.

2. 스프링 환경 설정

먼저 의존성을 아래와 같이 추가해줍니다.

implementation 'org.springframework.cloud:spring-cloud-starter-aws:2.2.6.RELEASE'

이어서 appplication-aws.yml 파일을 생성하여 원래 존재하던 yml에 설정 정보를 추가하고, 새로운 파일에는 필요한 설정을 해주겠습니다.

#기존 application.yml에 코드 추가
spring:
  profiles:
    include: jwt, aws #jwt.yml 불러오기

이어서 appplication-aws.yml는 아래와 같이 설정해줍니다.

cloud:
  aws:
    s3:
      bucket: <버킷 이름>
    stack.auto: false
    region.static: ap-northeast-2
    credentials:
      accessKey: <발급 받은 accessKey>
      secretKey: <발급 받은 secretKey>

여기서 매우 중요한 점은, 새로 만든 application-aws.yml은 꼭!!!! .gitginore에 넣어 외부에 공개되지 않도록 해주어야 합니다.

안그러면 가끔 뉴스에 나오듯, 해킹 당해 엄청난 요금 폭탄을 맞을 수 있습니다.

• cloud.aws.stack.auto=false : EC2에서 Spring Cloud 프로젝트를 실행시키면 기본으로 CloudFormation 구성을 시작하기 때문에 설정한 CloudFormation이 없으면 프로젝트 실행이 되지 않는다. 해당 기능을 사용하지 않도록 false로 설정 합니다.

• cloud.aws.region.static:ap-northeast-2 : 리전을 한국으로 고정해둡니다.

3. 스프링 설정 추가

S3Config.java 파일을 만들어 설정을 진행해주도록 하겠습니다.

@Configuration
public class S3Config {
	@Value("${cloud.aws.credentials.access-key}")
	private String accessKey;
	@Value("${cloud.aws.credentials.secret-key}")
	private String secretKey;
	@Value("${cloud.aws.region.static}")
	private String region;

	@Bean
	public AmazonS3Client amazonS3Client() {
		BasicAWSCredentials awsCredentials= new BasicAWSCredentials(accessKey, secretKey);
		return (AmazonS3Client) AmazonS3ClientBuilder.standard()
				.withRegion(region)
				.withCredentials(new AWSStaticCredentialsProvider(awsCredentials))
				.build();
	}
}

@Value 애노테이션을 통해 yml 파일에 있는 값을 받아옵니다. 이 값들을 이용하여 AmamzonS3Client 빈을 생성하여 리턴해줍니다.

4. AwsFileService 생성

이제 실제 Aws S3에 파일을 저장하는 역할을 수행하는 Service 클래스를 생성해보도록 하겠습니다.

@Service
@RequiredArgsConstructor
@Transactional
@Slf4j
public class AwsFileService implements FileService{

	private final AmazonS3Client amazonS3Client;

	@Value("${cloud.aws.s3.bucket}")
	private String bucket;

	private String PROFILE_IMG_DIR = "profile/";
	private String MEMBER_IMG_DIR = "member/";
	@Override
	public String savePhoto(MultipartFile multipartFile, Long memberId) throws IOException {
		File uploadFile = convert(multipartFile)  // 파일 변환할 수 없으면 에러
				.orElseThrow(() -> new IllegalArgumentException("error: MultipartFile -> File convert fail"));
		return upload(uploadFile, MEMBER_IMG_DIR, memberId);
	}

	@Override
	public String saveProfileImg(MultipartFile multipartFile, Long memberId) throws IOException {
		File uploadFile = convert(multipartFile)  // 파일 변환할 수 없으면 에러
				.orElseThrow(() -> new IllegalArgumentException("error: MultipartFile -> File convert fail"));
		return upload(uploadFile, PROFILE_IMG_DIR, memberId);
	}

	// S3로 파일 업로드하기
	private String upload(File uploadFile, String dirName, Long memberId) {
		String fileName = dirName + memberId  + "/" + UUID.randomUUID() + uploadFile.getName();   // S3에 저장된 파일 이름
		String uploadImageUrl = putS3(uploadFile, fileName); // s3로 업로드
		removeNewFile(uploadFile);
		return uploadImageUrl;
	}

	// S3로 업로드
	private String putS3(File uploadFile, String fileName) {
		amazonS3Client.putObject(new PutObjectRequest(bucket, fileName, uploadFile).withCannedAcl(
				CannedAccessControlList.PublicRead));
		return amazonS3Client.getUrl(bucket, fileName).toString();
	}

	// 로컬에 저장된 이미지 지우기
	private void removeNewFile(File targetFile) {
		if (targetFile.delete()) {
			log.info("File delete success");
			return;
		}
		log.info("File delete fail");
	}

	// 로컬에 파일 업로드 하기
	private Optional<File> convert(MultipartFile file) throws IOException {
		File convertFile = new File(System.getProperty("user.home") + "/" + file.getOriginalFilename());
		if (convertFile.createNewFile()) { // 바로 위에서 지정한 경로에 File이 생성됨 (경로가 잘못되었다면 생성 불가능)
			try (FileOutputStream fos = new FileOutputStream(convertFile)) { // FileOutputStream 데이터를 파일에 바이트 스트림으로 저장하기 위함
				fos.write(file.getBytes());
			}
			return Optional.of(convertFile);
		}
		return Optional.empty();
	}

	public void createDir(String bucketName, String folderName) {
		amazonS3Client.putObject(bucketName, folderName + "/", new ByteArrayInputStream(new byte[0]), new ObjectMetadata());
	}
}

주석에 설명을 최대한 많이 달아놓았습니다. 대략적으로 멤버의 프로필 사진은 /profile/{memberId} 하위에 저장되도록, 그냥 일반 사진은 /member/{memberId} 하위에 저장되도록 구현하였습니다.

여기서 하나 알아봐야 할 점은, Local 파일로 변환한 후 저장하는 로직입니다. 굳이 로컬로 저장 후 업로드 하게 한 이유는 아래와 같습니다.

1. 네트워크 안정성

파일을 로컬에 저장하면 업로드 프로세스를 어느 정도 제어할 수 있습니다. 업로드 중에 네트워크 중단이 발생하는 경우 전체 콘텐츠를 다시 가져오지 않고도 로컬 파일에서 프로세스를 재개할 수 있습니다.

2. 오류 처리 및 검증

로컬 저장소를 사용하면 실제 업로드 전에 로컬 유효성 검사 및 오류 검사가 가능합니다. 파일 내용, 형식 또는 크기를 확인하고 Amazon S3로 전송하기 전에 문제를 처리할 수 있습니다.

3. 보안 및 액세스 제어

로컬 저장소를 사용하면 파일이 클라우드로 전송되기 전에 파일 권한 및 액세스 제어를 제어할 수 있습니다. 파일이 Amazon S3에 도달하기 전에 로컬 보안 조치와 정책을 적용할 수 있습니다.

4. 최적화

로컬 저장소를 사용하면 요구 사항에 따라 파일을 압축하거나 다른 변환을 적용하는 등 업로드할 파일을 최적화할 수 있습니다. 이렇게 하면 네트워크를 통해 전송되는 데이터의 양을 줄이는 데 도움이 됩니다.

5. 오프라인 처리

일부 시나리오에서는 파일을 업로드하기 전에 로컬에서 처리해야 할 수도 있습니다. 여기에는 로컬에서 가장 잘 수행되는 암호화, 데이터 유효성 검사 또는 형식 변환과 같은 작업이 포함될 수 있습니다.

---

이렇게 구현을 할 수도 있지만, 꼭 이렇게 해야한다 라거나 이렇게 하면 다른 방법에 비해서 엄청 좋다는 아닌 것 같습니다. 최대한 쉽게 구현한, 여러 방법 중 하나라고 생각하고 봐주시면 감사하겠습니다.