Pre-Signed URL

💡 S3 버킷에서 사용자에게 파일을 반환하거나 사용자가 파일을 S3 버킷에 안전하게 업로드 해야하는 상황에서 주로 사용

I. Pre-Signed URL 이란?

✅ 사용자에게 미리 서명된 URL을 제공하여 이를 이용하여 S3 버킷에 접근 권한을 설정해 줄 수 있음

✅ 이때, 미리 서명된 URL은 URL을 아는 모든 사람에게 Amazon S3 버킷에 대한 액세스 권한을 부여하므로 적절하게 접근 권한 및 만료 시간을 설정해주어야 한다.

• 모든 객체는 기본적으로 비공개
• 소유자만 액세스 가능하도록 권한 설정
• 보안 자격 증명을 이용해 미리 서명된 URL을 생성하여 개체를 다운로드 할 수 있는 시간 제한을 부여 → 선택적으로 다른 사람과 개체를 공유함

💡 브라우저: 나 이미지 올릴래. 올릴 수 있는 URL 줘봐 서버: ㅇㅋ 기달 서버: 야 presigned url 줘봐. aws: 자. 서버: ㄱㅅ. 브라우저야 여기 있다. 브라우저: 업로드 완료!

필요한 상황

1. 가정: S3 버킷에서 일부 파일을 호스팅하고 이를 사용자에게 노출해야 함
   1. 버킷을 오픈된 상태로 설정하고 싶지 않음.
   2. 이러한 파일에 대한 액세스를 일부 제어하고 싶음.
      1. 사용자가 파일에 액세스 할 수 있는 시간을 제한
2. 해결: 미리 서명된 URL을 통해 사용자가 문서를 업로드 하거나 원하는 파일을 S3 버킷에 저장하도록 만들 수 있음

💡 지금 해당 서비스에 필요한 이유?

• 기존의 프론트에서 이미지 보내주면 node에서 multer로 처리하여 이미지를 받아와서 S3 버킷에 저장하는 방식의 발전
  • 서버에 무리?
  • 이후 서비스가 더 커졌을 때, 이미지 뿐만 아니라 결과물인 문서 파일의 용량이 커지게 된다면?
• 보안

절차

1. 자격증명 사용: URL을 생성할 때, AWS의 자격증명(예: 액세스 키 ID와 비밀 액세스 키)을 사용하여 요청을 서명합니다. 이 서명은 요청이 AWS 계정의 소유자로부터 왔음을 증명합니다.
2. signedHeaders 포함: 서명을 생성할 때, 선택적으로 signedHeaders 매개변수를 포함시켜 특정 HTTP 헤더를 요청의 일부로 지정합니다. 이는 서명의 일부가 되며, 요청 검증 시 확인됩니다.
3. 서명 및 만료 검증: 요청이 S3에 도착하면, S3는 제공된 서명을 검증하고, URL의 만료 시간이 아직 지나지 않았는지 확인합니다. 서명이 유효하고 URL이 아직 만료되지 않았다면, 요청은 승인됩니다.

이상적인 설정

✅ 특정 리소스에 대해 미리 서명된 URL을 생성하여, 이를 클라이언트로 반환하기 위한 제한된 자격증명이 있는 전용 백엔드 서비스를 보유

II. 특징

대부분 AWS의 SDK 기능을 사용하여 구성, 생성 된다.

✅ S3가 선택적 signedHeaders 매개변수를 계산에 포함하고 서명이 유효한지, 링크가 아직 만료되지 않았는지 확인하는 것을 포함하여 지정된 자격증명에 대해 동일한 서명을 계산하려고 시도한다는 것.

III. 프로젝트에 적용시켜보자

1) pre-signed url vs pre-signed post?

처음에는 get요청이 맞다고 판단하여 get요청으로 코드를 작성했다. 그리고 예시로 찾아본 코드 모두 presigned url을 get으로 작성했기 때문.

하지만, 클라이언트 단에서 최대 10개의 파일명을 보내주어야했기 때문에, query로 하기 어려울 것 같았다. 그래서 검색해보니, presigned post라는 것이 있었다. gpt에게 자세히 물어보자!

요약하자면 presigned url은 다운로드에 사용되고, presigned post는 업로드에 사용된다는 것!

2) code

1️⃣ controller

const express = require('express');
const router = express.Router();
const {
    generateUploadPresignedUrls,
    generateDownDelPresignedUrls,
    parseFileType,
    parseFileName,
} = require('../utils/presigned_file');
const env = process.env;
objectKeys = [];

// 클라이언트에게 putObject presignedURL을 반환
async function postPresigned(req, res, next) {
    const { files, inspection_area_id, size, label } = req.body;

    const fileType = parseFileType(files);
    const bucketName = env.BUCKET;

    console.log(files, fileType, inspection_area_id);

    try {
        // 업로드를 위한 presignedURL 생성
        const presignedUrl = await generateUploadPresignedUrls(
            files,
            fileType,
            bucketName,
            'putObject'
        );

        objectKeys = presignedUrl.map((item) => item.key);

        res.status(200).send({
            data: { presignedUrl },
        });

        console.log(objectKeys);
    } catch (error) {
        console.error('Failed to generate presigned URL', error);
        res.status(500).send('Failed to generate presigned URL');
    }
}

module.exports.postPresigned = postPresigned;

// 클라이언트에게 getObject presignedURL을 반환
async function getPresigned(req, res, next) {
    const { files, inspection_area_id, size, label } = req.body;
    //body로 파일명과 MIME type
    const fileType = parseFileType(files); //db 조회
    const bucketName = env.BUCKET;
    console.log(files, fileType, inspection_area_id);

    try {
        const presignedUrl = await generateDownDelPresignedUrls(
            objectKeys,
            fileType,
            bucketName,
            'getObject'
        );
        res.status(200).send({
            data: { presignedUrl },
        });
        console.log('Success to generate presigned URL');
    } catch (error) {
        console.error('Failed to generate presigned URL', error);
        res.status(500).send('Failed to generate presigned URL');
    }
}

module.exports.getPresigned = getPresigned;

// 클라이언트에게 deleteObject presignedURL을 반환
async function deletePresigned(req, res, next) {
    const { files, inspection_area_id, size, label } = req.body;
    //body로 파일명과 MIME type
    console.log(objectKeys);
    const fileType = parseFileType(files); //db 조회
    const bucketName = env.BUCKET;

    try {
        // 업로드를 위한 presignedURL 생성
        const presignedUrl = await generateDownDelPresignedUrls(
            objectKeys,
            fileType,
            bucketName,
            'deleteObject'
        );
        res.status(200).send({
            data: { presignedUrl },
        });
        console.log('Success to generate presigned URL');
    } catch (error) {
        console.error('Failed to generate presigned URL', error);
        res.status(500).send('Failed to generate presigned URL');
    }
}

module.exports.deletePresigned = deletePresigned;

2️⃣ 함수

const {
    S3Client,
    GetObjectCommand,
    PutObjectCommand,
    DeleteObjectCommand,
} = require('@aws-sdk/client-s3');
const { getSignedUrl } = require('@aws-sdk/s3-request-presigner');
const env = process.env;

// AWS 정보
const s3Client = new S3Client({
    region: 'ap-northeast-2',
    credentials: {
        accessKeyId: env.AWS_ACCESS_KEY_ID,
        secretAccessKey: env.AWS_SECRET_ACCESS_KEY,
    },
});

function parseFileName(files) {
    return files.map((file) => {
        const dotIndex = file.lastIndexOf('.');
        const fileName = file.substring(0, dotIndex);
        return fileName;
    });
}
module.exports.parseFileName = parseFileName;

function parseFileType(files) {
    return files.map((file) => {
        const dotIndex = file.lastIndexOf('.');
        const fileType = file.substring(dotIndex);

        switch (fileType) {
            case '.pdf':
                return 'application/pdf';
            case '.docx':
                return 'application/vnd.openxmlformats-officedocument.wordprocessingml.document';
            case '.xlsx':
                return 'application/vnd.openxmlformats-officedocument.spreadsheetml.sheet';
            case '.hwp':
                return 'application/hwp';
            case '.txt':
                return 'text/plain';

            case '.zip':
                return 'application/zip';

            case '.mp4':
                return 'video/mp4';

            case '.heif':
                return 'image/heif';
            case '.jpeg':
                return 'image/jpeg';
            case '.png':
                return 'image/png ';

            default:
                return 'application/octet-stream'; // 기본값으로, 알려지지 않은 파일 타입 처리
        }
    });
}
module.exports.parseFileType = parseFileType;

// 여러개의 pre-signed url 생성
async function generateUploadPresignedUrls(files, fileTypes, bucketName, operation) {
    return Promise.all(
        files.map(async (file, index) => {
            const fileType = fileTypes[index];
            const objectKey = `presigned/${file.substring(
                0,
                file.indexOf('.')
            )}_${Date.now()}.${file.substring(file.indexOf('.') + 1)}`;

            // 개별 presignedurl을 생성하기 위한 함수 호출
            const presignedUrl = await generatePresignedUrl(
                bucketName,
                fileType,
                objectKey,
                operation
            );
            return {
                url: presignedUrl,
                bucket: bucketName,
                key: objectKey,
            };
        })
    );
}

async function generateDownDelPresignedUrls(
    objectKeys,
    fileTypes,
    bucketName,
    operation
) {
    return Promise.all(
        objectKeys.map(async (objectKey, index) => {
            const fileType = fileTypes[index];
            // 개별 presignedurl을 생성하기 위한 함수 호출
            const presignedUrl = await generatePresignedUrl(
                bucketName,
                fileType,
                objectKey,
                operation
            );
            return {
                url: presignedUrl,
                bucket: bucketName,
                key: objectKey,
            };
        })
    );
}

// 개별 파일에 대한 pre-signed url 생성 (put, get, delete)
async function generatePresignedUrl(bucketName, fileType, objectKey, operation) {
    let command;
    // 업로드를 위한 url 생성 시, command === putObject
    if (operation === 'putObject') {
        command = new PutObjectCommand({
            Bucket: bucketName,
            Key: objectKey,
            ContentType: fileType,
        });
        // 다운로드를 위한 url 생성 시, command === getObject
    } else if (operation === 'getObject') {
        command = new GetObjectCommand({
            Bucket: bucketName,
            Key: objectKey,
            ContentType: fileType,
        });
        // 삭제를 위한 url 생성 시, command === delteObject
    } else if (operation === 'deleteObject') {
        command = new DeleteObjectCommand({
            Bucket: bucketName,
            Key: objectKey,
            ContentType: fileType,
        });
    }

    try {
        // 유효시간 1시간 설정 (60*60)
        const url = await getSignedUrl(s3Client, command, { expiresIn: 60 * 60 });
        return url;
    } catch (err) {
        console.error('Error generating presigned URL', err);
        throw err;
    }
}

module.exports.generateUploadPresignedUrls = generateUploadPresignedUrls;

module.exports.generateDownDelPresignedUrls = generateDownDelPresignedUrls;