Docker : no space left on device
·
TIL
ec2 서버에서 도커 컴포즈 실행시 no space left on device 오류가 떴다. df -h 명령어로 디스크 사용량을 확인하면100%를 사용하고 있다 남은 공간이 없음 아래 명령어를 사용하여docker system prune -a --volumesDocker에서 사용하지 않는 컨테이너, 이미지, 네트워크, 볼륨을 모두 정리하여 디스크 공간을 최대한 확보하려고 하였으나, 여전히 같은 오류가 났다ㅜ 인스턴스 메모리의 문제인가싶어메모리를 늘려도 봤으나 문제가 해결되지 않았다. 메모리(램)과 디스크(스토리지)는 서로 다른 자원이라 디스크 공간이 부족한데 메모리를 늘려도 소용이 없는 것이다^^ㅎ;  우선 ec2 인스턴스의 볼륨을 확장 시켜야한다!https://ap-northeast-2.console.a..
docker compose, kafka 그리고 TimeoutException
·
TIL
zookeeper: image: wurstmeister/zookeeper:latest platform: linux/amd64 ports: - "2181:2181" environment: ZOOKEEPER_CLIENT_PORT: 2181 ZOOKEEPER_TICK_TIME: 2000 networks: - image_network kafka: image: wurstmeister/kafka:latest platform: linux/amd64 ports: - "29092:29092" - "9092:9092" environment: KAFKA_ADVERTISED_LISTENERS: INSIDE://ka..
[TIL 2024/10/15] MSA 프로젝트 Docker로 실행하기
·
TIL
msa 프로젝트를 배포하는 과정에서..각 서비스마다./gradlew buildjava -jar ~~ 를 실행해주고 있자 하니이게 무슨 노가다인가 싶다.실행시켜야 할 서비스가 무려 7개다!!!!! 사실 로컬에서도 각 서비스를 개별로 run 시켜주고 있으니서버 배포도 별 다를 게 없는거다..ㅎㅎ^^ 로컬부터 실행을 도커로 해보자! Dockerfile# build 에서 사용할 이미지FROM gradle:8.10.1-jdk17 AS buildWORKDIR /appARG FILE_DIRECTORYCOPY $FILE_DIRECTORY /appRUN gradle clean bootJar# 실제 컨테이너로 만들 이미지 베이스FROM openjdk:17-jdk-slim# build 단계로부터 파일을 가져올 수 있음!# ..
[WIL] 프로젝트 3주차
·
카테고리 없음
10/7 1. DB서버 분리 (data server 생성)2. upload시 feignclient 타도록 수정 10/8 1.서버 이름 더 명확하게 바꾸기internal → processingurl → fetch2.대용량 처리서버를 여러 개 띄워서..?쿠버네티스도커컴포즈 레플리카3.이미지 프로세싱 서버는 가능하면 목적별로 띄우는 게 좋다.(리사이징의 경우 부담이 큼)WebP convertor리사이징 서버등등10/9 이미지 업로드 실패 시 동작 구상@Retryable@Recover 10/10 1. 발표자료 정리 (트러블슈팅, 기술적 의사결정)2.이미지 업로드 시 originalUUID 넣는 로직 수정@PrePersist 제거 → Image 엔티티 클래스에서 메서드 생성하여 삽입 3. 업로드 실패 시 로직에 ..
파일 업로드 NoSuchFileException
·
카테고리 없음
https://girokeulhaja.tistory.com/55 CompletableFuture 비동기 처리로 응답 속도 향상 시키기기존 코드 Controller@PostMappingpublic ResponseEntity uploadImage(@RequestParam("file") MultipartFile file) { try { // 1. DB에 파일 메타데이터 저장 및 응답 ImageResponse imageResponse = uploadService.saveImageMetadata(file); // 2. 비동girokeulhaja.tistory.com 위 코드를 제대로 테스트 안 하고 응답 속도 개선만 확인했더니 대참사가 일어났다 ㅎㅎbaboㅠ 바로 NoSuchFileException 에러가 계속 ..
CompletableFuture 비동기 처리로 응답 속도 향상 시키기
·
카테고리 없음
기존 코드 Controller@PostMappingpublic ResponseEntity uploadImage(@RequestParam("file") MultipartFile file) { try { // 1. DB에 파일 메타데이터 저장 및 응답 ImageResponse imageResponse = uploadService.saveImageMetadata(file); // 2. 비동기적으로 MinIO에 파일 저장 uploadService.uploadImage(file, imageResponse); return ResponseEntity.ok(imageResponse.getOriginalFileUUID()); } catch (Exc..
[JMeter] 이미지 업로드 부하 테스트
·
카테고리 없음
1.https://jmeter.apache.org/download_jmeter.cgi Apache JMeter - Download Apache JMeterDownload Apache JMeter We recommend you use a mirror to download our release builds, but you must verify the integrity of the downloaded files using signatures downloaded from our main distribution directories. Recent releases (48 hours) may not yet be avajmeter.apache.org사이트에서 Binaries의 압축파일을 다운받아 압축을 해제 2. bi..
[WIL] 프로젝트 2주차
·
TIL
9/30   Image Upload Serverclient ➡️ 백엔드 서버로 이미지 업로드 요청이 들어온다.백엔드 서버 ➡️ 이미지 서버로 업로드 요청이 들어온다.원본 이미지를 minio/s3에 저장한다.3-1. 이미지 서버 데이터를 db에 저장한다.Queue에 작업을 넣은 후 비동기적으로 메타데이터 수정이나 리사이징 같은 추가 작업이 Internal Image Server에서 동작한다.Image URL Serverclient ➡️ 백엔드 서버로 이미지 조회/다운로드 요청이 들어온다.백엔드 서버 ➡️ 이미지 서버로 조회/다운로드 요청이 들어온다.요청 하는 이미지 정보를 db에서 가져온다.db에서 가져온 정보로 cdn을 확인한다.이미지가 없다면 minio/s3에서 이미지 url을 가져온다. 10/1 1...
[TIL 2024/10/01] docker db 연결 오류
·
TIL
매번 db 실행은 로컬에 직접 설치하여 진행했었는데이번 프로젝트에서는 docker로 실행해보고자 한다. docker-compose.ymlservices: server-data-db: container_name: server_data_db image: postgres restart: always ports: - "5432:5432" environment: POSTGRES_USER: server_data_db POSTGRES_PASSWORD: server_data_db POSTGRES_DB: server_data volumes: - server_data_db:/var/lib/postgresql/data  application.ym..
[TIL 2024/09/30] 이미지 서버 모듈
·
TIL
Image Upload Server1. client ➡️ 백엔드 서버로 이미지 업로드 요청이 들어온다.2. 백엔드 서버 ➡️ 이미지 서버로 업로드 요청이 들어온다.3. 원본 이미지를 minio/s3에 저장한다.3-1. 이미지 서버 데이터를 db에 저장한다.4. Queue에 작업을 넣은 후 비동기적으로 메타데이터 수정이나 리사이징 같은 추가 작업이 Internal Image Server에서 동작한다. Image URL Server1. client ➡️ 백엔드 서버로 이미지 조회/다운로드 요청이 들어온다.2. 백엔드 서버 ➡️ 이미지 서버로 조회/다운로드 요청이 들어온다.3. 요청 하는 이미지 정보를 db에서 가져온다.4. db에서 가져온 정보로 cdn을 확인한다.5. 이미지가 없다면 minio/s3에서 이..