분류 전체보기 (166) 썸네일형 리스트형 [230829] SSE 서버 분리하기 SSE 서버 분리 💬 기존 서버의 API를 응답 Latency를 낮추기 위해 SSE 서버의 분리가 필요했습니다. 그래서 기존 서버와 동일한 c5.large를 사용하여 SSE 서버를 하나 띄우기로 했습니다. ✔ 서버 분리 순서 1. SSE 코드를 위한 Repository 생성 및 코드 분리 2. AWS EC2 Instance(c5.large) 생성 3. SSE 서버 CI/CD 구축 ✔ SSE 코드를 위한 Repository 생성 및 코드 분리 💬 별도의 SSE 서버를 띄우기 위해 먼저 Repository를 생성하고 코드를 분리하기로 했습니다. 그리고 추가적으로 SSE에 필요한 설정 정보를 idea-rush-security Repository에 추가했습니다. GitHub - final-idea-rush/i.. [230828] 입찰 API 응답 Average Latency 속도 문제 입찰 API 응답 Average Latency 속도가 느림 💬 입찰 API 로직 개선 이후 Jmeter로 테스트를 진행했습니다. 테스트는 SSE 1500명 연결에 입찰 1분에 1만 건을 보내는 것이었습니다. 테스트 결과를 보니 평균적으로 Average Latency가 약 1.6초 정도가 나오는 것을 확인했습니다. Latency가 1초 이내에 왔으면 하기 때문에 문제의 원인을 확인해 보기로 했습니다. ✔ 문제 원인 가정 - 01 💬 SSE에서 이벤트를 클라이언트에게 보낼 때 For문을 돌게 됩니다. 1500명의 유저에게 각 입찰마다 데이터를 보내다 보니 이것으로 인해 속도가 느려진다고 가정을 해보았습니다. 그래서 실제로 맞는지 테스트를 해보았습니다. 1. SSE 1500명 연결, 1분 1만 건 입찰 요청,.. [ 230827 ] 37주차 회고 일주일 간 진행한 내용 1. 입찰 API 성능 테스트 3. 입찰 API 성능 개선 입찰 API 성능 테스트 [진행] 입찰 API 성능 테스트를 진행했다. EC2 Instance t2.micro 서버로 Jmeter를 통해 요청을 보냈다. 먼저 SSE를 연결을 했다. SSE 연결이 완료되는 것을 확인하고 입찰 API를 1,000건씩 늘리며 보냈다. 이후 Jmeter의 결과에 대한 정보와 netdata에 기록되는 CPU, Memory 정보를 저장했다. 그걸 서버에서 에러가 날 때까지 계속해서 진행했다. 그리고 여기에 대한 결과를 가지고 팀원과 이야기를 하며 어떤 방향으로 나아갈지 정했다. [생각] 입찰 API 성능 테스트를 해보는 것은 어렵지 않았다. 하지만 거기에서 만나는 여러 가지 에러들이 나를 힘들게 했.. [230827] 입찰 API 병목 현상 로직 수정 입찰 API 로직 개선 💬 입찰 API 로직에서 95%정도 차지하는 SSE를 통해 이벤트를 클라이언트로 전송하는 로직을 분리를 하기로 했습니다. ✔ 로직 수정 기준 1. SSE 전송은 순서가 보장이 되어야 했습니다. ➡ 입찰된 가격이 순서가 보장이 되지 않는다면 실시간 경매에 정상적으로 진행이 되지 않을 것입니다. ➡ 그동안 트랜잭션에서 걸린 비관적 락 때문에 순서가 보장되고 있었습니다. 2. SSE 전송이 분리가 되거나, 비동기로 이루어지도록 만들어야 했습니다. ➡ 병목을 해결하기 위해 트랜잭션 처리 시간이 줄어들어야 하기 때문입니다. ✔ 로직 수정 후보군 1. Java에서 제공하는 ExecutorService ➡ BlockingQueue를 통해 SSE 전송 순서를 보장해줍니다. ➡ 별도의 스레드를 생.. [230826] 입찰 API 병목 현상 로직 점검 입찰 API 로직 점검 💬 입찰 API에서 생기는 병목 현상을 해결하기 위해 로직을 확인했습니다. 로직의 중요 부분의 수행 시간을 측정하고 로그를 찍어서 확인했습니다. ✔ 로직 수행 시간 측정 로그 💬 Slf4j를 사용해서 로그를 출력했습니다. 하지만 화면에 출력된 로그는 DEBUG, ERROR, INFO 등 모두 찍혔습니다. 수행 시간만 별도로 확인을 하기 위해 INFO로 설정해 출력했으며, logback을 사용해 별도의 파일에 저장을 했습니다. 1. Dependency 추가 implementation ( 'ch.qos.logback:logback-classic:1.4.11', 'ch.qos.logback:logback-core:1.4.11', ) 2. logback.xml 작성 INFO ACCEPT .. [230825] 입찰 테스트 중 겪은 Jmeter 한계 Scale-Up으로 인한 성능 테스트 💬 AWS EC2 Instance를 t2.micro에서 c5.large로 업그레이드한 후에 입찰 성능 향상이 얼마나 되었는지 확인을 해야 했습니다. 병목 현상이 어느 정도 완화가 되었는지 확인하기 위해서였습니다. ✔ Jmeter 문제 💢 Scale-Up 하기 전에 문제가 되었던 SSE 400명 연결, 1분당 입찰 3000건 테스트는 Scale-Up 이후로 정상적으로 처리가 되는 것으로 확인이 되었습니다. 이후 해당 서버가 감당할 수 있는 요청에 대해서 알아보기 위해 SSE 연결 수와 1분당 입찰 건수를 증가시킬 때 Jmeter에서 에러가 발생했습니다. ✔ 해결 방법 💬 문제는 Jmeter에 할당된 메모리(기본 3G)가 부족했기 때문입니다. 메모리가 부족했을 때 해결 .. [230824] 성능 향상을 위한 EC2 Instance Scale-Up 성능 향상을 위한 EC2 Scale-Up 💬 전체 조회에서 QueryDSL, DB Index 적용 등을 하고 나서도 원하는 성능(TPS 500건)이 나오지 않는다고 했습니다. 입찰 기능에서도 HikariCP 병목 현상으로 문제를 겪고 있었습니다. 이 두 가지를 모두 개선할 수 있는 방법으로 Scale-Up이 있었기에 적용을 해보기로 했습니다. 현재 사용하고 있는 EC2 Instance t2.micro(cpu 1 core, memory 1G)가 사양이 너무 낮은 것도 한 몫했습니다. ✔ 기준 💬 Scale-Up 할 EC2 Instance을 선정하기 위해서 기준이 필요했습니다. ➡ 프로젝트에 가용할 수 있는 금액이 총 28만원 이었기에 Redis, RDS 등에 드는 비용을 제외하고 약 16만원(2/3) 책정.. [230823] 입찰 테스트 시 HikariCP Timeout 문제 입찰 테스트 💬 SSE를 연결하고 정상적으로 데이터가 전송이 되는지 확인하기 위해서 입찰 API를 호출했습니다. SSE 위한 연결을 하고 입찰 API를 1분 단위로 건수를 늘려가며 테스트를 진행했습니다. ✔ 문제 💢 t2.micro 환경에서 SSE 400명 연결, 1분에 입찰 3000건을 테스트를 할 때 Connection Timeout 문제가 발생했습니다. ✔ 원인 💬 Connection Timeout에 원인을 찾다 보니 HikariCP에 할당된 Connection이 전부 연결이 되어있고 Lock으로 인해 병목 현상이 발생해 대기하고 있던 Thread들이 기본 Timeout(30초)을 초과해서 발생한다는 것을 알게 되었습니다. ➡ Transaction이 실행될 때, Connection Pool에선 들어.. 이전 1 2 3 4 5 6 7 8 ··· 21 다음
