장애 대응

(Troubleshooting) 내 로컬에서는 잘 되는데...? (내로잘)

내 PC에서는 잘 되는데 버그 제보자가 직접 모바일 웹에서 안 되는 걸 보여줬다.그리고 내 모바일에서도 해봤고, 다른 사람들의 모바일에서도 전부 안 됐다. (안드로이드, iOS에서 크롬, 사파리, 삼성 인터넷 가릴 것 없이 다 안 됐다.)

(Troubleshooting) Thread Dump 분석 도전기

갑자기 Nginx가 Down 됐다는 알림이 와서 해당 서버로 접속해보니 Nginx 서비스는 정상적으로 떠있고... curl도 때려보고, 브라우저에서 직접 URL로 접속해봤을 때 문제가 없었다.

• #Thread

(Troubleshooting) 레디스 사망일기

사내에서 사용하는 어드민(이하 어드민 A)/외부에서 사용하는 어드민(이하 어드민 B)이 사망하는 사례가 속출하였다.그 시점은 내가 새롭게 서버를 옮긴 이후부터 발생했다.내가 서버를 옮긴 것과 이 일이 관련이 없다고 생각했지만, 우선 내가 서버를 옮긴 이후에 발생한 사건이기도 해서 부검을 통해 사인을 밝혀내는 게 우선이었다…

• #Redis
• #Monitoring

(Troubleshooting) Hibernate MultipleBagFetchException 정복하기

Spring Data JPA를 이용하다보면 종종 org.hibernate.loader.MultipleBagFetchException: cannot simultaneously fetch multiple bags이란 메세지를 보게 된다.우선 어떤 상황에 나타나는지 한 번 살펴보자.

• #Hibernate
• #ORM

(Troubleshooting) 생애 첫 Heap 메모리 분석기 (feat. Eclipse MAT)

어느 날 서비스가 갑자기 다운되는 사례가 발생했다.다행히 서버를 이중화시켜놓아서 장애가 발생하진 않았지만 그래도 왜 다운된 건지 원인 분석을 해야했다.나의 실수로 인해 WAS 로그는 제대로 남겨져있지 않았고, CTO 님께서 힙 덤프 같은 거라도 떠져있나 보라고 하셔서 지푸라기라도 잪는 심정으로 기대를 했는데 희망을 저버리…

• #Heap

(Troubleshooting) Nginx upstream에 AWS ELB DNS를 걸 때 주의사항

얼마 전에 서버를 새롭게 이전했다.기존에 있던 local의 upstream server 대신에 새로운 서버로 업스트림을 걸어놨다.

• #Nginx
• #Proxy
• #ELB