조용한 개발 노트

장애는 왜 한 번에 무너지지 않는가대부분의 대규모 장애는 한 번의 치명적인 오류로 시작하지 않는다. 오히려 아주 사소한 지연이나 일부 노드의 실패에서 출발한다.이 장애가 즉시 전체 장애로 보이지 않는 이유는 단순하다. 시스템이 계속 동작하려고 하기 때문이다.이렇게 시작된 장애가 점진적으로 확산되며 다른 컴포넌트까지 무너뜨리는 현상을 Cascading Failure라고 부른다.Cascading Failure란 무엇인가Cascading Failure는 하나의 실패가 다른 컴포넌트의 실패를 유발하고, 그 실패가 다시 새로운 실패를 만들어내는 연쇄 과정이다.중요한 점은 이것이다.Cascading Failure는 버그가 아니라 구조의 결과다개별 컴포넌트가 정상적으로 동작하고 있어도, 구조가 이를 허용하면 장애는 ..

분산 시스템을 이해하기 전에 반드시 버려야 할 가정분산 시스템에서 가장 먼저 버려야 할 가정은 이것이다.문제가 생기면 시스템이 멈춘다이 가정은 단일 서버 환경에서는 대체로 맞았지만, 분산 시스템에서는 거의 항상 틀리다.분산 환경에서 실패는 보통 다음과 같이 나타난다.어떤 노드는 정상이다어떤 노드는 느리다어떤 노드는 죽었지만, 죽었다는 사실이 아직 전달되지 않았다어떤 요청은 성공했고, 어떤 요청은 타임아웃이 발생했다이 상태를 Partial Failure라고 부른다.Partial Failure란 무엇인가Partial Failure는 시스템의 일부만 실패한 상태를 의미한다. 중요한 점은 전체 장애보다 일부만 실패한 상태가 훨씬 다루기 어렵다는 것이다.왜냐하면 시스템은 이 상태에서도 계속 동작하려고 하기 때문이..