2025년 11월 Cloudflare Global Network 장애 편집하기 (부분)

== 전개 ==
시간은 UTC(협정 세계시)를 기준으로 하며, 괄호 안에 KST(한국 표준시)를 병기한다. 사건의 재구성은 Cloudflare 공식 블로그의 사건 분석 보고서(Incident Report) 및 시스템 상태 페이지(Status Page)의 로그를 기반으로 한다.

=== 장애 발생 및 초기 대응 (11:20 ~ 12:00) ===
* '''11:20 UTC (20:20 KST)''' - '''장애 시작.'''
**: Cloudflare 엔지니어링 팀이 '''봇 관리(Bot Management)''' 제품군의 성능 개선을 위한 정기 업데이트를 배포하기 시작했다. 배포 직후, 북미와 유럽 지역의 주요 데이터센터(PoP)를 시작으로 아시아, 남미 등 전 세계 엣지(Edge) 서버에서 HTTP 요청 처리가 실패하기 시작했다.
**: 엔지니어들이 사용하는 내부 모니터링 대시보드인 Grafana의 트래픽 그래프가 수직 낙하(Nosedive)했다.

* '''11:25 UTC (20:25 KST)''' - '''[오판] DDoS 공격 의심.'''
**: 관제 센터(NOC)에 'Global Traffic Drop' 경보가 울렸다. 트래픽이 빠지는 속도가 물리적 케이블 절단 수준으로 빨랐고, 동시에 5xx 에러율이 100%에 육박했다.
**: 당시 당직 엔지니어들은 이를 "서비스를 마비시키기 위한 전례 없는 규모의 Layer 7 DDoS 공격"으로 판단, 공격 방어 프로토콜을 가동하고 상위 티어 대응 팀을 호출했다.

* '''11:35 UTC (20:35 KST)''' - '''사고 대응 팀(Incident Response Team) 소집.'''
**: 런던, 샌프란시스코, 싱가포르의 시니어 엔지니어들이 긴급 화상 회의(War Room)에 소집되었다. 그러나 보안 팀의 분석 결과, 외부에서 유입되는 악의적인 트래픽 패턴(Attack Signature)이 전혀 발견되지 않았다.
**: 대응 팀은 '''"이것은 공격이 아니라, 내부 시스템의 붕괴(Internal System Failure)"'''라는 결론을 내리고, 최근 변경 사항(ChangeLog)을 역추적하기 시작했다.

=== 원인 파악 및 고립 (12:00 ~ 13:00) ===
* '''12:03 UTC (21:03 KST)''' - '''공식 장애 공지.'''
** Cloudflare Status 페이지에 첫 공지가 게시되었다.
{{인용문|'''Investigating''' - We are currently investigating widespread issues with our services causing 5xx errors and dashboard inaccessibility.<br />조사 중 - 현재 5xx 오류 및 대시보드 접속 불가 현상을 유발하는 광범위한 서비스 문제를 조사하고 있습니다.}}
** 아이러니하게도 Status 페이지 역시 Cloudflare Workers를 일부 사용하고 있어, 로딩 속도가 매우 느리거나 간헐적으로 접속되지 않는 현상이 발생했다.

* '''12:45 UTC (21:45 KST)''' - '''범인 색출.'''
**: 시스템 로그 분석 결과, 전 세계 엣지 서버의 프로세스들이 '''메모리 부족(OOM, Out of Memory)'''으로 인해 강제 종료되고 있음을 확인했다.
**: 프로세스가 재시작(Restart)되자마자 다시 죽어버리는 '''무한 재부팅 루프(Crash Loop)''' 현상이 관측되었다.

=== 복구 및 해결 (13:00 ~ 17:06) ===
* '''13:05 UTC (22:05 KST)''' - '''원인 특정: '봇 관리' 구성 파일.'''
**: 11:20에 배포된 봇 탐지 룰셋(Ruleset) 파일이 평소 크기의 수천 배로 비대해진 것이 확인되었다. 이 거대한 파일이 메모리에 로드되면서 서버를 터뜨린 것.
**: 엔지니어들은 즉시 해당 기능을 비활성화하는 '글로벌 킬 스위치(Global Kill-switch)'를 누르려 했으나, 제어부(Control Plane)조차 과부하로 명령 전달이 지연되었다.

* '''13:10 UTC (22:10 KST)''' - '''1차 우회(Bypass) 조치.'''
**: 중앙 제어가 실패하자, 데이터센터별로 수동 라우팅 변경(BGP 철회 등)을 통해 트래픽을 우회시키거나 문제의 구성 파일을 무시하도록 하는 긴급 패치를 적용하기 시작했다. 일부 지역에서 간헐적으로 접속이 재개됨.

* '''14:24 UTC (23:24 KST)''' - '''롤백(Rollback) 및 배포 차단.'''
**: 문제가 된 데이터베이스 변경 사항을 되돌리고, 정상 작동했던 마지막 버전(Last Known Good Configuration)을 강제로 전체 네트워크에 푸시(Push)했다.

* '''14:30 UTC (23:30 KST)''' - '''트래픽 회복세.'''
**: 롤백 설정이 전파되면서 엣지 서버들의 재부팅 루프가 멈췄다. HTTP 요청 성공률이 0%에서 90%대로 급격히 회복되었다.

* '''17:06 UTC (익일 02:06 KST)''' - '''완전 해결(Resolved).'''
**: 잔여 로그 처리 및 대기열(Queue) 해소가 완료되었다. Cloudflare는 모든 시스템의 정상화를 선언했다.