클라우드플레어, 해시 구조 조정으로 RAM 약 100TB 절감 발표

클라우드플레어는 9월 18일 요청을 서버에 배정하는 핑고라 백엔드 라우터의 메모리 최적화 결과를 공개했다. 회사가 발표한 전 세계 RAM 절감 규모는 약 100TB다. 기존 Rust 기반 서비스의 자료구조를 바꾼 결과이며, 제공 자료에는 이 수치를 외부에서 재현한 검증 결과가 없다.

운영 과정에서 회사가 함께 살핀 것은 메모리 외에 원본 서버 트래픽, 캐시 동작, 연결 오류, 프로세스 시작 시간이었다. 회사 설명에 따르면 전환 기간에는 기존 해시 링과 새 링을 동시에 유지하면서 요청마다 사용할 링을 선택했다. 새 링으로 보내는 트래픽 비율과 적용 데이터센터 범위를 각각 조절했고, 전환이 끝난 뒤 기존 링을 제거했다. 정확한 완료일은 제공 본문에 명시되지 않았다.

최적화 대상인 일관 해싱 자료구조에는 서버 배정을 위한 해시 값이 저장된다. 클라우드플레어는 서버 저장 용량에 따른 가중치와 기능 조합별 별도 링 때문에 해시가 늘었다고 설명했다. 일부 경우에는 이와 관련한 메모리 사용량이 6GB에 달했다는 것이 회사의 설명이다.

회사가 공개한 변경은 저장 형식과 저장할 항목 수에 걸쳐 있다. 해시 항목은 32비트 해시와 16비트 서버 인덱스를 바이트 배열에 담아 기존 8바이트에서 6바이트로 줄였다. 항목당 저장공간 감소율은 25%다. 또 부하 배분 편차와 32비트 해시 충돌을 검토한 뒤 서버별 생성 해시 수를 90% 줄였으며, 유의할 만한 배분 오차 증가는 없었다고 보고했다. 이는 회사 자체 분석과 운영 설명이다.

적용 경로도 공개했다. 회사에 따르면 pingora-ketama의 선택적 Cargo 기능으로 제공되는 v2 링에는 압축 저장 형식과 노드별 기본 해시 수 조절 기능이 포함된다. 기존 v1 링과 함께 실행할 수 있어 새 구조를 병행하는 전환 방식을 지원한다.

별도 배경 사례로, 깃허브는 9월 16일 코파일럿 에이전트 런타임을 TypeScript에서 Rust로 옮겼다고 발표했다. 구성요소 교체는 128개 풀 리퀘스트로 진행했고 단계마다 기존 종단간 테스트를 적용했다고 설명했다. 다만 깃허브의 성능 비교는 다른 변경도 포함한 전체 시스템 시험이었다. 언어 변경만의 효과를 분리한 결과가 아니며, 클라우드플레어의 절감량을 검증하는 근거도 아니다.