클라우드플레어, AI 코드 리뷰 비용 68% 절감 발표…품질 평가는 과제로

AI 코드 리뷰를 도입한 개발팀에는 처리 비용만큼 어떤 문제를 찾아내는지가 중요하다. 클라우드플레어가 10월 19일 공개한 내부 운영 결과는 두 지표가 함께 움직이지 않을 수 있음을 보여준다. 회사는 리뷰 한 건의 평균 비용을 2.43달러에서 0.77달러로 약 68% 낮췄다고 발표했다. 전체 리뷰 소요시간 중앙값도 4분 9초에서 1분 32초로 줄었다고 밝혔다.

절감률의 출발점은 최적화 전 비용이 가장 높았던 2주의 평균이다. 최종 비용에는 코드 품질 검토를 높은 추론 수준으로 실행하는 설정이 반영됐다. 따라서 이 수치를 모든 검토의 추론 강도를 낮춘 결과로 해석하기는 어렵다. 비용과 시간은 회사 자체 운영 수치이며, 제공 자료에는 외부 재현 결과가 없다.

회사가 설명한 개선 대상 중 하나는 공통 프롬프트의 캐시 구간이었다. 저장소 경로와 날짜처럼 달라지는 정보가 같은 구간에 들어가 저장소 사이의 재사용을 방해했다는 것이다. 공통 부분에 별도 캐시 경계를 두고, 일부 검토자가 반복해서 읽던 내부 기준 자료도 프롬프트에 포함했다고 밝혔다.

호출 흐름도 손봤다. 사용할 수 없는 도구의 노출을 없애고 파일을 병렬로 읽도록 했으며, 변경사항이 없는 일부 재검토를 생략했다. 리뷰를 게시한 뒤 이어지던 추가 모델 호출을 제거하고 취소된 작업을 중단하는 변경도 제시했다. 모델 설정뿐 아니라 중복 처리와 작업 종료 방식까지 비용 관리 대상으로 삼은 셈이다.

품질 결과는 검토 종류별로 달랐다. 회사는 높은 추론 수준의 코드 품질 검토에서 중요한 문제 발견량이 이전과 비슷했다고 평가했다. 반면 중간 추론 수준의 성능 검토에서는 약 64% 감소했다고 보고했다. 보안 검토에서도 약 25% 감소가 관측됐지만, 회사는 통계적으로 유의하지 않았다고 설명했다.

평가 자체에도 한계가 있다. 회사는 지적된 코드 줄의 후속 변경 여부와 모델의 발견사항 판정을 사용했지만, 코드 수정이 지적의 정답 여부를 증명하지는 않는다고 명시했다. 판정 집단별 표본은 35~66건이고 최근 비교 구간은 하루였다. 이 결과만으로 장기적인 품질 유지나 보안 문제 탐지 능력을 확정할 수는 없다.

이전 배경 사례로 깃허브는 10월 13일 비밀정보 후보를 정규식으로 찾고 특화 분류 모델로 문맥을 판단하는 구성을 발표했다. 기존 대형 언어모델 방식보다 분류 모델 서빙 비용이 98% 넘게 줄었다는 자체 보고다. 다만 작업과 비용 범위가 달라 클라우드플레어의 절감률과 직접 비교할 수 없으며, 이번 리뷰 품질을 검증하는 자료도 아니다.