깃허브, 문맥으로 비밀정보 판별…탐지 성능·처리 효율 개선 보고

개발팀이 비밀정보 탐지 도구를 평가할 때는 발견 건수뿐 아니라 알림을 받아들이는 비율과 검사에 걸리는 시간도 따로 살펴야 한다. 깃허브가 10월 13일 공개한 문맥 분류 모델은 이 지표들을 함께 다룬 사례다. 회사는 자격증명 후보의 문자열 모양에 주변 정보를 더해 판별하는 구현과 자체 평가 결과를 발표했다.

깃허브의 설명에 따르면 새 탐지기는 먼저 정규식으로 후보를 추린 뒤, 미세조정한 ModernBERT 모델로 분류한다. 모델 입력에는 후보 값과 파일 경로, 비밀정보 유형, 주변 내용이 들어간다. 후보 문자열 하나만 보는 대신 어디에 어떤 내용과 함께 놓였는지를 판단에 반영하는 구조다. 회사는 학습한 모델을 ONNX 형식으로 내보내고 8비트 양자화를 적용했다고 밝혔다.

고객 대상 A/B 실험에서는 이전 대형언어모델 기반 방식보다 저장소 소유자별 가중 수용률이 11.5% 높아졌다고 보고했다. 깃허브는 많은 알림을 한꺼번에 처리하는 고객이 결과에 미치는 영향을 줄이려고 소유자별 가중치를 적용했다고 설명했다. 이 수치는 고객의 알림 수용에 관한 지표이므로 탐지 정확도가 같은 비율로 높아졌다는 의미로 읽어서는 안 된다.

별도로 진행한 오프라인 평가에서는 동일한 공개 트래픽을 사용했을 때 정밀도가 13%, 재현율이 19% 높았다는 결과를 제시했다. 비교 대상은 역시 이전 대형언어모델 기반 방식이다. 고객 실험과 평가 환경 및 지표가 다르므로, 세 수치를 합쳐 하나의 성능 향상률로 표현할 근거는 없다. 제공 자료에는 이 결과를 외부에서 재현하거나 독립 검증한 내용도 없다.

처리 효율 수치 역시 적용 범위를 구분해야 한다. 회사는 커밋 이후 스캔 실행시간의 중앙값이 86% 줄었고, 모델 서빙 비용은 원격 대형언어모델 호출보다 98% 넘게 감소했다고 밝혔다. 이는 모든 요청의 지연이나 전체 보안 운영 비용에 대한 감소율이 아니다. 깃허브는 실행 효율 개선 덕분에 일반적인 비밀정보 탐지를 푸시 수락 전 검사에도 확대할 수 있었다고 설명했다.

이전 배경 사례인 구글의 9월 24일 발표는 다른 종류의 확인 절차를 보여준다. 구글은 내부 취약점 검사 에이전트 PageBreak가 실행 환경에서 공격용 입력의 결과를 검증하며, 검증하지 못한 후보는 제품 담당 팀에 전달하지 않는다고 밝혔다. 이는 웹 애플리케이션 취약점의 실행 검증에 관한 설명이다. 자격증명 후보를 분류하는 깃허브 모델의 성능이나 비용 절감을 입증하는 자료는 아니다.