클라우드플레어·오픈AI, 웹 발견 연구 공개…색인 확대와 유입 성과는 별개

웹사이트 운영자에게 AI 검색의 페이지 발견 확대는 어떤 변화를 뜻할까. 클라우드플레어가 10월 15일 공개한 오픈AI 공동 연구의 초기 결과는 검색 후보에 들어가는 과정과 실제 노출·방문 성과를 구분해 볼 필요성을 보여준다. 회사가 발표한 성과는 발견과 색인의 규모이며, 제공 자료에는 방문 유입이나 사업 성과의 정량 결과가 담기지 않았다.

클라우드플레어에 따르면 연구는 올해 7월 시작됐다. 전체 네트워크의 약 1%에 해당하는 참여 집단을 대상으로 오픈AI가 새로운 웹페이지 수억 개를 발견하고 색인했다는 설명이다. 이는 공동 연구 참여자들의 발표 수치다. 제공 자료에는 외부 검증 결과가 없어, 이 규모를 전체 웹에서의 효과로 확대해 해석하기는 어렵다.

두 회사의 역할도 나뉜다. 클라우드플레어는 페이지를 찾는 데 필요한 네트워크 신호를 제공한다. 오픈AI는 해당 페이지의 관련성과 유용성을 별도로 평가하고 검색 노출 순위를 정한다. 따라서 발견됐거나 색인됐다는 사실만으로 검색 결과의 높은 순위나 방문 증가가 보장된다고 볼 근거는 없다.

운영 부담을 판단하려면 요청의 변화도 살펴야 한다. 발표에는 존재하지 않는 주소와 리디렉션, 중복 콘텐츠를 구분하고 페이지 변경 신호로 재방문 필요성을 판단하는 방식이 제시됐다. 다만 새 페이지를 평가하고 색인하는 초기 과정에서는 크롤링이 증가할 수 있다고 회사는 설명했다. 불필요한 요청을 줄이려는 목표와 실제 요청 감소 실적은 구분해야 한다.

권한과 보안에도 확인할 경계가 있다. 클라우드플레어는 검색·발견용 웹 메타데이터를 사용하며 모델 학습을 위해 페이지 콘텐츠를 공유하는 방식은 아니라고 밝혔다. 페이지 신호 자체가 접근 허가를 부여하지도 않는다는 설명이다. 잠재적으로 유해한 페이지를 표시하는 신호도 시험 중이지만, 제공 본문에는 탐지 정확도와 오탐률이 제시되지 않았다.

배경으로, W3C는 9월 28일 게시한 별도 행사 기록에서 웹과 AI 에이전트의 상호운용성, 개인정보 보호·보안, 신원과 권한 부여 논의를 소개했다. 이는 9월 6일 선전 행사에 관한 기록이며 표준 채택 발표는 아니다. 이번 공동 연구의 규모나 효과를 독립적으로 확인하는 자료도 아니다.