네이버 색인이 안 될 때 확인할 것: 수집과 색인의 차이

네이버 웹마스터도구에 사이트를 등록하고 사이트맵까지 제출했는데 검색해도 나오지 않는 상황은 흔합니다. 이때 대부분은 "수집이 안 됐나 보다"라고 판단하고 사이트맵을 다시 제출합니다. 그런데 서버 로그를 열어 보면 네이버 크롤러가 이미 모든 페이지를 가져간 경우가 많습니다.

수집, 색인, 순위는 각각 다른 단계이고 막히는 지점도 다릅니다. 어느 단계에서 멈췄는지 모른 채 대응하면 엉뚱한 곳을 고치게 됩니다. 이 글은 세 단계를 구분해 진단하는 방법을 정리하고, 저희가 직접 겪은 사례와 그때 확인한 데이터를 함께 보여 드립니다.

수집과 색인은 다른 단계입니다

수집은 네이버 크롤러 Yeti가 페이지를 요청해 HTML을 받아 가는 단계입니다. 이건 서버 접근 로그에서 확인할 수 있습니다. User-Agent에 Yeti가 들어간 요청이 있고 응답 코드가 200이면 수집은 성공한 것입니다.

색인은 가져간 문서를 검색 데이터베이스에 넣는 단계입니다. 네이버는 수집한 모든 문서를 색인하지 않고 자체 품질 평가를 거칩니다. 여기서 걸러지면 로그에는 200이 찍혀 있는데 검색에는 나오지 않습니다. 신규 도메인일수록 이 단계에 머무는 시간이 깁니다.

순위는 색인된 문서 중에서 특정 검색어에 대해 몇 번째로 보여줄지 정하는 단계입니다. 색인이 됐어도 그 검색어의 대표 문서로 인정받지 못하면 결과 페이지 뒤쪽으로 밀려 사실상 보이지 않습니다. 세 단계는 순서대로 통과해야 하므로 진단도 순서대로 해야 합니다.

저희 사이트에서 실제로 일어난 일

저희는 블로그 글 열네 편을 발행하고 사이트맵을 제출했습니다. 7월 31일 접근 로그를 보니 Yeti가 열네 편을 전부 요청했고 응답은 모두 200이었습니다. 수집은 완벽하게 끝난 상태였습니다. 그런데 며칠이 지나도 네이버 검색에는 홈페이지 하나만 잡혔습니다.

여기서 흔히 하는 오해가 "본문을 못 읽었나 보다"입니다. 이걸 확인하려고 홈페이지 본문 9,144자를 구간별로 잘라 그 문장을 그대로 네이버에 검색해 봤습니다. 본문 2퍼센트 지점, 15퍼센트, 22퍼센트, 30퍼센트, 65퍼센트 지점 문장이 모두 1위에서 8위 사이로 나왔고, 92퍼센트 지점의 구조화 데이터 안에 있는 문장까지 검색되었습니다.

결론은 명확했습니다. 네이버는 본문을 끝까지 읽어서 저장해 두었습니다. 색인 누락이 아니었습니다. 문제는 짧고 일반적인 검색어에서 우리 페이지가 그 검색어의 대표 문서로 선택되지 않는다는 것이었고, 그건 순위 단계의 문제였습니다.

단계별로 확인하는 방법

수집 여부는 서버 접근 로그가 가장 정확합니다. Yeti가 들어온 기록과 응답 코드를 확인하세요. 로그에 접근할 수 없다면 네이버 웹마스터도구의 수집 현황 메뉴에서 대략적인 추이를 볼 수 있습니다. 여기서 요청 자체가 없다면 robots.txt 차단이나 사이트맵 문제를 먼저 봐야 합니다.

색인 여부는 검색창에 site: 뒤에 도메인을 붙여 조회합니다. 웹사이트 탭에서 결과 수를 보면 몇 개가 들어가 있는지 알 수 있습니다. 더 확실한 방법은 페이지 본문에서 흔치 않은 문장을 하나 골라 큰따옴표 없이 그대로 검색하는 것입니다. 그 문장으로 우리 페이지가 나오면 그 문서는 색인되어 있습니다.

순위 문제는 검색어 길이를 바꿔 가며 확인합니다. 긴 문장으로는 잡히는데 두세 단어로 줄이면 사라진다면 색인은 됐고 순위에서 밀리는 상태입니다. 이 경우 사이트맵 재제출은 아무 도움이 되지 않습니다. 고쳐야 할 것은 페이지가 어떤 검색어를 대표하는지 명확히 하는 일입니다.

순위 단계에서 막혔을 때 손볼 곳

가장 자주 보이는 문제는 한 페이지가 여러 검색어를 동시에 대표하려는 구성입니다. 제목에 키워드를 서너 개 나열하면 어느 것도 그 페이지의 주제로 확정되지 않습니다. 검색어 하나에 페이지 하나를 배정하고 제목과 첫 문단에서 그 검색어를 분명히 밝히는 편이 낫습니다.

H1이 브랜드명 한 단어로 되어 있는 경우도 많습니다. 로고 자리에 브랜드명을 크게 넣다 보니 그것이 H1이 되는 구조인데, 검색엔진 입장에서는 페이지 주제를 알려주는 가장 강한 신호를 브랜드명으로 채운 셈이 됩니다. 브랜드명과 핵심 키워드를 한 H1 안에 함께 담고 시각적 크기만 다르게 처리하면 디자인을 유지하면서 해결할 수 있습니다.

제목 길이는 흔히 오해되는 항목입니다. 네이버가 긴 제목을 잘라 보여주는 것은 사실이지만, 그렇다고 짧은 제목이 유리하지는 않습니다. 40자와 80자는 검색 결과 화면에서 글자가 잘리기 시작하는 지점을 말한 것이지 순위가 떨어지는 기준선이 아닙니다. 잘림을 피하려고 검색어를 덜어내면 담을 수 있었던 노출 기회를 스스로 버리게 됩니다.

마지막으로 외부 신호입니다. 신규 도메인은 네이버가 판단할 근거가 부족하기 때문에 네이버 생태계 안에서 걸린 링크가 큰 역할을 합니다. 블로그나 카페에서 사이트를 언급하는 글이 있는 것과 없는 것의 차이가 생각보다 큽니다.

진단 순서

서버 접근 로그에서 Yeti의 요청 기록과 응답 코드를 확인합니다. 요청이 아예 없다면 robots.txt와 사이트맵부터 점검하고, 200이 찍혀 있다면 수집은 통과한 것이므로 다음 단계로 넘어갑니다.

페이지 본문에서 다른 사이트에는 없을 법한 문장을 하나 골라 그대로 검색합니다. 우리 페이지가 나오면 색인은 되어 있는 것입니다. 이 방법이 site: 조회보다 정확합니다.

색인이 확인됐다면 검색어를 긴 문장에서 짧은 단어로 줄여 가며 어느 지점에서 사라지는지 봅니다. 사라지는 길이가 곧 현재 경쟁력의 한계선입니다.

그 지점을 확인했다면 제목, H1, 첫 문단이 그 검색어를 명확히 가리키는지 점검합니다. 한 페이지가 여러 검색어를 겨냥하고 있다면 페이지를 나누거나 대표 검색어 하나를 정합니다.

고친 뒤에는 최소 2주를 기다렸다가 다시 측정합니다. 네이버는 재수집과 재평가에 시간이 걸리므로 며칠 만에 판단하면 잘못된 결론을 내리게 됩니다.

자주 묻는 질문

사이트맵을 다시 제출하면 색인이 빨라지나요?

수집이 안 되고 있을 때만 도움이 됩니다. 로그에 Yeti의 200 응답이 이미 찍혀 있다면 재제출은 효과가 없습니다. 이 경우 문제는 색인이나 순위 단계에 있으므로 제목과 본문 구조, 외부 링크를 봐야 합니다.

네이버 색인은 보통 얼마나 걸리나요?

기존 도메인은 며칠 안에 되기도 하지만 신규 도메인은 수 주가 걸리는 경우가 흔합니다. 네이버가 자체 품질 평가를 거치기 때문이고, 이 기간에는 수집만 반복되고 색인이 늘지 않는 상태가 이어집니다. 도메인 나이 자체보다 사이트를 신뢰할 근거가 얼마나 쌓였는지가 영향을 줍니다.

구글에는 나오는데 네이버에만 안 나오는 이유는 무엇인가요?

두 엔진의 판단 기준이 다르기 때문입니다. 구글은 상대적으로 색인 문턱이 낮고 순위로 걸러내는 방식이고, 네이버는 색인 단계에서 더 많이 거릅니다. 또 네이버는 블로그와 카페 같은 자체 생태계 안의 신호를 크게 보기 때문에 외부 사이트만으로는 신뢰를 쌓는 속도가 느립니다.

실행 체크리스트

• 접근 로그에서 Yeti 요청과 응답 코드를 먼저 확인합니다.

• 본문의 고유한 문장을 검색해 색인 여부를 직접 검증합니다.

• 검색어를 줄여 가며 순위가 사라지는 지점을 찾습니다.

• 제목 25~60자, 설명 100~120자 안에서 검색어를 충분히 담습니다.

• H1에 브랜드명만 들어가 있지 않은지 점검합니다.

• 네이버 생태계 안에서 사이트를 언급하는 링크를 만듭니다.

정리

네이버 색인 문제를 다룰 때 가장 중요한 것은 어느 단계에서 막혔는지 먼저 구분하는 일입니다. 수집이 안 된 것과 색인이 안 된 것, 순위에서 밀린 것은 원인도 해법도 완전히 다릅니다. 로그와 본문 문장 검색이라는 두 가지 도구만 있으면 이 구분은 어렵지 않습니다.

저희 경우 답은 순위 단계에 있었습니다. 네이버는 본문을 다 읽어 두었고 문제는 그 페이지가 어떤 검색어의 문서인지 분명하지 않다는 데 있었습니다. 사이트맵을 몇 번 더 제출했더라도 아무것도 달라지지 않았을 것입니다.