검색엔진은 내 사이트를 어떻게 읽는가 — 크롤링·색인·순위 3단계

검색 결과에 나오려면 무엇이 먼저 일어나야 하나?

"사이트를 만들었는데 검색해도 안 나와요." 6년 동안 가장 많이 받은 질문입니다. 답은 거의 항상 같은 곳에 있습니다. 검색엔진이 사이트를 다루는 세 단계 중 어딘가가 막혀 있습니다.

구글은 이 과정을 공식 문서에서 크롤링(crawling), 색인 생성(indexing), 검색 결과 게재(serving)로 설명합니다. 쉽게 바꾸면 발견 → 저장 → 평가입니다.

각 단계에서 무엇이 일어나고, 무엇이 막는지 순서대로 보겠습니다.

1단계 — 크롤링: 검색엔진은 내 사이트를 어떻게 발견하나?

검색엔진은 크롤러(구글은 Googlebot)라는 프로그램으로 웹을 돌아다닙니다. 크롤러가 새 페이지를 발견하는 경로는 크게 두 가지입니다.

1. 이미 아는 페이지의 링크를 따라간다.
2. 사이트 운영자가 제출한 사이트맵(sitemap.xml) 을 읽는다.

새로 만든 사이트는 아무 데서도 링크되지 않은 상태라 1번 경로가 없습니다. 그래서 서치콘솔에 사이트를 등록하고 사이트맵을 제출하는 것이 첫 번째 할 일입니다. 이걸 안 하면 발견까지 몇 주, 길게는 몇 달이 걸립니다.

크롤링을 막는 흔한 원인 세 가지

• robots.txt 차단 — 사이트 루트의 robots.txt 파일에 Disallow: /가 있으면 크롤러는 아무것도 읽지 않습니다. 개발 중에 막아뒀다가 오픈 후 안 푸는 사례가 정말 많습니다.
• 로그인·팝업 뒤에 숨은 콘텐츠 — 크롤러는 로그인하지 않습니다. 회원만 볼 수 있는 페이지는 검색에 나오지 않는 게 정상입니다.
• 자바스크립트로만 만들어지는 내용 — 페이지를 처음 받았을 때 본문이 비어 있고 스크립트 실행 후에야 채워지는 구조는 크롤링이 늦어지거나 일부만 읽힙니다. 구글은 렌더링을 하지만 시간이 더 걸리고, 다른 검색엔진과 AI 크롤러는 대부분 실행하지 않습니다.

2단계 — 색인: 읽었다고 다 저장되는 건 아니다

크롤러가 페이지를 읽으면 검색엔진은 그 내용을 분석해 색인(검색용 데이터베이스)에 넣을지 결정합니다. 여기서 중요한 사실 하나: 읽은 페이지를 전부 저장하지는 않습니다.

색인에서 빠지는 대표적인 경우입니다.

canonical이 왜 자주 문제가 되나?

canonical은 "이 내용의 대표 주소는 여기다"라고 검색엔진에 알려주는 태그입니다. 문제는 사이트 제작 도구가 모든 페이지의 canonical을 홈페이지 주소로 통일해 버리는 경우입니다. 그러면 검색엔진은 "이 사이트는 사실상 페이지가 하나구나"라고 이해하고 나머지를 색인에서 뺍니다.

실제로 자체 제작 사이트를 진단하면 이 문제가 꽤 자주 나옵니다. 페이지는 수십 개인데 색인은 한두 개인 사이트를 보면 canonical부터 봅니다.

3단계 — 순위: 색인됐는데 왜 뒤에 있나?

색인까지 됐다면 이제 검색엔진은 검색어가 들어올 때마다 저장된 수많은 페이지 중에서 가장 유용한 순서로 결과를 배열합니다. 구글은 이 판단에 수백 가지 신호를 쓴다고 밝히고 있으며, 정확한 가중치는 공개하지 않습니다.

다만 공식 문서와 현장 경험을 합치면 크게 네 묶음으로 정리됩니다.

1. 관련성 — 검색어와 페이지 내용이 얼마나 맞는가. 제목·소제목·본문에 검색 의도가 실제로 답해져 있는가.
2. 품질과 신뢰도 — 누가 썼는지, 근거가 있는지, 다른 신뢰할 만한 사이트가 이 페이지를 참조하는지.
3. 사용성 — 모바일에서 잘 보이는지, 빠른지, 광고나 팝업이 내용을 가리지 않는지.
4. 맥락 — 검색한 사람의 위치와 언어. "근처 치과"는 지역이 결정적입니다.

여기서 흔한 오해 하나를 짚습니다. 키워드를 많이 넣는다고 순위가 오르지 않습니다. 2010년대 초반에는 통했지만 지금은 오히려 품질 신호를 깎습니다. 검색어에 대한 답을 남들보다 정확하고 자세하게, 신뢰할 수 있는 형태로 주는 페이지가 올라갑니다.

세 단계 중 내 사이트는 어디서 막혔나?

진단 순서는 위에서 아래로입니다. 아래 단계는 위 단계가 풀려야 의미가 있습니다.

지금 할 일

• 구글 서치콘솔과 네이버 서치어드바이저에 사이트 등록
• sitemap.xml 제출, robots.txt에 Disallow: /가 없는지 확인
• 서치콘솔 URL 검사로 대표 페이지 3개의 색인 상태 확인
• 페이지 보고서에서 "색인 생성되지 않음" 사유 상위 3개 메모
• 각 페이지의 canonical이 자기 자신을 가리키는지 확인

이 다섯 가지를 확인하면 "검색에 안 나오는 이유"의 대부분은 스스로 찾을 수 있습니다. 확인이 어렵거나 사유가 복잡하게 얽혀 있다면, 사이트 주소만 보내주셔도 어디가 막혔는지 먼저 알려드립니다.