구글 검색 노출을 가로막는 robots.txt 설정 실수와 해결책
1. robots.txt가 검색 색인에 미치는 영향
블로그를 개설하고 열심히 글을 써도 구글 검색 결과에 나오지 않는다면, 가장 먼저 확인해야 할 것은 robots.txt 파일입니다. 이 파일은 구글의 검색 로봇(Googlebot)이 내 사이트의 어느 페이지를 읽어도 되는지, 혹은 읽지 말아야 하는지 지시하는 '교통 표지판' 역할을 합니다. 만약 이 설정을 잘못 건드리면 구글 봇의 접근 자체가 차단되어, 애드센스 승인은커녕 검색 노출조차 불가능해집니다.
2. 자주 범하는 치명적인 설정 실수
가장 흔하지만 치명적인 실수는 모든 봇의 접근을 막아버리는 코드입니다. 특히 블로그 초기 세팅이나 테마 수정 과정에서 실수로 삽입되는 경우가 많습니다.
[최악의 설정 예시]
User-agent: *Disallow: /
위의 코드는 "모든 검색 엔진(User-agent: *)은 사이트의 모든 경로(Disallow: /)를 긁어가지 마라"는 뜻입니다. 구글 봇은 이 명령을 매우 충직하게 따르기 때문에, 이 상태로는 백날 글을 써봐야 무용지물입니다. 또한, 특정 카테고리를 막으려다 슬래시(/) 위치를 잘못 찍어 전체 사이트가 누락되는 경우도 빈번합니다.
3. 애드센스 승인을 위한 표준 설정 가이드
블로그스팟이나 일반적인 정보성 블로그라면, 검색 봇이 모든 콘텐츠를 원활하게 수집할 수 있도록 개방하는 것이 원칙입니다. 아래는 가장 권장되는 표준 코드 구조입니다.
User-agent: *
Allow: /
# 내 사이트맵 위치를 명시하여 수집 속도 향상
Sitemap: https://자신의주소.blogspot.com/sitemap.xml
설정 후에는 Google Search Console의 'robots.txt 테스터' 기능을 통해 오류가 없는지 최종 점검해야 합니다. 검색 봇에게 길을 잘 열어주는 것이 기술 블로그 운영의 첫걸음이자 애드센스 승인의 필수 요건임을 잊지 마세요.