검색 로봇에게 지도 주기

쉽게 말하면

이 파일의 실제 이름은 보통 sitemap.xml 이에요. 내 주소 뒤에 붙여서 `내가게주소/sitemap.xml` 로 열면 사람도 볼 수 있어요. 예쁘게 안 보이는 게 정상이에요. 사람이 읽는 화면이 아니라 기계가 읽는 목록이라서요.

검색에 뜨게 하기에서 검색이 수집 · 색인 · 순위 세 단계로 진행된다고 했어요. 이 문서는 그중 첫 단계 하나만 다뤄요. 목록 파일은 순위를 건드리는 장치가 아니라, 1단계에서 막혀 있는 화면을 통과시키는 장치예요.

이 파일 안에 실제로 뭐가 들어 있나

칸이 네 개뿐이에요. 그중 반드시 있어야 하는 건 하나고, 나머지 셋은 있어도 검색엔진이 별로 안 봐요. 이걸 알면 어디에 힘을 쓸지가 정해져요.

규모 감도 잡아 둘게요. 표준상 한 파일에 주소 5만 개, 압축하지 않은 파일 크기 50MB 까지 담을 수 있어요. 넘으면 파일을 여러 개로 나누고 "목록의 목록"을 하나 더 둬요. 상품이 수만 개인 쇼핑몰이 아니면 만날 일이 없는 한도예요. 정확한 수치는 쓰는 검색엔진의 공식 안내 문서에서 확인하는 게 맞아요.

언제 효과가 크고, 언제 없나

"사이트맵 넣으면 검색 잘 된다"는 말은 절반만 맞아요. 내 사이트 모양에 따라 효과가 극과 극이에요. 아래 표에서 내 경우를 먼저 찾으세요.

짝이 되는 파일이 하나 더 있어요

목록 파일과 항상 같이 나오는 이름이 robots.txt 예요. 둘을 혼동하면 사고가 나요. 하는 일이 정반대라서요.

그리고 robots.txt 안에 목록 파일이 어디 있는지 한 줄로 적어 둘 수 있어요. 로봇이 어느 집에 가든 이 파일부터 확인하는 습관이 있어서, 여기 한 줄이 목록을 발견시키는 가장 값싼 방법이에요. 검색엔진마다 따로 제출하지 않아도 이 줄만으로 찾아가는 경우가 많아요.

하나 더 있어요. robots.txt 는 누구나 열어 볼 수 있는 공개 파일이에요. 여기에 "관리자 화면은 들어오지 마세요"라고 적으면, 관리자 화면 주소를 세상에 공개하는 셈이 돼요. 사람이 못 들어가게 하는 건 이 파일이 아니라 로그인이에요. 이 얘기는 권한 쪽 규칙과 같아요.

제출까지 해야 끝이에요

파일을 만들어 놓기만 하고 끝내는 경우가 많아요. 그러면 로봇이 우연히 찾아올 때까지 기다리는 셈이에요. 순서대로 하면 반나절이면 끝나요.

1. 1화면 목록 파일을 만들어요. 화면이 여러 장이면 스튜디오에 "화면 목록 파일과 robots.txt 를 같이 만들어 달라"고 주문하면 돼요. 손으로 적는 파일이 아니라 화면이 늘 때 자동으로 채워지는 쪽이 좋아요.
2. 2게시한 뒤 눈으로 확인해요. 게시한 주소 뒤에 `/sitemap.xml` 을 붙여 열어 보세요. 주소들이 죽 나오면 성공이에요. 아무것도 없거나 화면을 찾을 수 없다고 나오면 여기서 멈추고 고쳐야 해요.
3. 3robots.txt 에 목록 위치를 한 줄 적어요. `내가게주소/robots.txt` 를 열어 목록 파일 주소가 적혀 있는지 확인하세요.
4. 4검색엔진 관리 도구에 등록해요. 구글은 서치 콘솔, 네이버는 서치어드바이저를 쓰고 둘 다 무료예요. 내 사이트가 내 것임을 확인하는 절차를 거친 뒤 목록 파일 주소를 제출해요.
5. 5며칠 뒤 상태를 다시 봐요. 관리 도구가 "제출한 주소 몇 개, 실제로 실린 주소 몇 개"를 알려 줘요. 이 두 숫자의 차이가 곧 진단표예요.
6. 6화면을 새로 만들 때마다 목록에 들어갔는지 확인해요. 자동으로 갱신되게 만들어 뒀다면 눈으로 한 번만 보면 돼요.

사장님이 실제로 겪는 장면

실제로 무너지는 지점

제출까지 다 했는데 효과가 없는 경우가 있어요. 원인은 거의 정해져 있어요. 관리 도구에서 "제출 몇 개, 실린 것 몇 개"의 차이가 크다면 아래를 순서대로 보세요.

속도 기대치도 맞춰 두면 마음이 편해요. 제출한 다음 날 다 실리지 않아요. 며칠에서 몇 주가 정상 범위고, 새로 만든 사이트는 더 걸려요. 제출 뒤에 할 일은 새로 고침을 반복하는 게 아니라, 그동안 지도 등록처럼 손님을 실제로 데려오는 일을 하는 거예요.

남에게 맡길 때 요구할 것

직접 만들지 않아도 이 다섯 줄만 요구서에 넣으면 결과가 달라져요. 받을 때 확인하는 방법까지 같이 적어 뒀어요.

이 목록은 외주 요구서에 그대로 붙여 쓸 수 있어요. 관리 도구 계정 권한까지 같이 넘겨받아야 한다는 점은 인수인계 쪽 규칙과 같아요.

자주 묻는 것

Q. 사이트맵을 넣으면 검색 순위가 올라가나요?

안 올라가요. 목록 파일이 하는 일은 발견을 돕는 것뿐이에요. 순위는 화면에 무엇이 적혀 있고 남들이 얼마나 링크했는지로 정해져요. 다만 발견이 안 되면 순위 경쟁 자체가 시작되지 않으니, 순위의 출발선을 앞으로 당겨 주는 정도로 이해하면 정확해요.

Q. 화면이 한 장뿐인데도 만들어야 하나요?

만들 이유가 크지 않아요. 찾을 화면이 하나뿐이니 안내도가 필요 없죠. 그 시간에 지도 등록을 하거나, 사회관계망 계정 소개란에 주소를 걸어 두는 편이 훨씬 이득이에요. 화면이 여러 장으로 늘어난 다음에 만들어도 늦지 않아요.

Q. 구글하고 네이버에 각각 제출해야 하나요?

robots.txt 에 목록 위치를 적어 두면 대개 알아서 찾아가요. 다만 관리 도구에 직접 등록하면 "몇 개 제출, 몇 개 실림"이라는 숫자를 볼 수 있어요. 그 숫자가 유일한 진단 수단이라 등록해 두는 편이 좋아요. 동네 손님을 받는 가게라면 네이버 쪽을 먼저 해요.

Q. 제출한 지 2주가 지났는데 몇 개만 실렸어요. 실패인가요?

실패가 아닌 경우가 많아요. 검색엔진은 실을 가치가 있다고 판단한 화면만 실어요. 안 실린 화면을 열어 보세요. 글자가 거의 없거나, 다른 화면과 내용이 사실상 같거나, 만드는 중인 화면일 거예요. 관리 도구가 화면별로 이유를 알려 주니 그 이유부터 읽는 게 순서예요.

Q. 특정 화면을 검색에 안 나오게 하고 싶어요. 목록에서 빼면 되나요?

그것만으로는 안 돼요. 목록은 초대장이라 이름을 빼도 이미 들어온 것은 남아요. 그 화면에 "색인하지 말라" 표시를 넣고, 관리 도구에서 삭제를 요청하는 두 단계가 필요해요. 그리고 그 표시를 로봇이 읽어야 하니 그 화면을 robots.txt 로 막지는 마세요.

Q. 만들어 두면 그 뒤로 손이 안 가나요?

자동으로 갱신되게 만들었다면 거의 안 가요. 대신 두 가지는 남아요. 화면을 크게 개편했을 때 목록이 새 주소를 담고 있는지 확인하는 일, 그리고 도메인을 바꿨을 때 목록의 주소를 통째로 갈아 주는 일이에요. 둘 다 사장님이 직접 확인할 수 있는 일이에요.

헷갈리기 쉬운 것

비유가 어디까지 맞나. 층별 안내도 비유는 "안쪽 화면의 존재를 알려 준다"까지 정확해요. 다른 점이 하나 있어요. 실제 안내도는 손님이 3층에 갈지 말지를 손님이 정하는데, 이 목록은 로봇이 갈지 말지를 자기가 정해요. 목록에 적었다고 반드시 방문하는 게 아니고, 방문했다고 반드시 검색에 싣는 것도 아니에요. 그래서 이 파일은 명령서가 아니라 초대장이에요.

지도앱 등록과 같은 건가. 아니에요. 이름이 비슷해서 헷갈리는데 상대가 달라요. 화면 목록 파일은 검색엔진 로봇에게 내 화면들을 알리는 것이고, 지도 등록은 지도 서비스에 내 가게의 위치와 영업시간을 등록하는 것이에요. 오프라인 가게라면 손님을 먼저 데려오는 쪽은 지도 등록이에요. 둘 다 하되 순서는 지도가 먼저예요.

메뉴 구조와 같은 건가. 다르지만 붙어 있어요. 손님이 보는 메뉴는 화면 위에 그려지는 것이고, 목록 파일은 화면 뒤에 숨어 기계만 읽어요. 다만 메뉴에서 갈 수 없는 화면은 목록에만 적어도 성적이 나쁘게 나와요. 로봇은 "어디서도 링크되지 않은 화면"을 덜 중요하게 봐요. 여러 페이지를 나눌 때 메뉴와 목록을 같이 손보는 게 맞아요.