SEO 크롤링과 인덱싱에 대해

이번 글에서는 SEO의 가장 기본이라고 할 수 있는 크롤링과 인덱싱에 대해서 알아보겠습니다. 앞으로 SEO에 관해서 글을 조금 써볼까 하는데, 미리 전하고픈 말은 SEO는 구글이나 네이버, 빙 등 검색엔진 회사에 소속된 누군가가 아닌 이상 정답은 없다고 생각한다는 점입니다.

SEO의 개념에 대해

인터넷 비즈니스에 종사하고 계시는 분들은 아마도 SEO라는 말에 대해서 한 번쯤은 들어보셨을 텐데요. SEO는 Search Engine Optimizationd의 첫 글자를 따서 줄인 말로, 검색엔진최적화라는 의미를 담고 있습니다.
검색엔진 최적화라는 의미는 목적이 되는 웹페이지가 네이버, 다음, 빙, 줌 등의 검색창에 특정한 단어를 입력했을 때 노출이 되는 것을 의미합니다. 그런데 그저 노출이 되는 것만으로는 의미가 없고 첫 페이지의 상단에 노출이 되어야 그 목적이 달성되는 것이지요.

예를 들어 비누를 파는 사업자라고 합시다. 비누를 입력했을 때 나의 쇼핑몰이 첫 페이의 상단에 노출되어야 보다 많은 고객들이 그 쇼핑몰의 주소를 클릭하여 들어가게되고 비로소 매출로 이어지게 되는 것이죠.
이것이 SEO가 인터넷 비즈니스에서 매우 중요한 이유입니다.

크롤링과 인덱싱의 개념

크롤링이란 검색엔진의 로봇(크롤러)이 웹사이트를 돌아다니며 모든 하이퍼링크를 클릭하고 다니는 것을 말합니다. 하이퍼링크는 보통 "링크"라고 말하는 것으로 HTML의 a태그로 이루어진 것으로서 클릭이 가능하고 클릭할 경우 다른 페이지나 다른 사이트로 연결되는 것들을 말합니다. 이렇게 로봇이 웹사이트 내부의 모든 링크들을 클릭하고 다니면서 새로운 페이지를 발견하기도 하고 이미 존재하고 있던 페이지라면 무엇이 바뀌었는지 판단을 하게 됩니다.
즉 크롤링이란 검색엔진의 로봇이 웹페이지의 링크를 타고 돌아다니는 것으로 받아들이시면 되겠습니다. 같은 말로 스파이더, 봇 등으로 불리기도 합니다.

인덱싱이란 위에서 설명한 크롤러가 가져온 페이지들을 검색엔진 내부에 목차화하여 저장해두는 것을 말합니다. 우리말로 굳이 번역하면 색인화라고 할 수 있습니다. 이렇게 인덱싱이 된 페이지만이 검색엔진에서 검색의 결과물로써 보일 수 있습니다.
즉 크롤링이 된 페이지를 검색엔진에서 인덱싱을 한 경우에만 네이버, 구글, 다음, 빙 등에서 검색 결과물로 나오는 것이죠. 색인화가 되었다고 하더라도 검색 결과물의 첫 페이지에 노출이 될지 아니면 몇 페이지나 뒤로 넘겨야 노출이 될지는 알 수 없습니다.

앞으로 SEO에 대해서 제가 알고 있는 것들을 천천히 나누어보도록 하겠습니다.

카카오톡 공유하기 →