검색엔진 최적화의 기본 : 검색엔진의 인덱스 방지기능 (robots.txt파일과 메타 태그) 검색엔진 최적화에 반드시 필요한것은 아니지만, 기본적으로 알아두시는게 좋습니다. robots.txt은 로봇 제외 표준이라 불리며, 검색엔진 봇들로 하여금 사이트의 전체, 또는 특정부분의 접근을 제한하게 만드는 역할을 합니다. robots.txt파일은 검색엔진 봇들로 하여금 어떤 디렉토리는 인덱스가 가능하며, 어떤 디렉토리는 인덱스를 해서는 안된다는 것을 알려줍니다. 검색엔진 봇들 또한 특정 사이트를 방문했을때, 이 robots.txt파일을 제일 먼저 찾게되며, 이 파일에 쓰여있는 내용에 대하여 절대 복종합니다. robots.txt파일이 없어도 크게 상관은 없습니다. 검색엔진 봇은 모든것을 허용한다는 의미로 받아 ..