Atuali-ZC

Otimizar um site, como já vimos em posts anteriores, é muito mais do que produzir qualquer tipo de conteúdo e simplesmente jogá-lo na Web. É necessário produzir um conteúdo realmente interessante, que esteja organizado tanto no nível de navegação, quanto nas tecnicalidades do código da página.

É possível afirmar que os "personagens" mais importantes dentro do universo de otimização de sites são os "crawlers" ou "robots" dos mecanismos de busca. Estes programas automatizados são as ferramentas usadas por Google, Yahoo, Bing, etc. para encontrar e indexar o conteúdo da Web. Para entender a coisa de uma maneira relativamente genérica, entenda estes "bots" como representantes dos sites de busca que entram na sua casa, vasculham todos os cômodos e fazem registros sobre tudo aquilo que encontram.

Uma vez proposta esta metáfora, entenda o "Robots.txt" como uma espécie de moderador do comportamento destes "bots" dentro da sua casa, um "mordomo" do seu site. O "Robots.txt" é um arquivo de texto (.txt) que é colocado no diretório raiz dos sites que é usado para impedir que os "Bots" entrem em alguns "cômodos" do seu site.

Tais limitações devem ser usadas para prevenir que diretórios com informações privadas sejam indexados pelas ferramentas de busca e sejam disponibilizados para o público. Outro uso para as limitações do "Robots.txt" é realizar a otimização da busca através do direcionamento que ele pode propiciar.

Suponha que seu site possui vários diretórios, mas que você não queira que um internauta aterrize em qualquer local que não seja a página inicial; para realizar esta operação, basta clarificar tais exceções no arquivo e pronto, os sites de busca indexarão somente o conteúdo de sua página inicial.

Para entender melhor como se parecem estas descrições, nada melhor do que você criar seu próprio "Robots.txt". Utilize-se dos menus para separar quais ferramentas de busca terão limites para quais diretórios. O campo final lhe dará o texto que você deve colocar em um arquivo de texto nomeado como, adivinhe só, "Robots.txt" e colocado no diretório raiz de seu site.

Para permitir que todas as ferramentas de busca visitem todos os diretórios de seu site, deixe os campos como estão e simplesmente clique em "Criar Robots.txt".

Site para criar o Robots.txt: http://www.marketingdebusca.com.br/robots-txt/