Show Menu
TÓPICOS×

Perguntas frequentes

Quando um arquivo SWF é rastreado e indexado?

Um arquivo SWF será rastreado e indexado se estiver contido em uma tag embed ou object em uma página HTML, como no exemplo a seguir:
<embed src="Flash-file-URL">  
 
<object>  
<param name=movie value="Flash-file-URL">  
</object> 

Um arquivo SWF também é reconhecido se você listar o URL do arquivo como um ponto de entrada.

O que devo fazer para indexar um arquivo SWF?

Para rastrear e indexar arquivos SWF, selecione o tipo de conteúdo Adobe Flash Movies ( Settings > Crawling > Content Types ).
Desde que seu arquivo Flash seja referenciado de uma <embed> tag ou de uma <object> tag em um documento HTML, o texto será indexado e todos os URLs listados no arquivo serão rastreados.
Se o arquivo não for referenciado por uma <embed> tag ou por uma <object> tag, você poderá listar o arquivo SWF em uma <a href=...> tag em um documento HTML ou como um ponto de entrada de URL.

Como os arquivos SWF são reconhecidos?

Os arquivos SWF são identificados pelo seguinte tipo MIME:
application/x-shockwave-flash
Os arquivos SWF também são reconhecidos com os tipos application/octet-stream " ou text/plain MIME, desde que a extensão do arquivo seja .swf.
Um servidor configurado incorretamente pode usar um tipo MIME diferente para arquivos SWF. Verifique a configuração do servidor se tiver problemas ao rastrear e indexar arquivos SWF.

Como os arquivos SWF são indexados?

O texto contido em um arquivo SWF é indexado como se fosse <body> texto na página HTML anexada. Se um resultado de pesquisa encontrar o texto contido em um arquivo SWF incorporado, o resultado na verdade será vinculado à página HTML circundante e não ao arquivo SWF. Dessa forma, o arquivo SWF é exibido no contexto correto.
Se um arquivo SWF contiver um URL como uma ação "Carregar filme", o texto no arquivo SWF referenciado será indexado como parte da página HTML circundante.
Se um arquivo SWF contiver um URL como uma ação "Obter URL", o URL será rastreado e indexado posteriormente, exatamente como uma referência HTML é rastreada e indexada posteriormente. <a href=...>
Se um arquivo SWF estiver listado como um ponto de entrada de URL, o texto do arquivo SWF será indexado como uma única página. Um resultado de pesquisa que encontra texto de um SWF de ponto de entrada vincula diretamente ao filme, não a uma página HTML de inclusão.

Um arquivo SWF conta como uma página?

Não. Um arquivo SWF é considerado parte de sua página HTML de inclusão. Todos os URLs "Carregar filme" contidos em arquivos SWF também são considerados parte da página HTML de inclusão. Portanto, os arquivos SWF referenciados em uma página HTML não contam como uma "página" para o total de páginas da conta.
Se um arquivo SWF estiver listado como um ponto de entrada de URL, esse arquivo SWF e todos os URLs "Carregar filme" listados nesse arquivo SWF serão contados como uma "página" para o total de páginas da conta.

Como impedir a indexação de arquivos SWF individuais?

Para impedir a indexação de um arquivo SWF, é possível adicionar uma tag meta ( <meta name="ROBOTS" content="NOINDEX"> ) ou uma <noindex> tag do robô ao documento HTML circundante. Ou seja, o documento que contém a tag <embed> ou <object> .
Você também pode usar a meta tag ( <meta name="ROBOTS" content="NOFOLLOW"> ) dos robôs para impedir os seguintes URLs contidos no arquivo SWF. Se o documento HTML anexado tiver sido desabilitado, os URLs listados como ações "Obter URL" no arquivo SWF não serão seguidos.

Como impedir que arquivos SWF sejam indexados no meu site?

Para desativar a indexação SWF, desmarque o tipo de conteúdo Adobe Flash Movies ( Settings > Crawling > Content Types ).
Você também pode optar por usar URL Masks para desativar a indexação de arquivos SWF.
Para desativar a indexação SWF, insira uma das seguintes máscaras de URL:
  • exclude *.swf (se você não estiver usando expressões regulares)
  • exclude regexp ^.*\.swf$ (se você estiver usando expressões regulares)
Consulte Expressões regulares .

Por que não posso pesquisar os arquivos SWF chineses, japoneses ou coreanos no meu site?

A pesquisa/comercialização do site obtém UTF-8 de arquivos SWF criados com o Adobe Flash. O UTF-8 não contém nenhuma indicação de idioma. Se você selecionou o tipo de conteúdo Adobe Flash Movies ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o idioma usado pelo arquivo SWF.
Consulte Adicionar definições de injeção de campo.
Arquivos SWF antigos também não especificam um conjunto de caracteres. Se você selecionou o tipo de conteúdo SWF Adobe Flash Movies ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o conjunto de caracteres usado no arquivo SWF.

Pesquisa geral

Uma página de perguntas frequentes que discute como a pesquisa/comercialização do site ajuda os clientes que visitam seu site a encontrar o que estão procurando.
Veja a seguir perguntas comuns sobre a pesquisa geral:
Veja a seguir algumas perguntas comuns sobre os recursos de pesquisa:

Preciso instalar algum software para usar a pesquisa/comercialização do site?

Não. Essa é a principal vantagem da pesquisa/comercialização do site. O mecanismo é um aplicativo profissional hospedado e mantido inteiramente em nossos servidores de alto desempenho. Isso torna o software mais fácil de usar do que outras soluções de pesquisa. A única coisa que você precisa fazer é adicionar uma pequena quantidade de código HTML às suas páginas para que os clientes do seu site possam inserir pesquisas. A pesquisa/comercialização do site cuida de todo o resto.

O que acontece quando meu site excede o limite de página?

Continuamos servindo suas pesquisas para que seus visitantes possam pesquisar em seu site sem interrupção. Para ver se o site excede o limite de página, reveja o status do Índice Completo ou do Log ao Vivo.
Consulte Sobre o Índice Completo.

Como faço para alterar o endereço de email para o qual os relatórios semanais são enviados?

Relatórios semanais são enviados ao proprietário de cada conta ativa. Você pode alterar o endereço de email clicando em Settings > My Profile > Personal Information . Se você tiver mais de uma conta de pesquisa ativa, todos os boletins serão enviados para o novo endereço.
Consulte Configuração das informações pessoais do usuário.

Qual é a segurança das informações do meu cliente na pesquisa/comercialização do site?

A pesquisa/comercialização do site é segura, rápida, estável e fácil de usar. Você não é forçado a usar cookies (embora possa usá-los se desejar) para usar nossos produtos, e as informações confidenciais, como senhas, nunca são colocadas em qualquer link de URL que possa ser recuperado posteriormente do seu navegador.

E quanto à privacidade das informações do meu cliente?

A Adobe está comprometida em honrar a privacidade de seus clientes e visitantes. Consulte o Centro de privacidade da Adobe.

Posso mostrar meus próprios anúncios de banner nas páginas de resultados da pesquisa?

Sim. Você controla a aparência e o conteúdo dos resultados da pesquisa. No modelo de resultados da pesquisa para seu site, você pode criar links para sua própria rede de troca de banners, como LinkExchange ou SmartClicks. Todas as ocorrências feitas pelos seus visitantes são creditadas corretamente na sua conta de troca de banner.

Posso personalizar os resultados da pesquisa para o meu site?

Sim. Este é um recurso exclusivo de pesquisa/comercialização do site. Com nossa avançada tecnologia de modelo e um pouco de conhecimento em HTML, você pode controlar exatamente como os resultados da pesquisa aparecem.
Consulte Pesquisar marcas de modelo.
A transição entre seus próprios servidores e os servidores de pesquisa/comercialização do site é totalmente ininterrupta e invisível para seus clientes. Se você não souber HTML ou se não tiver tempo para criar um modelo personalizado, poderá escolher entre uma variedade de modelos atraentes e prontos para uso criados pela equipe interna de desenvolvedores da Web profissionais da Adobe.

Posso ver o que os clientes estão procurando no meu site?

Sim. Mantemos estatísticas de pesquisa para pesquisas feitas por visitantes em seu site nos últimos dois meses. Você pode revisar essas estatísticas a qualquer momento em Relatórios no menu do produto. Os relatórios de pesquisa fornecem informações vitais sobre exatamente o que os visitantes estão procurando em seu site. Você pode usar essas informações para melhorar o design ou para ajustar o mecanismo de pesquisa/comercialização do site para melhor servir aos seus visitantes.

Como posso controlar quais tipos de conteúdo (PDF, texto, Flash, MP3 e Microsoft Office) são indexados e pesquisados?

Você pode configurar facilmente contas para ativar ou desativar a indexação e a pesquisa de texto encontrado em documentos PDF, documentos de texto simples, filmes Flash, arquivos MP3 ou documentos do Microsoft Office.
Essas configurações são controladas na Staged Content Types página.
Consulte Sobre tipos de conteúdo.

As páginas da Web geradas dinamicamente por meio de conteúdo baseado em ASP, JSP, PHP, CFM ou Perl são suportadas?

As páginas da Web HTML estáticas ou geradas dinamicamente são indexadas, incluindo páginas criadas a partir de bancos de dados ou qualquer outro processo back-end. Como o código HTML que um navegador vê é indexado, você pode usar a pesquisa/comercialização do site em sites, desde que essas arquiteturas de back-end resultem em páginas HTML.
O robô de pesquisa rastreia seu site começando pela primeira página no endereço do site especificado em Account Settingse segue links de página para página.
Consulte Definição das configurações da sua conta.
Quando o robô de pesquisa rastreia e indexa todas as páginas do site, você pode usar o mecanismo de pesquisa para pesquisar no site. Em outras palavras, se documentos gerados dinamicamente forem inseridos em seu site com links de outras páginas, o robô de pesquisa ainda poderá rastrear e indexar o conteúdo dinâmico.
Depois que o conteúdo do site é rastreado e indexado, os clientes do site podem pesquisar informações dentro do conteúdo indexado.

Como posso usar sinônimos para melhorar os resultados da pesquisa do meu site?

Você pode usar sinônimos quando quiser que os visitantes localizem páginas relacionadas à consulta de pesquisa deles.
Por exemplo, suponha que você tenha uma página que contenha uma lista de preços de produtos para venda em seu site. No entanto, após examinar os relatórios de pesquisa fornecidos pela pesquisa/comercialização do site, você verá que os clientes estão procurando a palavra "custo", "despesa", "encargo" ou "taxa" em suas pesquisas. Essas palavras não exibem sua página de lista de preços nos resultados da pesquisa. Com o Add Synonyms recurso em Dictionaries, você pode especificar que essas palavras sejam sinônimos, e seu cliente pode encontrar sua lista de preços, independentemente do termo de pesquisa que usarem.

Tenho controle sobre a ordenação dos resultados da pesquisa?

Sim. Usando a interface de relevância avançada, você pode controlar quais páginas são retornadas para uma consulta de pesquisa específica. Esse recurso é útil se você quiser ter certeza de que os clientes verão uma página específica ao consultar determinadas palavras.
Consulte Adicionar um novo campo de tag meta.

Posso alterar o idioma da página de resultados da pesquisa?

Sim. O modelo de pesquisa/comercialização do site é flexível quando se trata de permitir que você construa uma página de resultados que usa o idioma de sua escolha e corresponde à aparência do site.
O modelo consiste em uma combinação de texto, tags HTML padrão e tags especiais definidas para exibir os resultados da pesquisa. Quando um cliente realiza uma pesquisa, o robô de pesquisa lê o modelo, gera o texto usando tags HTML padrão e insere os links de resultados com base nas tags de modelo especiais.
Consulte Pesquisar marcas de modelo.
Se quiser alterar o idioma dos resultados, edite o texto em inglês que aparece no modelo.

É possível ter mais de um site no logon de cliente da Adobe?

Sim. Com um único logon de cliente da Adobe, você pode gerenciar um mecanismo de pesquisa diferente para vários sites diferentes. Selecione e gerencie contas em "Contas".

Posso pesquisar mais de um domínio?

Sim. Você pode configurar o acesso para mais de um domínio usando URL Entrypoints. Forneça pontos de entrada de URL para domínios adicionais que você possui. Lembre-se de que você deve ter permissão para indexar domínios que você não possui.
Consulte Sobre pontos de entrada de URL.

Posso subdividir meu site em seções separadas para que os clientes possam pesquisar qualquer uma dessas áreas individualmente ou em todo o site?

Sim. Um recurso "Coleções" está incluído e permite que os clientes pesquisem áreas específicas do seu site para encontrar rapidamente o que estão procurando.
Por exemplo, os clientes podem pesquisar uma coleção de URLs relacionados a informações de vendas de produtos ou uma coleção de URLs relacionados a serviços de suporte. Você pode configurar coleções para que seus clientes vejam uma lista suspensa de coleções ou um grupo de caixas de seleção.

Como excluir partes do meu site de serem pesquisadas?

Sim. Especifique as máscaras de URL para determinar quais páginas do site você deseja incluir ou excluir da indexação. As máscaras de URL determinam se as páginas do site aparecem nos resultados da pesquisa.
Consulte Sobre máscaras de URL.
Consulte Sobre o script de máscaras de URL.
Para impedir que partes de páginas da Web individuais sejam pesquisadas, é possível excluir partes de uma página da indexação. Envolva o texto com <noindex> e </noindex> tags. Esse método é útil se você deseja excluir o texto de navegação das pesquisas.

Quais conjuntos de caracteres são suportados?

Geralmente, as páginas da Web especificam o conjunto de caracteres com uma tag meta semelhante ao seguinte:
<META HTTP-EQUIV="Content-Type" CONTENT="text/html; charset=iso-8859-1">
O mecanismo de pesquisa/comercialização do site indexa corretamente as páginas da Web usando todos os conjuntos de caracteres comuns em uso na Internet hoje. Alguns dos conjuntos de caracteres suportados incluem o seguinte:
Árabe (ISO-8859-6)
Chinês (Tradicional; Big5)
Japonês (Shift_JIS)
Árabe (Windows-1256)
Chinês (Tradicional; EUC-TW)
Russo (KOI8-R)
Báltico (ISO-8859-4)
Cirílico (ISO-8859-5)
Sul da Europa (ISO-8859-3)
Báltico (Windows-1257)
Cirílico (Windows-1251)
Turco (ISO-8859-9)
Europa Central (ISO-8859-2)
Grego (ISO-8859-7)
Turco (Windows-1254)
Europa Central (Windows-1250)
Grego (Windows-1253)
Unicode (UTF-8)
Chinês (ISO-2022-CN)
Hebraico (ISO-8859-8)
US-ASCII (us-ascii)
Chinês (ISO-2022-CN-EXT)
Hebraico (Windows-1255)
Europeu Ocidental (ISO-8859-1)
Chinês (Simplificado; EUC-CN)
Japonês (EUC-JP)
Europeu Ocidental (ISO-8859-15)
Chinês (Simplificado; (GB2312)
Japonês (ISO-2022-JP)
Europeu Ocidental (Windows-1252)
Chinês (Simplificado; GBK)
Japonês (ISO-2022-JP-1)
Europeu Ocidental (x-mac-roman)
Chinês (Simplificado; HZ-GB-2312)
Japonês (ISO-2022-JP-2)
Entre em contato com o suporte técnico para saber mais sobre os conjuntos de caracteres que não estão listados acima.

E se eu alterar ou atualizar meu site?

Depois de alterar o conteúdo do seu site, você pode executar um índice completo ou incremental. A pesquisa/comercialização do site baixa e indexa qualquer conteúdo alterado do site. Depois que a indexação for concluída, seus clientes poderão pesquisar o novo conteúdo. Você também pode agendar uma indexação automática do site em um determinado momento e em um dia específico.

Meu site pode ser indexado automaticamente?

Sim. Você pode agendar um índice automático do site todos os dias.
Além da indexação automática diária, você pode optar por ter partes do site alteradas com frequência e indexadas incrementalmente. Nos dias em que você tem um índice automático programado, é possível controlar a hora do dia em que o índice ocorre. Além disso, você sempre pode iniciar manualmente um índice de site sempre que desejar.

Eu uso senhas em meu site. Ainda posso usar a pesquisa/comercialização do site?

Se você usar a Autenticação Básica HTTP para proteger por senha determinadas partes do seu site, poderá especificar realms e senhas que a pesquisa/comercialização do site pode usar para indexar seu site.

Você suporta o rastreamento e a indexação de https ou conteúdo protegido do servidor?

Sim. Você pode rastrear e indexar conteúdo em servidores protegidos (https).

A pesquisa/comercialização do site honra o arquivo robots.txt do meu site?

Sim. O Robots Exclusion Protocol está em conformidade. O robô de pesquisa examina o arquivo robots.txt se ele estiver presente em seu site. Se o arquivo robots.txt excluir todos os robôs de rastrear seu site, o robô de pesquisa/comercialização do site também será excluído. Para permitir que somente o robô de pesquisa/comercialização do site rastreie seu site, defina o conteúdo do arquivo robots.txt para o seguinte:
User-agent: Atomz/1.0 
Disallow:

User-agent: * 
Disallow: /

Você pode saber mais sobre robôs web e o protocolo de exclusão de robôs no seguinte endereço:

Determinadas partes do meu site devem ser atualizadas com frequência para que meus clientes obtenham os resultados de pesquisa mais precisos. A indexação incremental ajuda com esse problema?

Sim. Esse cenário é o que o recurso de indexação incremental foi criado para facilitar a pesquisa/comercialização do site. O principal benefício da indexação incremental é que ela permite que as empresas indexem com frequência partes dinâmicas do site que mudam. Essa funcionalidade garante que você esteja exibindo os resultados da pesquisa com precisão de "até um minuto".

As páginas da Web geradas dinamicamente são suportadas por um banco de dados back-end, como catálogos de produtos ou sistemas de gerenciamento de inventário?

Páginas da Web HTML estáticas ou geradas dinamicamente, incluindo páginas criadas a partir de bancos de dados ou qualquer outro processo de back-end são indexadas. Como o código HTML, conforme exibido por um navegador, é indexado, você pode usar a pesquisa/comercialização do site em sites, desde que as informações do banco de dados de back-end resultem em páginas HTML.
O robô de pesquisa rastreia seu site começando pela primeira página no endereço do site especificado em Account Settingse segue links de página para página.
Consulte Definição das configurações da sua conta.
Quando o robô de pesquisa rastreia e indexa todas as páginas do site, você pode usar o mecanismo de pesquisa para pesquisar no site. Em outras palavras, se documentos gerados dinamicamente forem inseridos em seu site com links de outras páginas, o robô de pesquisa ainda poderá rastrear e indexar o conteúdo do banco de dados dinâmico.
Depois que o conteúdo do site é rastreado e indexado, os clientes do site podem pesquisar informações dentro do conteúdo indexado.
Você pode facilmente habilitar a pesquisa de conteúdo completo ou uma pesquisa com base em tópicos mais restrita, restrita a informações no título, à meta-descrição ou às tags de documento de meta-palavras, ou todas as três. Usando definições de metadados, também é possível criar campos de exibição personalizados, como uma imagem de produto, nos resultados da pesquisa real.
Consulte Adicionar um novo campo de tag meta.

Posso usar scripts ou programas para iniciar um índice incremental do meu site?

Sim. Você pode usar scripts ou programas para iniciar um índice incremental do seu site, bem como fazer ping nos servidores para indexar o site sempre que o conteúdo for alterado ou atualizado.
Consulte Sobre o índice de script.

Implementações de recursos

Uma página de perguntas frequentes que discute várias implementações de recursos em Search&Promote.
Veja a seguir perguntas comuns sobre implementações de recursos em um Search&Promote site:

Por que minhas regras de negócios não estão funcionando?

Configure as regras de negócios quando os banners forem exibidos ou para ajudar a decidir quais resultados serão exibidos e em que ordem. Você também pode configurar a posição de um item em sua faceta e qual modelo é usado para uma determinada pesquisa. Reorganize as regras de negócios para alterar a ordem em que são executadas nos modelos de apresentação. As regras de negócio são aplicadas na ordem em que foram definidas; ou seja, quanto maior for o número do pedido de uma regra, mais tarde ela será executada no processo, superando as regras anteriores. Você reorganiza as regras digitando um novo número na coluna Ordem da tabela na página Regras de Negócios.

Por que há problemas ao agendar a indexação, erros ao iniciar a indexação e problemas ao iniciar a indexação em etapas?

Quando você gera um índice, seja ele completo ou incremental, as informações de status de rastreamento de índice são exibidas em tempo real. Por exemplo, você pode exibir a hora de início, o tempo decorrido e quaisquer erros que ocorreram durante o processo de indexação. As informações sobre o status do último índice também são exibidas. Use essas informações para solucionar erros de indexação encontrados.

Meu limite de tamanho de índice excede meu limite permitido. Por que isso está acontecendo e como faço para consertá-lo?

Um site pode ter tendência a crescer e ao longo do tempo o Search&Promote "descobre" mais documentos e páginas da Web que foram adicionados. Eventualmente, sua conta poderá exceder seu limite de tamanho de indexação, em tais casos, você poderá considerar o uso URL Mask . Este recurso oculta documentos e páginas da Web do rastreamento de índice que você não deseja ou não precisa que sejam indexados, reduzindo o tamanho do índice. Outra opção pode ser entrar em contato com o suporte técnico para que o limite de tamanho de indexação seja definido como maior na sua conta.
Consulte Sobre máscaras de URL.
Se não tiver certeza do que fazer, entre em contato com o Suporte Técnico. Pode haver muitas outras variáveis afetando o tamanho do índice que, se ajustadas, também podem afetar o faturamento da sua conta.

O que controla a codificação do conjunto de caracteres da consulta de pesquisa?

A seção "Formulários Web" da sua conta de pesquisa contém formulários de pesquisa de amostra que você usa para adicionar a funcionalidade de pesquisa ao seu site. Se você observar esse código de pesquisa de formulários, poderá encontrar uma linha semelhante à seguinte:
<input type=hidden name="sp_f" value="iso-8859-1">
Essa linha de código informa ao mecanismo de pesquisa que a consulta recebida está codificada em iso-8859-1, uma codificação comum para idiomas da Europa Ocidental. Você pode alterar essa configuração indo para o menu do produto e clicando em Settings > My Profile > Personal Information . Na Personal Information página, na lista Character Encoding suspensa, selecione uma nova codificação.
Consulte Configuração das informações pessoais do usuário.
Também é possível alterar manualmente o valor de codificação em suas páginas da Web editando a sp_f linha do formulário de pesquisa. Lembre-se de que o sp_f valor do formulário de pesquisa deve corresponder à codificação do conjunto de caracteres da página em que ele aparece.

Somente as páginas pesquisadas cuja codificação corresponde à codificação da consulta de pesquisa?

Por padrão, não. Desde que as páginas do site identifiquem corretamente a codificação do conjunto de caracteres, as conversões necessárias são feitas entre a codificação da consulta de pesquisa e a das páginas, mesmo quando as páginas usam várias codificações.

Qual codificação é usada para a página de resultados da pesquisa?

A codificação do conjunto de caracteres da sua conta determina a codificação padrão para o modelo de resultados.
Consulte Configuração das informações pessoais do usuário.
Você pode saber mais sobre como especificar um conjunto de caracteres em um modelo HTML.
Consulte Pesquisar marcas de modelo.

Posso usar a pesquisa/comercialização do site em páginas codificadas em Unicode, UTF-8?

Sim. No entanto, os conjuntos de caracteres Unicode, como o UTF-8, não fornecem informações suficientes para determinar o idioma no qual as páginas estão gravadas. Para pesquisar corretamente essas páginas, é necessário especificar o idioma. Para determinar o idioma do documento, as informações são processadas na seguinte ordem:
  • Cabeçalho HTTP de linguagem de conteúdo fornecido para o documento pelo seu servidor.
  • Elementos META (por exemplo, META HTTP-EQUIV="Content-Language" Content="ja_JP" ) na seção <HEAD> do documento.
  • Atributo LANG da <HTML> tag (por exemplo, <HTML LANG="ja_JP"> ).
Se o servidor não estiver configurado para fornecer o cabeçalho HTTP de linguagem de conteúdo e os documentos não contiverem o elemento META de idioma nem o atributo de idioma para a <HTML> tag , você poderá usar injeções de metadados para especificar o idioma apropriado.
Consulte Adicionar definições de injeção de campo.

Por que não posso pesquisar os arquivos PDF chineses, japoneses ou coreanos no meu site?

A pesquisa/comercialização do site obtém UTF-8 de arquivos Adobe PDF sem indicação de idioma. Se você selecionou PDF Documents ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o idioma usado no arquivo PDF.
Consulte Adicionar definições de injeção de campo.

Por que não posso pesquisar os arquivos SWF chineses, japoneses ou coreanos no meu site?

A pesquisa/comercialização do site obtém UTF-8 de arquivos de filme Adobe Flash que foram criados com o Adobe Flash sem indicação de idioma. Se você selecionou o tipo de conteúdo Adobe Flash Movies ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o idioma usado no arquivo SWF.
Para Flash versão 4 ou versões anteriores de arquivos SWF, o conjunto de caracteres dos caracteres no arquivo não é especificado. Se você selecionou o tipo de conteúdo Adobe Flash Movies ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o conjunto de caracteres usado no arquivo SWF.
Consulte Adicionar definições de injeção de campo.

Por que não posso pesquisar os arquivos do Microsoft Office em chinês, japonês ou coreano no meu site?

A pesquisa/comercialização do site obtém UTF-8 de arquivos do Microsoft Office (Microsoft Word, Microsoft Excel e Microsoft PowerPoint) sem indicação de idioma. Se você selecionou o tipo de conteúdo Microsoft Office Files ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o idioma usado nos arquivos do Microsoft Office.
Consulte Adicionar definições de injeção de campo.

Por que não posso pesquisar os arquivos MP3 chineses, japoneses ou coreanos no meu site?

Se você selecionar o tipo de conteúdo Text in MP3 Music Files ( Settings > Crawling > Content Types ), deverá usar injeções de metadados para especificar o conjunto de caracteres usado para codificar os arquivos MP3.
Consulte Adicionar definições de injeção de campo.

Preciso fazer algo especial para que os arquivos .txt no meu site sejam indexados corretamente?

Se você selecionou o tipo de conteúdo Text Documents ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o conjunto de caracteres usado para codificar os arquivos .txt.
Consulte Adicionar definições de injeção de campo.

Como as fontes chinesas, japonesas ou coreanas aparecem nos resultados da pesquisa no Netscape 4.7 e anterior?

Se sua conta usar o modelo padrão, um dos modelos prontos para uso ou um modelo baseado em qualquer um desses modelos, ele pode conter tags de fonte que especificam Arial ou Helvetica como faces de fonte. Por exemplo, <font face="arial, helvetica" size="+1"> . O Netscape 4.7 e anterior não exibe caracteres chineses, japoneses ou coreanos quando a face de fonte Arial ou Helvetica é usada. Remova o face atributo ou substitua a face da fonte por uma mais apropriada para chinês, japonês ou coreano.

Você examinou seu registro de índice?

O log de índice contém informações detalhadas que o robô de pesquisa/comercialização do site coleta ao indexar seu site. O log inclui uma lista de links rastreados e erros encontrados. Examinar o log de índice é o melhor local para começar a determinar por que todas as páginas do site não estão indexadas.

Você tem erros de digitação no URL?

Quando você digita URLs longos em formulários HTML, ele pode inserir um ou mais erros tipográficos. Lembre-se de que os URLs não devem conter espaços. Além disso, lembre-se de que alguns servidores da Web lidam com URLs que fazem distinção entre maiúsculas e minúsculas.
No menu do produto, clique em Settings > Crawling > URL Entrypoints . Na Staged URL Entrypoints página, verifique o seguinte:
  • Você não tem nenhum erro tipográfico em seus URLs.
  • Os caracteres nos URLs estão usando a caixa correta.
  • Não há caracteres de espaço nos URLs.
Para testar seus pontos de entrada de URL, copie e cole um URL em um navegador da Web para ver se seu site é exibido. Se não for exibido, verifique novamente para garantir que você não cometeu nenhum erro no caminho do URL.
Consulte Sobre pontos de entrada de URL.

A página da Web do ponto de entrada tem links para outras páginas do seu site?

O robô de pesquisa/comercialização do site rastreia seu site da mesma forma que seu cliente faz; seguindo os links de página para página. Os links devem estar presentes na página da Web do ponto de entrada antes que o robô de pesquisa possa localizar e indexar outras páginas em seu site.

Os links para outras páginas do seu site estão incorporados ao JavaScript?

Você pode usar técnicas de navegação sofisticadas em seu site, como ações de roll-over e menus, que usam JavaScript para criar links para outras páginas. Entretanto, o robô de pesquisa/comercialização do site não pode seguir os links incorporados ao JavaScript.
Uma solução que você pode usar para resolver esse problema é colocar links ocultos para outras páginas no HTML que contém o JavaScript. Embora os clientes do seu site não vejam esses links, o robô de pesquisa ainda os encontra e os rastreia. Você pode colocar tags ocultas na parte inferior da página antes da </body> tag . Eles podem se parecer com o seguinte:
<a href="/mydir/mypag1.html"></a> 
<a href="/mydir/mypag2.html"></a>

Outra solução é listar os URLs das páginas adicionais em seu site como pontos de entrada para rastrear e indexar. Inicie os URLs com a https:// seguinte maneira:
https://www.mydomain.com/mydir/mypag1.html 
https://www.mydomain.com/mydir/mypag2.html

As tags HTML na sua página da Web estão em uma sequência inválida?

A especificação HTML exige que as tags <html> , <head> e <body> sigam uma sequência específica em um documento HTML. As tags em todas as suas páginas da Web devem ter a seguinte sequência:
<html> 
<head> 
...  
<i>head tags go here</i> ... 
</head> 
<body> 
...  
<i>body tags go here</i> ... 
</body> 
</html>

Se as tags HTML não estiverem na ordem correta, o robô de pesquisa/comercialização do site não poderá analisar e indexar corretamente sua página da Web. A seguir está um exemplo de tags que não estão na sequência correta:
<body> 
<head> 
...  
<i>head tags are here</i> ... 
</head> 
...  
<i>body tags are here</i> ... 
</body>

Nesse caso, coloque as tags <html> , <head> e <body> na sequência correta na sua página da Web.

Você formou tags de comentário HTML incorretamente na sua página da Web?

Certifique-se de revisar e corrigir cuidadosamente todos os comentários HTML inválidos em suas páginas da Web.
A especificação HTML exige que um comentário HTML comece com os caracteres <!-- e termine com os caracteres --> . É fácil ignorar comentários formatados incorretamente que fazem com que o robô de pesquisa/comercialização do site analise incorretamente as tags em sua página da Web. Um comentário formado incorretamente pode fazer com que o robô de pesquisa/comercialização do site perca outras tags importantes que precisam ser analisadas. Lembre-se dos comentários logo antes da <body> tag na sua página da Web.
A seguir está um exemplo de um comentário corretamente formado:
<!-- This HTML comment is OK. -->
Este é um exemplo de comentários formados incorretamente:
<!- This HTML comment is improperly formed. -> 
<! This HTML comment is also improperly formed. >

Sua página da Web contém links para páginas em outro domínio?

Geralmente, um site pode consistir em páginas que realmente existem em um servidor da Web com um endereço de domínio diferente. Por exemplo, se o endereço do site principal for o seguinte:
https://www.mydomain.com/
Seu site também pode ter páginas em outro domínio, como:
https://www.otherdomain.com/
Por padrão, o robô de pesquisa/comercialização do site não segue links em um domínio diferente do principal. No entanto, ao configurar pontos de entrada adicionais para sua conta de pesquisa, você pode indexar facilmente vários domínios.
No menu do produto, clique em Settings > Crawling > URL Entrypoints . Adicione o URL do "ponto de entrada principal do site" de seu site. Em seguida, adicione outros pontos de entrada de URL a qualquer outro domínio que contenha páginas do site. Por exemplo, você definiria seu ponto de entrada principal de URL como:
https://www.mydomain.com/
e adicione o seguinte ponto de entrada adicional do URL do site:
https://www.otherdomain.com/

Você está usando um serviço de domínio virtual para seu URL?

Você pode estar usando um serviço de domínio virtual (às vezes chamado de "serviço de redirecionamento de domínio") para fornecer um URL melhor para os clientes acessarem seu site. Por exemplo, suponha que o endereço real do seu site seja o seguinte:
https://www.myispdomain.com/~myname/mywebpages/
No entanto, você usa um serviço de domínio virtual para que os clientes possam acessar seu site nos seguintes endereços:
https://myname.adomain.com/
ou
https://adomain.com/myname/
Por padrão, o robô de pesquisa/comercialização do site não segue links em um domínio diferente do principal. No entanto, ao configurar pontos de entrada adicionais para sua conta de pesquisa, você pode indexar facilmente vários domínios.
No menu do produto, clique em Settings > Crawling > URL Entrypoints . Adicione o "ponto de entrada principal do URL do site" ao nome de domínio virtual do site. Em seguida, adicione outros pontos de entrada ao domínio onde seu site realmente vive.
Por exemplo, você definiria seu ponto de entrada principal do URL como o seguinte:
https://myname.adomain.com/
E adicione o seguinte ponto de entrada adicional do URL do site:
https://www.myispdomain.com/~myname/mywebpages/

Sua página da Web usa uma tag meta-refresh?

Muitos sites têm uma página inicial que inclui uma tag meta-refresh entre as <head>...</head> tags semelhantes às seguintes:
<meta http-equiv="Refresh" content="0;URL=https://www.adomain.com/apath/afile.html">
Em determinadas circunstâncias, o robô de pesquisa/comercialização do site não consegue seguir o URL de atualização meta para indexar o conteúdo do site. Esse problema é fácil de resolver ao configurar pontos de entrada adicionais.
No menu do produto, clique em Settings > Rastreamento > URL Entrypoints . Adicione outro ponto de entrada ao URL da tag meta-refresh.

Sua página da Web usa uma tag meta-robôs?

Às vezes, as páginas da Web usam tags meta-robôs para controlar robôs da Web que periodicamente tentam rastrear um site. As tags de meta-robôs são exibidas entre as <head>...</head> tags de uma página da Web e parecem semelhantes à seguinte tag:
<meta name="robots" content="noindex, nofollow">
Como o robô de pesquisa/comercialização do site é um robô web, ele segue os rumos da tag meta-robôs. Ao excluir outros robôs dessa forma, você também exclui o robô de pesquisa/comercialização do site.
Você pode saber mais sobre robôs web e o protocolo de exclusão de robôs no seguinte endereço:
Remova ou modifique a tag meta-robôs nas páginas da Web que você deseja indexar em seu site.

Seu site usa um arquivo de exclusão de robôs?

Às vezes um site tem uma página chamada robots.txt que exclui todos ou alguns robôs de rastreá-lo. Para ver se o site tem um arquivo robots.txt, procure-o logo abaixo do domínio de nível superior, como mostrado no seguinte:
https://www.yourdomain.com/robots.txt
O conteúdo do arquivo robots.txt é semelhante ao seguinte texto:
User-agent: * 
Disallow: /

Como o robô de pesquisa/comercialização do site é um robô web, ele segue as direções no arquivo robots.txt — exclui o robô de pesquisa/comercialização do site. Para contornar esse problema, edite o arquivo de exclusão de robôs (robots.txt) para permitir que o robô de pesquisa/comercialização do site rastreie e indexe seu site da seguinte maneira:
User-agent: Atomz/1.0 
Disallow: 
 
User-agent: * 
Disallow: /

Microsoft Office

Uma página de perguntas frequentes que discute o suporte à indexação e pesquisa de arquivos do Microsoft® Office em um site.
Veja a seguir perguntas comuns sobre arquivos do Microsoft Office:

O que é indexado em um arquivo do Microsoft Office?

O conteúdo completo dos arquivos do Microsoft Word, do Microsoft Excel e do Microsoft PowerPoint é indexado.
As seguintes partes de um arquivo do Microsoft Word estão indexadas:
  • Título
  • Palavras-chave
  • Assunto (Descrição)
  • Conteúdo baseado em texto
  • Hiperlinks para outros documentos
As seguintes partes de um arquivo do Microsoft Excel estão indexadas:
  • Título
  • Palavras-chave
  • Assunto (Descrição)
  • Texto em células
  • Valores de fórmulas numéricas em células
As seguintes partes de um arquivo do Microsoft PowerPoint estão indexadas:
  • Título
  • Palavras-chave
  • Assunto (Descrição)
  • Texto em cada slide

O que não é indexado em um arquivo do Microsoft Office?

Os gráficos contidos em arquivos do Microsoft Office ou qualquer texto que faça parte de um gráfico contido não são indexados. As definições de propriedade personalizada não são indexadas como metadados. Alguns textos em campos especiais, como cabeçalhos e rodapés em um arquivo PowerPoint, também não são indexados.

Como os arquivos do Microsoft Office são indexados de forma diferente das páginas HTML?

A diferença entre a forma como o robô de pesquisa indexa arquivos do Microsoft Office e arquivos HTML é que cada arquivo HTML é uma página individual e um único arquivo do Microsoft Office pode representar centenas de páginas. Por isso, cada página é contada em um arquivo do Microsoft Office como uma página separada na sua conta de pesquisa.

Como impedir que os arquivos do Microsoft Office sejam indexados no meu site?

Se você não quiser que o robô de pesquisa rastreie e indexe arquivos do Microsoft Office, desmarque o tipo de conteúdo Microsoft Office Files ( Settings > Crawling > Content Types ).
Você também pode usar URL Masks para desativar a indexação de arquivos do Microsoft Office.
Digite as seguintes máscaras de URL:
Se você não estiver usando expressões regulares
  • exclude *.doc
  • excluir *.xls
  • excluir *.ppt
Se você estiver usando expressões regulares
  • exclua regexp ^.*\.doc$
  • exclua regexp ^.*\.xls$
  • exclua regexp ^.*\.ppt$
Consulte Expressões regulares .

Quando um arquivo MP3 é rastreado e indexado?

Arquivos MP3 são rastreados e indexados de uma das duas maneiras. A maneira mais comum é a partir de uma tag href de âncora em um arquivo HTML:
<a href="MP3-file-URL"></a>
Uma segunda maneira é inserir o URL do arquivo MP3 como um ponto de entrada de URL.
Consulte Sobre pontos de entrada de URL.

O que devo fazer para rastrear e indexar os arquivos MP3 no meu site?

Para ativar o rastreamento e a indexação MP3 para sua conta, no menu do produto, clique em Settings > Crawling > Content Types . Na Staged Content Types página, selecione Text in MP3 Music Files .
Consulte Sobre tipos de conteúdo.

Como um arquivo MP3 é reconhecido?

Um arquivo MP3 é reconhecido pelo tipo MIME que é "audio/mpeg".

O que é indexado em um arquivo MP3?

Como opção, os arquivos MP3 armazenam uma pequena quantidade de informações textuais. Essas informações podem incluir o nome do álbum, o nome do artista, o título da música, o gênero da música, o ano de lançamento e um comentário. Estas informações são armazenadas no final do ficheiro no que é chamado TAG. Os arquivos MP3 que contêm informações TAG são indexados da seguinte maneira:
  • O título da música é tratado como o título de uma página HTML.
  • O comentário é tratado como uma descrição definida para uma página HTML.
  • O gênero é tratado como uma palavra-chave definida para uma página HTML.
  • O nome do artista, o nome do álbum e o ano de lançamento são tratados como o corpo de um documento HTML.

Um arquivo MP3 conta como uma página?

Sim, cada arquivo MP3 rastreado e indexado em seu site é contado como uma página.

Como impedir a indexação de arquivos MP3 individuais?

Coloque as tags de âncora que se vinculam aos arquivos MP3 com <nofollow> e </nofollow> tags. O robô de pesquisa não segue os links entre essas tags.
Outro método é adicionar os URLs dos arquivos MP3 como máscaras de exclusão.
Consulte Sobre máscaras de URL.
Consulte Sobre o script de máscaras de URL.

Como impedir que arquivos MP3 sejam indexados?

A maneira mais fácil de controlar a indexação MP3 para sua conta é desmarcando Text in MP3 Music Files a página Staged Content Types .
Você também pode usar o recurso Máscaras de URL para desativar a indexação MP3 por extensão de arquivo. Para fazer isso, no menu do produto, clique em Settings > Crawling > URL Masks . Digite uma das seguintes máscaras:
Se sua conta...
Insira a seguinte máscara de URL
Não usa expressões regulares
exclude *.mp3
Usa expressões regulares
exclua regexp ^.*\.mp3$
Consulte Expressões regulares .

Por que não consigo pesquisar os arquivos MP3 chineses, japoneses ou coreanos no meu site?

Para pesquisar arquivos MP3 chineses, japoneses ou coreanos, no menu do produto, clique em Settings > Crawling > Content Types > Text in MP3 Music Files . Em seguida, clique em Settings > Metadata > Injections e especifique o conjunto de caracteres usado para codificar os arquivos MP3.

O que é indexado em um arquivo PDF?

O conteúdo completo dos arquivos PDF é indexado. As seguintes partes de um arquivo PDF são indexadas:
  • Título
  • Palavras-chave
  • Assunto (Descrição)
  • Conteúdo baseado em texto

O que não é indexado em um arquivo PDF?

O sumário do PDF, qualquer gráfico do arquivo ou qualquer texto que faça parte de um gráfico contido não são indexados.

Como os arquivos PDF indexados são contados?

Cada arquivo PDF é contado, incluindo PDFs que contêm várias páginas, como um único documento.

Os resultados da pesquisa podem exibir um ícone PDF?

Sim. Use a <search-if-link-extension> tag do modelo para incluir um ícone PDF ou outros gráficos ou texto nos resultados da pesquisa:
<search-results> 
  ... 
  <search-if-link-extension value=".pdf"> 
    <img src="/search/i/pdficon.gif"> 
  </search-if-link-extension> 
  ... 
</search-results>

Os ícones de PDF ajudam seus clientes a saber que o resultado da pesquisa é vinculado a um arquivo PDF que pode ser muito grande. O tamanho do arquivo pode ser importante para os clientes que estão acessando seu site por um modem ou em um dispositivo móvel.

Os resultados da pesquisa podem se vincular a uma página específica em um arquivo PDF?

Sim. Usando a tag do modelo de links inteligentes ( <search-smart-link>...</search-smart-link> ), os clientes podem clicar para abrir a primeira página do PDF que contém o resultado da pesquisa.
Para usar links inteligentes, substitua as <search-link>...</search-link> tags na seção de resultados da pesquisa do modelo por <search-smart-link>...</search-smart-link> tags. Quando um cliente clica em um link gerado pelas tags de link inteligente, ele vai para a primeira página PDF relevante para a consulta de pesquisa.
Para usar esse recurso, o cliente deve usar uma versão recente do Adobe Acrobat ou do Adobe Acrobat Reader, que deve incluir o plug-in de realce e o plug-in External Window Handler (EWH). Além disso, o navegador da Web deles deve usar o plug-in do Adobe Acrobat para o Netscape Navigator (você pode usar qualquer navegador que aceite esse plug-in do Netscape Navigator) ou o controle do Acrobat AtiveX para o Internet Explorer 4.0 e posterior.
Consulte Pesquisar marcas de modelo.

Como impedir que arquivos PDF sejam indexados no meu site?

Se você não quiser que o robô de pesquisa rastreie e indexe arquivos PDF, desmarque o tipo de conteúdo PDF Documents ( Settings > Crawling > Content Types ).
Você também pode optar por usar URL Masks para desativar a indexação de PDF.
Para desativar a indexação de PDF, insira uma das seguintes máscaras de URL:
  • exclude *.pdf (se você não estiver usando expressões regulares)
  • exclude regexp ^.*\.pdf$ (se você estiver usando expressões regulares)
Consulte Expressões regulares .

Por que não posso pesquisar os arquivos PDF chineses, japoneses ou coreanos no meu site?

A pesquisa/comercialização do site obtém UTF-8 de arquivos PDF sem indicação de idioma. Se você selecionou o tipo de conteúdo PDF Documents ( Settings > Crawling > Content Types ), é necessário usar injeções de metadados para especificar o idioma usado no arquivo PDF.
Consulte Adicionar definições de injeção de campo.

Muitas páginas

Uma página de perguntas frequentes que explica algumas das razões pelas quais o indexador contou mais páginas do que você realmente conta, e qual é a solução em cada caso.
Se você tiver certeza de que seu site está abaixo do limite de sua página, mas o indexador estiver informando que o limite foi atingido, você deverá revisar essas perguntas e respostas comuns para encontrar possíveis soluções.

Você examinou seus vários registros de índice?

O log de índice contém informações detalhadas coletadas pelo robô de pesquisa/comercialização do site, à medida que indexa seu site. O log inclui uma lista de todos os links rastreados e encontrou erros. Examinar o log de índice é o melhor local para iniciar quando você está tentando determinar quais páginas estão sendo indexadas.

Os programas CGI estão sendo indexados em seu site?

Os programas CGI usam parâmetros de URL que às vezes fazem com que o indexador rastreie vários URLs "falsos". Se a pesquisa/comercialização do site estiver lendo seus programas CGI e seguindo URLs com parâmetros CGI neles, provavelmente existem vários múltiplos de páginas sendo rastreadas e indexadas que não são úteis para seu índice de pesquisa. Parâmetros CGI típicos são exibidos em URLs com ? ou & caracteres.
Você pode impedir que os programas CGI sejam indexados usando o recurso Máscaras de URL. Você pode mascarar um prefixo de URL ou usar expressões regulares para mascarar seus scripts CGI.
Consulte Sobre máscaras de URL.
Consulte Sobre o script de máscaras de URL.
Consulte Expressões regulares .

Seu servidor tem a navegação de diretório ativada?

Quando um servidor da Web tem a navegação de diretório ativada e não há um arquivo index.html presente em um determinado diretório, uma visita a esse diretório pode mostrar a lista de arquivos nesse diretório. Normalmente, há links na parte superior da página para permitir que você classifique a lista de maneiras diferentes apenas clicando Name , Last modified , Size etc. Normalmente, eles aparecem no log de índice de pesquisa/comercialização do site como URLs com caracteres, como ?M=A no final. O indexador de pesquisa/comercialização do site os segue como links, e isso pode levar à indexação de vários URLs "falsos".
Normalmente, um site bem projetado tem arquivos de índice localizados em cada diretório ou tem a navegação de diretório desativada para esses diretórios sem arquivos de índice. Felizmente, há uma maneira fácil de mascarar esses URLs "falsos" se você não conseguir alterar suas páginas ou desativar as listas de diretórios no lado do servidor.
Para realizar essa tarefa, clique em Settings > Crawling > URL Masks . Adicione uma máscara para mascarar qualquer URL que contenha o caractere ? . É possível realizar essa tarefa inserindo a seguinte máscara de expressão regular:
exclude regexp ^.*\?.*$
Depois de criar a máscara, certifique-se de reindexar seu site.

Há fóruns ou grupos de notícias em seu site?

Se fóruns ou grupos de notícias estiverem sendo pesquisados em seu site, ele pode estar seguindo URLs para opções de exibição diferentes ou opções de classificação. Esse comportamento significa que a mesma página é indexada várias vezes.
Geralmente, fóruns ou grupos de notícias vêm com seus próprios mecanismos de pesquisa. Nesse caso, você pode usar URL Masks para mascarar os fóruns da pesquisa/comercialização do site.
No menu do produto, clique em Settings > Crawling > URL Masks . Na Staged URL Masks página, mascare seus fóruns inserindo seus URLs como máscaras de URL excluídas.
Depois de criar as máscaras, certifique-se de indexar novamente seu site.

Há arquivos PDF ou do Microsoft Office em seu site?

Se você tiver arquivos PDF ou Microsoft Office arquivos PDF em seu site, talvez observe que o tamanho de índice de apenas alguns arquivos conta muitas páginas. O motivo pelo qual há mais páginas sendo indexadas do que documentos que você tem é porque cada página em um arquivo PDF ou do Microsoft Office é contada como uma página separada.
No menu do produto, clique em Index > Full Index > Live Index . Na Full Index página, selecione Count All Pages e clique Full Index Now para ver uma contagem total de páginas. Se não quiser que arquivos PDF ou arquivos do Microsoft Office sejam indexados, desative esse tipo de conteúdo em Settings > Crawling > Content Types .
Consulte Sobre tipos de conteúdo.

Você tem vários pontos de entrada de URL?

O robô de pesquisa/comercialização do site começa a rastrear em pontos de entrada de URL especificados e segue todos os links encontrados para todo o conteúdo desse domínio específico. Se você tiver especificado muitos pontos de entrada de URL, um número significativo de páginas poderá ser rastreado.
Use a nofollow tag do protocolo de exclusão de robôs nos cabeçalhos dos documentos de ponto de entrada nos domínios adicionais da seguinte maneira:
<html> 
<head> 
<meta name="robots" content="nofollow"> 
</head>

O código acima diz ao robô de pesquisa/comercialização do site para indexar o conteúdo da página, mas não para seguir os links para páginas adicionais.
Você pode saber mais sobre robôs web e o protocolo de exclusão de robôs no seguinte endereço:
Se você não tiver acesso à origem das páginas em domínios adicionais, poderá remover os vários pontos de entrada do URL. Isso ajuda a limitar a atividade de indexação somente aos domínios cujo conteúdo você deseja que os clientes possam pesquisar.
Consulte Sobre pontos de entrada de URL.

Você excedeu os bytes internos ou os limites de tempo de pesquisa/comercialização do site?

Verifique se sua conta atingiu seu limite na tela "Status completo do índice". Se o status reportar que seu índice é maior do que o permitido ou que levou mais tempo do que o permitido, seu site não será completamente indexado. Você pode corrigir esse erro para obter a cobertura correta e a contagem de páginas do site.
Para proteger os servidores de pesquisa/comercialização do site, há limites internos em bytes e tempo. Somente quando os arquivos rastreados são muito grandes, ou quando o servidor que a pesquisa/comercialização do site está tentando acessar está lento esses limites são atingidos.
Se você atingir um limite de tempo, verifique se o servidor está online e tente o índice novamente mais tarde. Se você atingir um limite de bytes, verifique os arquivos rastreados exibindo seu log de índice. Elas são excepcionalmente grandes? Entre em contato com o suporte técnico se você encontrar uma dessas mensagens.