Apresentando o Scanner de Atividade de Produtos da NeedSift
Como a NeedSift rastreia cuidadosamente as alterações do site, lançamentos de aplicativos, atividades públicas e a publicação do sitemap, sem realizar uma indexação agressiva dos sites de produtos.
A descoberta exige evidências de que um produto está ativo
Uma página de lançamento bonita pode permanecer online por anos após a interrupção do desenvolvimento. Ao mesmo tempo, uma pequena equipe pode lançar melhorias significativas a cada semana sem criar uma grande campanha de lançamento. Um diretório estático não consegue distinguir essas situações.
A NeedSift agora constrói um histórico diário de produtos a partir de sinais públicos e de baixo custo. O objetivo não é vigilância. É uma resposta concisa a uma pergunta útil: este produto está disponível, mantido, publicado e em produção?
O que o scanner observa
O trabalhador verifica o site principal, metadados de lançamento estáveis do App Store e Google Play, atividades públicas do GitHub ou Telegram, quando disponíveis, e arquivos do sitemap anunciados através do robots.txt. Links de demonstração adicionais podem ser verificados através de uma impressão digital de conteúdo normalizada.
Para cada observação diária, ele armazena apenas as informações necessárias para o histórico: disponibilidade, tempo de resposta, impressões digitais de conteúdo, versão e data de lançamento, atividade pública mais recente, contagem de URLs do sitemap e o número de páginas recém-descobertas.
- Acessibilidade do site e alterações de conteúdo visíveis e significativas.
- Versão e data de lançamento do aplicativo a partir de metadados de loja pública.
- Atividade pública mais recente do GitHub ou Telegram, quando suportado.
- Novas URLs do sitemap e datas de última modificação recentes.
- Uma pontuação diária que pode ser plotada sem expor análises privadas.
O rastreamento do sitemap recompensa a publicação duradoura.
Quando um produto publica documentação, entradas de changelog, guias, integrações ou páginas de destino, essas adições frequentemente aparecem em seu sitemap. A NeedSift registra até 2.000 URLs e pode detectar páginas que não existiam durante a última varredura.
O scanner não visita essas páginas. Ele lê no máximo três documentos sitemap do mesmo domínio, limita cada resposta a dois megabytes e usa a primeira observação apenas como base. Isso torna a publicação visível sem transformar a NeedSift em um rastreador agressivo.
Projetado para ser educado
O trabalhador executa uma vez por dia com concorrência limitada e um atraso entre as solicitações para o mesmo hostname. Cada solicitação tem um tempo limite, os corpos de resposta são limitados, os redirecionamentos são limitados e as fontes não suportadas são ignoradas em vez de serem repetidamente tentadas.
NeedSift nunca precisa de credenciais de clientes, painéis privados ou acesso a análises. O scanner utiliza as mesmas informações públicas que um visitante ou mecanismo de busca pode ver, mas lê muito menos do que um rastreador de mecanismos de busca.
O que os construtores verão em seguida
As páginas de produtos agora incluem um gráfico de atividades e sinais separados para a saúde do site, lançamentos, publicação nas redes sociais e atividade do mapa do site. À medida que o histórico cresce, os construtores poderão entender quais tipos de trabalho criam um impulso sustentado.
As melhorias futuras se concentrarão em uma detecção de anomalias mais forte, explicações mais claras para as mudanças nas pontuações e melhor reconhecimento de logs de alterações e documentação, sem aumentar a pressão de rastreamento.