Blog

Présentation de l'outil de surveillance de l'activité des produits NeedSift

Comment NeedSift suit avec soin les modifications du site web, les versions d'applications, l'activité publique et la publication de la sitemap sans effectuer de crawling intensif des sites web de produits.

Présentation de l'outil de surveillance de l'activité des produits NeedSift

NeedSift a besoin de preuves que le produit est actif

Une belle page de lancement peut rester en ligne pendant des années après l'arrêt du développement. En même temps, une petite équipe peut déployer des améliorations significatives chaque semaine sans lancer une vaste campagne de lancement. Un répertoire statique ne peut pas faire la distinction entre ces situations.

NeedSift construit désormais un historique quotidien des produits à partir de signaux publics et peu coûteux. L'objectif n'est pas la surveillance. Il s'agit d'une réponse concise à une question utile : ce produit est-il accessible, maintenu, publié et mis à jour ?

Ce que l'outil observe

Le processus vérifie le site web principal, les métadonnées de version stables à partir de l'App Store et de Google Play, l'activité publique sur GitHub ou Telegram si disponible, et les fichiers sitemap promus via robots.txt. Des liens de démonstration supplémentaires peuvent être vérifiés à l'aide d'une empreinte de contenu normalisée.

Pour chaque observation quotidienne, il ne stocke que les informations nécessaires à l'historique : disponibilité, temps de réponse, empreintes de contenu, version et date de publication, dernière activité publique, URL de la sitemap et le nombre de nouvelles pages découvertes.

  • Accessibilité du site web et modifications de contenu visibles.
  • Version et date de publication de l'application à partir des métadonnées des magasins publics.
  • Dernière activité publique sur GitHub ou Telegram si prise en charge.
  • Nouvelles URL de sitemap et dernières dates de modification.
  • Un score quotidien qui peut être tracé sans divulguer d'analyses privées.

Le suivi de la sitemap récompense la publication durable.

Lorsque le produit publie de la documentation, des entrées de changelog, des guides, des intégrations ou des pages de destination, ces ajouts apparaissent souvent dans sa sitemap. NeedSift enregistre jusqu'à 2 000 URL et peut détecter les pages qui n'existaient pas lors du dernier scan.

L'outil ne visite pas ces pages. Il lit au maximum trois documents sitemap du même domaine, limite chaque réponse à deux mégaoctets et utilise uniquement la première observation comme base. Cela permet de rendre la publication visible sans transformer NeedSift en un outil de crawling intensif.

Conçu pour être poli

Le processus s'exécute une fois par jour avec une concurrence limitée et un délai entre les requêtes vers le même nom d'hôte. Chaque requête a un délai d'attente, les corps de réponse sont limités, les redirections sont limitées et les sources non prises en charge sont ignorées au lieu d'être tentées à plusieurs reprises.

NeedSift n'a jamais besoin des informations d'identification des clients, des tableaux de bord privés ou d'un accès aux analyses. Le scanner utilise les mêmes informations publiques que celles que peut consulter un visiteur ou un moteur de recherche, mais il en extrait beaucoup moins que les robots de recherche.

Ce que les développeurs verront ensuite

Les pages de produits intègrent désormais un graphique d'activité et des indicateurs distincts pour la santé du site Web, les versions, la publication sur les réseaux sociaux et l'activité du sitemap. Au fur et à mesure que l'historique se développe, les développeurs seront en mesure de comprendre quels types de tâches créent un élan durable.

Les améliorations futures se concentreront sur une détection d'anomalies plus performante, des explications plus claires des changements de score et une meilleure reconnaissance des journaux de modifications et de la documentation, sans augmenter la pression de l'exploration.