介绍 NeedSift 产品活动扫描器

发现需要证据证明产品仍在运行

一个漂亮的启动页面可以在开发停止后持续在线。 在同一时间，一个小型团队每周可以发布有意义的改进，而无需进行大规模的启动活动。 一个静态目录无法区分这些情况。

NeedSift 现在从公开、低成本的信号中构建每日产品历史。 目标不是监视，而是对一个有用的问题提供简洁的答案：这个产品是否可达、维护、发布和更新？

扫描器观察到的内容

工作人员会检查主要网站、App Store 和 Google Play 的稳定版本元数据、公开的 GitHub 或 Telegram 活动（如果可用），以及通过 robots.txt 推广的 sitemap 文件。 还可以通过标准化内容指纹来检查额外的演示链接。

对于每次每日观察，它只会存储用于历史记录所需的信息：可用性、响应时间、内容指纹、发布版本和日期、最新的公开活动、sitemap URL 数量以及新发现的页面的数量。

• 网站的可访问性和有意义的可见内容变化。
• App 版本和发布日期，来自公开商店元数据。
• 如果支持，最新的公开 GitHub 或 Telegram 活动。
• 新的 sitemap URL 和最近的最后修改日期。
• 一个每日评分，可以绘制而无需暴露私有分析数据。

sitemap 跟踪可以实现持久发布。

当产品发布文档、changelog 条目、指南、集成或着陆页时，这些内容通常会出现在其 sitemap 中。 NeedSift 记录最多 2,000 个 URL，并且可以检测在上次扫描期间不存在的页面。

扫描器不会访问这些页面。 它最多读取三个同域的 sitemap 文档，限制每个响应为 2 兆字节，并且仅使用第一次观察作为基准。 这使得在不让 NeedSift 变成一个积极爬虫的情况下实现可见发布。

以礼貌为设计原则

该程序每天运行一次，具有有限的并发性和对同一主机名的请求之间的延迟。每个请求都有超时时间，响应内容受到限制，重定向次数有限，并且不支持的来源将被跳过，而不是反复尝试。

NeedSift 不需要客户凭据、私有仪表盘或分析访问权限。扫描器使用访客或搜索引擎可以查看的相同公开信息，但读取的量远小于搜索引擎爬虫。

接下来，开发者将看到什么

产品页面现在包含活动图表，以及网站健康、发布、社交发布和站点地图活动等单独的指标。随着历史数据的增长，开发者将能够了解哪些类型的活动能够产生持续的动力。

未来的改进将集中在更强大的异常检测、更清晰的评分变化解释以及更好地识别变更日志和文档——而无需增加爬取压力。