NeedSift 製品アクティビティスキャナをご紹介

Discovery は、製品が活発であることを示す証拠を必要とします

美しいローンチページは、開発が停止した後も何年もオンラインで維持できます。 同時に、小さなチームは毎週意味のある改善をリリースし、大規模なローンチキャンペーンを作成することなく、継続的にリリースできます。 静的なディレクトリは、これらの状況を区別できません。

NeedSift は、公開された、低コストな信号から、日次製品履歴を構築します。 目的は、監視することではありません。 これは、製品が利用可能、維持されている、公開されている、そしてリリースされているかどうかという、有用な質問に対する簡潔な回答です。

スキャナが観察するもの

作業者は、App StoreおよびGoogle Playからの安定版メタデータ、公開されているGitHubまたはTelegramの活動、およびrobots.txtを通じて広告されているsitemapファイルなど、主要なウェブサイトを確認します。追加のデモリンクは、正規化されたコンテンツフィンガープリントを通じて確認できます。

毎日の観察ごとに、必要な情報のみを記録します。それは、可用性、応答時間、コンテンツフィンガープリント、リリースバージョンと日付、最新の公開活動、sitemap URLの数、および新たに発見されたページの数です。

• ウェブサイトへのアクセス可能性と、意味のあるコンテンツの変更。
• 公開ストアメタデータからのアプリのバージョンとリリース日。
• サポートされている場合に、最新の公開GitHubまたはTelegramの活動。
• 新しいsitemap URLと最近の最終更新日。
• プライベートな分析を公開せずにプロットできる、1日のスコア。

sitemapの追跡は、耐久的な公開を促進します。

製品がドキュメント、changelogエントリ、ガイド、統合、またはランディングページを公開すると、これらの要素は通常、sitemapに表示されます。NeedSiftは最大2,000のURLを記録し、以前のスキャン中に存在しなかったページを検出できます。

スキャナーは、これらのページを訪問しません。最大3つの同じドメインのsitemapドキュメントを読み込み、各応答を2メガバイトに制限し、最初の観察のみを基準として使用します。これにより、NeedSiftを攻撃的なクローラーにすることなく、コンテンツを公開できます。

設計に基づいて丁寧な動作

このツールは、限られた同時実行性と、同じホスト名へのリクエスト間隔を設けて、1日に1回実行されます。すべてのリクエストにはタイムアウトが設定されており、レスポンスボディは制限され、リダイレクトは制限され、サポートされていないソースは繰り返し試行するのではなくスキップされます。

NeedSiftは、顧客の認証情報、プライベートダッシュボード、または分析へのアクセスを必要としません。このツールは、訪問者または検索エンジンが見ることができる同じ公開情報を利用しますが、検索クローラーよりもはるかに少ない情報を読み取ります。

これから建設者は何を見るか

製品ページには、ウェブサイトの健全性、リリース、ソーシャルメディアでの公開、およびサイトマップの活動に関するアクティビティチャートと、個別の指標が含まれています。履歴が蓄積されるにつれて、建設者はどのような作業が持続的な推進力を生み出すかを理解できるようになります。

今後の改善は、より強力な異常検知、スコア変更に関するより明確な説明、および変更ログとドキュメントのより良い認識に焦点を当て、同時にクローリングの負荷を増加させないようにします。