Blog

Представляємо сканер активності продукту NeedSift

Як NeedSift уважно відстежує зміни веб-сайтів, випуски додатків, публічну активність та публікацію sitemap, не здійснюючи агресивного сканування веб-сайтів продуктів.

Представляємо сканер активності продукту NeedSift

Discovery потребує доказів, що продукт активний

Чудова сторінка запуску може залишатися онлайн протягом багатьох років після зупинки розробки. Водночас, невелика команда може регулярно випускати значущі покращення щотижня, не створюючи масштабної кампанії запуску. Статична директорія не може розрізняти ці ситуації.

NeedSift тепер створює щоденну історію продукту з публічних, недорогих сигналів. Мета не в спостереженні. Це компактна відповідь на корисне питання: чи доступний цей продукт, підтримується, публікується та випускається?

Що сканер спостерігає

Робот перевіряє основний веб-сайт, метадані стабільного випуску з App Store та Google Play, публічну активність GitHub або Telegram, якщо доступно, та файли sitemap, прорекомендовані через robots.txt. Додаткові посилання на демо можна перевірити за допомогою нормалізованого відбитка вмісту.

Для кожної щоденної спостереження він зберігає лише інформацію, необхідну для історії: доступність, час відповіді, відбитки вмісту, версію та дату випуску, найновішу публічну активність, кількість URL sitemap та кількість нових сторінок.

  • Доступність веб-сайту та значущі видимі зміни вмісту.
  • Версія та дата випуску додатку з метаданих з публічних магазинів.
  • Найновіша публічна активність GitHub або Telegram, якщо підтримується.
  • Нові URL sitemap та останні дати зміни.
  • Щоденний бал, який можна відобразити, не розкриваючи конфіденні дані аналітики.

Моніторинг sitemap заохочує довготривале публікування

Коли продукт публікує документацію, записи в changelog, посібники, інтеграції або сторінки посадки, ці додатки часто з'являються у його sitemap. NeedSift записує до 2000 URL та може виявляти сторінки, які не існували під час попереднього сканування.

Сканер не відвідує ці сторінки. Він читає максимум три однодоменні файли sitemap, обмежує кожну відповідь двома мегабайтами та використовує лише перше спостереження як базовий рівень. Це дозволяє зробити публікацію видимою, не перетворюючи NeedSift на агресивний сканер.

Розроблено з урахуванням етичних міркувань

Робот запускається один раз на день з обмеженою конкуренцією та затримкою між запитами до одного й того ж домену. Кожен запит має тайм-аут, тіло відповіді обмежено, перенаправлення обмежено, а непідтримувані джерела пропускаються замість багаторазового повторення.

NeedSift ніколи не потребує облікових даних клієнтів, приватних панелей або доступу до аналітики. Сканер використовує ту ж публічну інформацію, яку може побачити відвідувач або пошуковий двигун, але зчитує набагато менше, ніж пошуковий робот.

Що побачать будівельники в майбутньому

На сторінках продуктів тепер є графік активності та окремі сигнали для здоров'я веб-сайту, випусків, публікацій у соціальних мережах та активності sitemap. З ростом історії, будівельники зможуть зрозуміти, які види роботи створюють стабільний імпульс.

Майбутні покращення зосередяться на більш потужному виявленні аномалій, чіткіших поясненнях змін оцінок та кращому розпізнаванні журналів змін та документації – без збільшення навантаження на сканування.