Node.jsで不要ページを事前にフィルタリングし、クロール高速化＆帯域削減するというお話

※全体のクローリング処理では Puppeteer を使用していますが、この記事で紹介するフィルタリング処理は Node.js 単体で完結しています。

こんにちは、にょろりんこです。

今回は、クローリング処理を高速化＆軽量化するために導入している、「事前URLフィルタリング」の仕組みについて紹介します。

私が開発・運用しているポルノ動画検索エンジン「SaePorns」では、Node.js + Puppeteer を用いて、動画ページのメタデータを自動抽出しています。

しかし、すべてのURLを律儀に開いていたのでは時間も帯域もいくらあっても足りません。

とくに以下のようなページは、解析の対象にならないにも関わらず、HTML取得だけでリソースを消費してしまうため、無駄が多いのです。

例えば、こんなURLはスキップ対象

会員登録ページ、プロフィール一覧、カテゴリページ、検索結果画面、ヘルプやインフォメーションページ、これらは動画本体ではないため、インデクシングにも不要ですし、メタデータ収集対象からも除外したいURL群です。

対象外URLを弾くロジック（実装）

以下は実際のコードで、1件ごとの解析処理関数 `analyzeUrl()` の冒頭で、次のように記述しています：

※現バージョンでは analyzeUrl() 内で直接フィルタしていますが、将来的にはこのスキップ対象リストを JSON または DB に切り出し、外部管理する予定です。そうすることで、コードに手を入れずに柔軟な除外パターンの管理が可能になります。

## ✅ スキップ処理は analyzeUrl の冒頭に書く

async function analyzeUrl({ page, browser, pool, id, url }) {
console.log(`🔍 ID=${id} を解析: ${url}`);

if (
url.includes('/signup?redirect=') ||
url.includes('/login?redirect=') ||
url.includes('/album/') ||
url.includes('/users/') ||
url.includes('/channels/') ||
url.includes('/model/') ||
url.includes('/categories/') ||
url.includes('/download/') ||
url.includes('/search/') ||
url.includes('/information/')
) {
console.log('スキップ対象URLのためスキップします。');
await incrementAnalyzed(pool, id);
return;
}
}