こんにちは、にょろりんこの備忘録的技術ブログです。 今回は、検索エンジンのインデクシングでよく使われる「回転型プロキシ」について、実際に契約してみたところ、全く回転しなかったという話と、そこから自前でIPローテーションの制御コードを作った過程…

こんにちは、にょろりんこの備忘録的技術ブログです。 今回はNode.jsを使い、アクセス不能になったURLをDBから削除する（DBクレンジング）という話です。 SaePornsのような動画検索サービスでは、日々大量のURLが自動で収集・登録されていきます。けれど、そ…

こんにちは、にょろりんこの備忘録的な開発ブログです。 今日は「プロキシの使用量明細をもとに、アクセス不要なドメインを見極めてブロックする」という、地味ながらも効果絶大な最適化のお話です。 Puppeteerを使ってクローリングをしていると、ページにア…

個人開発者による、プロキシ会社選定の備忘録（あくまで個人的な感想です） こんにちは、にょろりんこです。 今回は、個人開発の立場から、これまで試したプロキシサービスについての所感をざっくりまとめておきます。 あくまで備忘録的な投稿ですが、同じよ…