ページ集合

自作のWebスクレイピングプログラムを夜中に走らせて、ニュースサイトの特定のカテゴリに属する膨大なページ集合をローカルに一括でダウンロードした。

Googleなどの検索エンジンのクローラーは、日々インターネット上の無数のページ集合を高速で巡回して、検索用のインデックスを更新している。

新しいデザインのコンバージョン率を測定するA/Bテストを実施するため、条件の異なる2つのページ集合をランダムにユーザーへ表示する仕組みを作った。