検索ロボット

検索ロボットは、インターネット上の情報を収集し、データベースを構築する。

ウェブサイトが検索ロボットに適切にクロールされるよう設定した。

悪意のある検索ロボットからサイトを保護するための対策が必要だ。