ホームページ基本用語集

【crawler】（検索ロボット）
インターネット上のあらゆるホームページの情報を取得し、
検索用のデータベースを作成する自動プログラム。

「ボット(Bot)」、「スパイダー」、「ロボット」などとも呼ばれる。
ホームページのHTMLに記載されているリンクをたどり、どのような内容で、どのような構造になっているかなどを判断しデータベース化していく。
検索結果を上位に表示させるためにはSEO対策として、有名検索サイト（Yahoo! Google）のクローラの動きを意識したサイト構築が必要。