Aplikasi Web crawler Berdasarkan Breadth First Search dan Back-Link

Abstract

Web crawler, juga sering dikenal sebagai Web Spider atau Web Robot adalah salah satu komponen
penting dalam sebuah mesin pencari modern. Fungsi utama Web crawler adalah untuk melakukan
penjelajahan dan pengambilan halaman-halaman Web yang ada di Internet. Pada tulisan ini akan disajikan
ujicoba perbandingan algoritma penelusuran program crawler menggunakan Breadth First Search dan
banyaknya backlink (Backlink Count). Pengujian berdasarkan situs www.dmoz.org dan dir.yahoo.com.