Web Crawler

Web crawler atau yang dikenal juga dengan istilah web spider bertugas untuk mengumpulkan semua informasi yang ada di dalam halaman web. Web crawler bekerja secara otomatis dengan cara memberikan sejumlah alamat website untuk dikunjungi serta menyimpan semua informasi yang terkandung didalamnya. Setiap kali web crawler mengunjungi sebuah website, maka dia akan mendata semua link yang ada dihalaman yang dikunjunginya itu untuk kemudian di kunjungi lagi satu persatu

Lanjutan Web Crawler

 Dalam melakukan prosesnya, web crawler juga mempunyai beberapapersoalan yang harus mampu di atasinya. Permasalahan tersebut mencakup :

1. Halaman mana yang harus dikunjungi terlebih dahulu.

2. Aturan dalam proses mengunjungi kembali sebuah halaman.

3. Performansi, mencakup banyaknya halaman yang harus dikunjungi.

Indexing System

Indexing system mengumpulkan, memilah dan menyimpan data untuk memberikan kemudahan dalam pengaksesan informasi secara tepat dan akurat. Proses pengolahan halaman web agar dapat digunakan untuk proses pencarian berikutnya dinakamakan web indexing. Dalam implementasinya index system dirancang dari penggabungan beberapa cabang ilmu antara lain ilmu bahasa, psikologi, matematika, informatika, fisika, dan ilmu komputer.

Lanjutan Indexing System

Faktor utama yang harus diperhatikan pada saat pembangunan index system antara lain :

1. Merge Factors

  Index system harus dapat membedakan pada saat sebuah indeks baru ditambahkan kedalam database, apakah indeks tersebut menambahkan data baru atau hanya memperbaharui data yang lama.

2. Storage Techniques

  Bagaimana menyimpan sebuah indeks itu sendiri, apakah indeks disimpan dalambentuk data  terkompresi atau harus di saring terlebih dahulu

3. Index Size

  Berapa banyak ukuran yang harus disiapkan untuk dapat menampung semua indeks dokumen web.

4. Lookup Speed

  Kecepetan pencarian indeks didalam database juga perlu diperhitungkan, karena indeks yang di simpan dalam jumlah yang sangat banyak.

5. Maintenance

  Bagaimana index system dapat memelihara data indeks yang sudah tersimpan.

6. Fault Tolerance

  Fakator kegagalan juga harus diperhitungkan, baik itu berupa kegagalan perangkat keras, maupun kegagalan yang disebabkna oleh system itu sendiri

INDEXING SYSTEM

Search system inilah yang berhubungan langsung dengan pengguna, meyediakan

hasil pencarian informasi yang diinginkan. Ketika seorang pengguna mengunjungi

mesin pencari dan memasukkan kata pencarian biasanya dengan beberapa kata

kunci, search system akan mencari data dari indeks database, data yang cocok

kemudian akan ditampilkan, biasanya disertai ringkasan singkat mengenai judul

dokumen dan terkadang sebagian teksnya.