Evaluating Search Engines

Calculating TF-IDF Cosine Scores

The Vector Space Model

TF-IDF Weighting

Inverse Document Frequency Weighting

Term Frequency Weighting

Scoring with the Jaccard Coefficient

Introducing Ranked Retrieval

Phrase Queries and Positional Indexes

Query Processing with the Inverted Index

The Inverted Index

Term Document Incidence Matrices

Introduction to Information Retrieval System

Information versus Data Retrieval

Data retrieval, in the context of an IR system, consists mainly of determining which documents of a collection contain the keywords in the user query which, most frequently, is not enough to satisfy the user information need. In fact, the user of an IR system is concerned re with retrieving information about a subject than with retrieving data which satisfies a given query. A data retrieval language aims at retrieving all objects which satisfy clearly defined conditions such as those in a regular expression or in a relational algebra expression Thus, for a data retrieval system, a single erronua object among a thousand retrieved objects means total failure.

Information Retrieval System, IRS

Information retrieval (IR) deals with the representation, storage organization of, and access to information items. The representation and organization of the information items should provide the user with easy access to the information in which he is interested. Unfortunately, characterization of the acer information need is not a simple problem. Consider, for instance, the following hypothetical user information need in the context of the World Wide Web (or just the Web): Find all the pages (documents) containing information on college ten-His teams which:

Cara Kerja Informasi Retrieval

Cara Kerja Information Retrieval adalah sebagai berikut

1. Sistem akan mengambil dokumen dari korpus

2. Sistem akan melakukan token atau memisahkan term berdasarkan spasi

3. Sistem akan melakukan filtering yang berguna untuk menghilangkan term yang tidak atau kurang berguna, bisa dengan tala atau andriani (kalo irs berbahasa indonesia)

4. Sistem akan melakukan stemming, atau pemisahan or pembentukan kata dasar

Kegunaan Information Retrieval

Information retrieval atau yang dikenal dengan sistem temu kembali berguna untuk mempercepat mendapatkan informasi melalui suatu sistem (mesin pencari atau search engine).  Baik dalam sistem tertutup ataupun terbuka, information retrieval sangat membantu.  Information Retrieval lebih efektif dan efisien. Adapun model dalam sistem temu kembali ini ada 3 macam, yaitu

Retrieval System

Bagian-bagian dari sistem temu kembali informasi menurut GAMBAR DIATAS  yaitu :

1. Text Operations (operasi terhadap teks) yang meliputi pemilihan kata-kata dalam query maupun dokumen (term selection) dalam pentransformasian dokumen atau query menjadi terms index (indeks dari kata-kata).
2. Query formulation (formulasi terhadap query) yaitu memberi bobot pada indeks kata-kata query.
3. Ranking (perangkingan), mencari dokumen-dokumen yang relevan terhadap query dan mengurutkan dokumen tersebut berdasarkan kesesuaiannya dengan query.
4. Indexing (pengindeksan), membangun basis data indeks dari koleksi dokumen. Dilakukan terlebih dahulu sebelum pencarian dokumen dilakukan.

Proses Sistem Temu Kembali Informasi

Proses Sistem Temu Kembali Informasi.  Tahapan proses STKI adalah sebagai berikut:
1. Text Operations (operasi terhadap teks) yang meliputi pemilihan kata-kata dalam query maupun dokumen (term selection) dalam pentransformasian dokumen atau query menjadi terms index (indeks dari kata-kata).
2. Query formulation (formulasi terhadap query) yaitu memberi bobot pada indeks kata-kata query.
3. Ranking (perangkingan), mencari dokumen-dokumen yang relevan terhadap query dan mengurutkan dokumen tersebut berdasarkan kesesuaiannya dengan query.
4. Indexing (pengindeksan), membangun basis data indeks dari koleksi dokumen. Dilakukan terlebih dahulu sebelum pencarian dokumen dilakukan.

Manfaat Retrieval System

Sistem Temu Kembali Informasi sebagai sistem yang berfungsi untuk menemukan informasi yang relevan dengan kebutuhan pemakai, merupakan salah satu tipe sistem informasi. Salah satu hal yang perlu diingat adalah bahwa informasi yang diproses terkandung dalam sebuah dokumen yang bersifat tekstual.Dalam sistem temu kembali informasi, document clustering memberikan beberapa manfaat, antara lain:

- mempercepat pemrosesan query dengan menelusur hanya pada sejumlah
kecil anggota atau wakil gugus, sehingga dapat mempercepat proses temu
kembali informasi.
- membantu melokalisir dokumen yang relevan.
- membentuk kelas-kelas dokumen sehingga mempermudah penjelajahan dan
  pemberian interpretasi terhadap hasil penelusuran.
- meningkatkan efektivitas dan efisiensi temu kembali informasi dan  memberikan alternatif metode penelusuran .