Pada masa awalnya, internet tidaklah sesempurna yang kita lihat saat ini. Bahkan jaringan yang menghubungkan suatu website dengan website lainnya – selerti yang kita kenal sekarang dalam bentuk link – juga belum ada. Internet pada awalnya adalah kumpulan server yang dipergunakan sebagai penyimpanan data, dimana orang harus melakukan upload untuk menyimpan file data dan download untuk mengakses file data yang sudah tersimpan. Untuk menemukan file tertentu, orang harus menelusuri daftar file. Jika anda telah mengenal komputer pada jaman DOS, anda dapat membandingkannya dengan mencari satu file di dalam disket dengan menggunakan perintah DIR. Kita sedikit beruntung jika anda mengenal struktur direktorinya dan mengetahui nama file yang dicari. Dengan proses seperti ini, mencari file di intermet adalah pekerjaan yang sangat melelahkan dan menuntut kesabaran.
Pada tahun 1990, Alam Emtage, seorang mahasiswa McGill University di Kanada menciptakan alat pertama untuk mempermudah pencarian data di internet. Archie, nama dari temuannya, adalah suatu bentuk indeks dari file-file yang berada di internet. Archie bukanlah mesin pencari seperti yang kita lihat sekarang, namun demikian cukup disukai pada jamannya. Pada prisipinya, Archie adalah indeks – daftar isi – dari semua file yang dapat diakses oleh umum pada jaringan komputer tertentu. Indeks tersebut kemudian dimasukan ke dalam database untuk mempermudah pencarian. Meskipun tidak secanggih mesin pencari masa kini yang memiliki kemampuan menganalisa struktur bahasa “manusia” (jadi inget Tukul), pada masanya Archie dianggap alat yang hebat dan dalam melakukan tugasnya, mengyediakan indeks file dalam satu sistem jaringan komputer untuk memudahkan pencarian.
Pada tahun 1991, seorang mahasiswa lain bernama Mark McCahill dari University of Minesotta menciptakan Gopher, yang memiliki kemampuan untuk mencari file melalui teks yang ada di dalam file tersebut, tanpa perlu mengetahui nama file dan struktur direktori tempatnya tersimpan. Veronica (Very Easy Rodent-Oriented Net-wide Index to Computerized Archives) dan Jughead (Jonzy’s Universal Gopher Hierarchy Excavation and Display) diciptakan untuk memungkinkan pencarian berbasis teks pada Gopher Index System.
Wandex adalah mesin pencari pertama dalam bentuk seperti yang kita lihat saat ini, diciptakan pada tahun 1993 oleh Matthew Gray. Wandex adalah program pertama yang melakukan keduanya hal, menyusun indeks dan melakukan pencarian dalam indeks. Teknologi inilah yang pertama kali menjelajahi jaringan internet.
Sejak saat itulah perkembangan mesin pencari dimulai secara komersial. Dalam rentang waktu dari tahun 1993 sampai 1998 bermunculan mesin-mesin pencari yang kita kenal saat ini diantaranya:
Excite – 1993Yahoo! – 1994
WebCrawler – 1994
Lycos – 1994
Infoseek – 1995
AltaVista – 1995
Inktomi – 1996
AskJeeves – 1997
Google – 1997
MSN Search – 1998
Saat ini mesin pencari memiliki kesempurnaan teknologi yang memungkinkan pencarian dengan menggunakan kata atau kalimat seperti yang biasa kita pakai dalam percakapan sehari-hari. Perkembangan yang sangat mengagumkan untuk teknologi yang baru dikenal dalam 15 tahun terakhir saja.
