Webcrawler/spider/bots merupakan dasar dari mesin pencari. Program inilah yang bertugas mengindeks setiap halaman web di internet. Dengan demikian, mesin pencari bisa memberikan output sesuai kebutuhan user. Selain menunjang fungsi mesin pencari, program ini juga sangat membantu dalam hal collecting data. Baik itu untuk membandingkan data Mesinpencari menggunakan robot (juga dikenal sebagai spider atau crawlees). Robot merupakan suatu program yang dapat secara otomatis mengikuti hyperlinks dari suatu dokumen ke dokumen lainnya dan mengirimkan informasi sistus baru kembali kepada repositori utama mesin pencari untuk kemudian dimasukkan ke dalam indeks mesin pencari. DeepWeb (juga dikenal dengan nama Deepnet, Darknet, Invisible Web, Undernet atau Hidden Web) di Indonesia dapat disebut sebagai Web Dalam.Deep Web merupakan bagian dari World Wide Web tetapi tidak termasuk ke dalam internet yang dapat dicari dengan mudah, yaitu dengan menggunakan mesin pencari web yang menggunakan indeks mesin pencari web.Deep Web berbeda dengan Dark Web, di mana komputer dikenaldengan istilah perpustakaan digital yang menurut Digital Library Federation Dalam mencari sumber informasi yang sangat luas dan tidak terbatas dalam Internet adalah dengan browsing yaitu berselancar untuk kompetitif dan komersial, misalnya bisnis mesin pencari internet, portal informasi, penerbitan dan multinasional online Vay Tiền Trả Góp Theo Tháng Chỉ Cần Cmnd.

mesin pencari dalam internet dikenal dengan istilah