A web crawler, or spider, is a type of bot that is typically operated by search engines like Google and Bing. Their purpose is to index the content of websites all across the Internet so that those websites can appear in search engine results.
एक वेब क्रॉलर, या स्पाइडर, एक प्रकार का बॉट (प्रोग्राम / सॉफ्टवेयर ) है जो आमतौर पर Google और बिंग जैसे खोज इंजनों द्वारा संचालित होता है। उनका उद्देश्य पूरे इंटरनेट पर वेबसाइटों की सामग्री को अनुक्रमित करना है ताकि वे वेबसाइटें खोज इंजन परिणामों में दिखाई दे सकें।