A web crawler, or spider, is a type of bot that is typically operated by search engines like Google and Bing. Their purpose is to index the content of websites all across the Internet so that those websites can appear in search engine results.
à¤à¤• वेब कà¥à¤°à¥‰à¤²à¤°, या सà¥à¤ªà¤¾à¤‡à¤¡à¤°, à¤à¤• पà¥à¤°à¤•à¤¾à¤° का बॉट (पà¥à¤°à¥‹à¤—à¥à¤°à¤¾à¤® / सॉफà¥à¤Ÿà¤µà¥‡à¤¯à¤° ) है जो आमतौर पर Google और बिंग जैसे खोज इंजनों दà¥à¤µà¤¾à¤°à¤¾ संचालित होता है। उनका उदà¥à¤¦à¥‡à¤¶à¥à¤¯ पूरे इंटरनेट पर वेबसाइटों की सामगà¥à¤°à¥€ को अनà¥à¤•à¥à¤°à¤®à¤¿à¤¤ करना है ताकि वे वेबसाइटें खोज इंजन परिणामों में दिखाई दे सकें।