दोस्तों, अगर आपकी अपनी वेबसाइट या कोई ब्लॉग है। GoogleBot क्या है? तो आपने गूगल बॉट का नाम जरूर सुना होगा। इस पोस्ट में मैं आसान भाषा में आपको google Bot के बारे में बताने जा रहा हूँ। । Google Bot क्या है और कैसे काम करता है? जब भी आप GoogleBot के बारे में सोचते हैं, तो आपका दिमाग यह सुझाव देता है कि यह Google World के सभी कोनों में चला जाए और ज्ञान इकट्ठा कर ले। लोगों के लिए, यह विश्वास करना कठिन है कि GoogleBot अभी भी एक कंप्यूटर प्रोग्राम है जो वेब पेज को क्रॉल करता है और इंडेक्स करता है।
जब भी मैं Googlebot के बारे में सोचता हूं, मुझे एक प्यारा सा ,स्मार्ट रोबोट दिखाई देता है। जो हमेशा अज्ञात दुनिया के सभी कोनों में ज्ञान को खोजने और अनुक्रमित करने के लिए खोज पर तेजी से बढ़ रहा है। यह याद दिलाना थोड़ा निराशाजनक है कि Googlebot Google द्वारा लिखा गया ‘केवल’ एक कंप्यूटर प्रोग्राम है जो वेब को क्रॉल करता है और वेब पेज को इंडेक्स करता है। यहाँ, मैं आपको क्रॉलर से मिलवाता हूँ और आपको दिखाता हूँ कि यह क्या करता है।
GoogleBot क्या है? (What is GoogleBot in Hindi)
Googlebot Google द्वारा उपयोग किया जाने वाला वेब क्रॉलर सॉफ्टवेयर है, जो Google खोज इंजन के लिए खोज योग्य सूचकांक बनाने के लिए वेब से दस्तावेज़ एकत्र करता है।
यह google’s web crawler का generic name है। यह नाम वास्तव में दो अलग-अलग प्रकार के वेब क्रॉलर का उल्लेख करने के लिए उपयोग किया जाता है।
- Desktop Crawler
- Mobile Crawler
डेस्डेकटॉप क्रॉलर कंप्यूटर पर एक उपयोगकर्ता का अनुकरण करता है, और एक मोबाइल क्रॉलर एक मोबाइल डिवाइस पर एक उपयोगकर्ता का अनुकरण करता है।
Bot एक तरह का Software होता है, जिसे Software Robots या Spider के नाम से भी जाना जाता है। Bot को Artificial Intelligence और Machine Learning की Help से Develop किया गया है। इसका मुख्य काम किसी भी Web Page पर मौजूद सभी Details को Search Engine मेँ Index/Crawl करना होता है।
सभी Search Engine का अलग-अलग Bots होती है, जो अपने-अपने Search Engine मेँ Blog/Website को Crawl करता है। यहाँ हम आपको Search Engine का King Google की गूगलबॉट के बारें मेँ बताने जा रहे है।
गूगल ने अपने अलग-अलग Crawl System को Index करने के लिए अलग-अलग तरह के गूगलबॉट बना रखा है। जिसे हम GoogleBot Family के नाम से भी जान सकते है।
सभी GoogleBots का Works Different होता है। आपने देखा होगा, जब भी आप Google में कोई भी Keyword Type करके Search करते है तो आपके सामने अलग-अलग Google Menus आते है।
जैसे:- News, Images, Videos, Shopping, Maps, Books इत्यादि। इन सभी Categories का Works अलग-अलग होता है।
- Xbox क्या है और इसके प्रकार (What is Xbox in Hindi) की जानकारी
- GIF Full Form क्या है? GIF के प्रकार और उपयोग की पूरी जानकारी
- Antivirus क्या है? Antivirus कितने प्रकार के होतें हैं पूरी जानकारी
- Android Oreo kya hai? इसकी विशेषताएं क्या क्या है? पूरी जानकारी
- क्लाउड स्टोरेज क्या है (What is Cloud Storage in Hindi) पूरी जानकारी
GoogleBot कैसे कार्य करता है? (How does GoogleBot work)
सभी सर्च इंजन का अलग-अलग Search Console होता है, जिसे हम Webmaster tool के नाम से भी जानते है। उसी तरह Google का Search Console tool है।
जब भी आप अपना Blog का कोई Page, Post या पूरी Website ही Search Console Crawl करते है तो GoogleBot Family आपके Blog पर एक Group में आती है।
जैसा कि हमने आपको पहले बताया था कि Google ने अपना कई तरह के Bots बना रखे है, जिसका Works अलग-अलग होता है। जब यह गूगलबॉट आपके Blog पर आता है तो वह यह देखता है कि इस Blog पर क्या-क्या Information दी हुई है।
उदाहरण के लिये, आपने अपना Article Google Search Console में Index करने के लिए Request की, तब सभी GoogleBots आपके Blog पर आते है और वह देखते है कि इस Post में Text के अलावा Image, Audio, Videos, Books, Locations, News क्या Content दिया गया है।
उसी हिसाब से जिस GoogleBot का जो Work होता है वह Data आपके Blog से opy करता है और उसे अपने Server में Store करके रखता है। जब गूगलबॉट का पूरा Works Complete हो जाती है तो गूगलबॉट आपके Blog से चली जाती है।
यह सब करने के बाद आपका Blog Post का URL Google Search Engine में Index कर देती है। जब भी कोई User आपके Blog Post Keyword के जरिये Search Result में आता है तो Google आपके Ranking के अनुसार आपके कंटेंट को search result में show करता है।
GoogleBot कितने प्रकार का होता है? (What are the types of GoogleBot)
Google अब तक बहुत सारे Bots को Develop कर चुका है जो Google Search Result के लिए कई तरह के काम करते है। नीचे आप देख सकते है कि GoogleBot कितना प्रकार का होता है और सबका Bots का काम क्या-क्या है।
1. Desktop GoogleBot
Google का Desktop Bot किसी भी Web Page को Desktop Version के रूप में Crawl करता है, जिससे कोई भी Result Search Engine में Show हो पाता है और User Experience को बढ़ाता है। यह Bot सिर्फ Desktop में ही Web Pages को Crawl करता है।
2. Mobile GoogleBot
Internet अधिक Mobile Browser से ही Use किया जाता है। Google का Mobile Bot किसी भी Blog को Mobile Friendly बनाने के लिए काम करता है, जिससे User को Help मिल सकें।
3. Image GoogleBot
जब भी आप अपना Blog Post में किसी भी Image को Add करते है तो Google का Image Bot आपके उस Image को Copy कर Google Search Result में Index करता है और user को Result Show करता है।
4. Videos GoogleBot
Basically जब Blog Post में YouTube Videos या Other Source का Video Content Add की जाती है तो Google का Video Bot उसे Crawl करके Google Videos Result के अलावा All Result में भी Show करता है।
5. News GoogleBot
आपका ब्लॉग अगर News से Related है और आपने Google News में अपना Blog Submit कर रखा है तो User जब भी किसी भी तरह के News के बारें में जानना चाहता है और अगर उसका Post आपके News Blog पर पहले से Publish है तो Google का News Bots आपका Blog Post Result में Show करता है।
- Xbox क्या है और इसके प्रकार (What is Xbox in Hindi) की जानकारी
- GIF Full Form क्या है? GIF के प्रकार और उपयोग की पूरी जानकारी
- Antivirus क्या है? Antivirus कितने प्रकार के होतें हैं पूरी जानकारी
- Android Oreo kya hai? इसकी विशेषताएं क्या क्या है? पूरी जानकारी
- क्लाउड स्टोरेज क्या है (What is Cloud Storage in Hindi) पूरी जानकारी
6. Adsense GoogleBot
Google का Adsense Bot का यह Work होता है कि आपके Blog किसी भी Particular Post में किस Type का Content है। उसी हिसाब से यह Adsense Approve Blog पर Ads Show करता है।
7. Adword GoogleBot
Adword Google का Ad Service है, जो Adsense के साथ मिलकर Blog पर Ad Show करती है। Adword Bot का काम यह होता है कि User जो इस Blog पर Visit किया है, उसे किस Type का Result पसंद है।
कहने का मतलब User का Query अधिकतर समय क्या होती है, उसी Query के जरिये User को विज्ञापन दिखाता है।
8. Book GoogleBot
आपने अपना Blog Post में किसी Book के बारें में बताया है या उसका Download Link दिया है तो Google User को इस Bot के जरिये Google Menu Result में Book का भी Option Show करता है, जहां आपका भी Result Show कर सकता है।
एक तरीके से हम यह Confirm हो चुके है कि Google अपना काम कई तरह के Bots से करवाता है। आने वाले Time में GoogleBot और भी Develop किया जायेगा, जिससे User Experience और अच्छी किया जा सकेगा।
Google Bot साइट को कब क्रॉल करता है? (When does Google Bot crawl the site)
फ़ाइल वर्शन को डाउनलोड करने और इस नए वर्शन के कंटेंट के साथ सर्च इंजन इंडेक्स को अपडेट करने के बीच आमतौर पर कुछ दिन होते हैं। Googlebot किसी पृष्ठ पर कितनी बार आता है, अन्य बातों के अलावा, इस पृष्ठ पर कितने external links हैं और इसका पेजरैंक वैल्यू कितना अधिक है, इस पर निर्भर करता है। ज्यादातर मामलों में, Googlebot केवल औसतन हर कुछ सेकंड में एक वेबसाइट का उपयोग करता है।
क्रॉल होने के बाद पेज तक पहुंच रखने के लिए, प्रत्येक क्रॉल प्रक्रिया को पहले सभी Googlebots द्वारा उपयोग किए जाने वाले कैश में संग्रहीत किया जाता है। यदि किसी निश्चित समय के भीतर किसी पेज को कई बॉट्स द्वारा देखा जाता है। जब Googlebot वापस आता है तो विभिन्न कारकों पर निर्भर करता है। लिंक का उपयोग करके बॉट चलती है। इसलिए, PageRank और मौजूदा बैकलिंक की संख्या और गुणवत्ता महत्वपूर्ण है जब तक कि Googlebot पेज का नया क्रॉल नहीं करता है।
लोडिंग समय और वेबसाइट की संरचना के साथ-साथ कंटेंट को अपडेट करने कीफ्रीक्वेंसी भी एक भूमिका निभाती है। एक मानक मान निर्धारित नहीं किया जा सकता है। एक पेज जिसमें कई उच्च-गुणवत्ता वाले बैकलिंक्स हैं, उन्हें Googlebot द्वारा हर 10 सेकंड में पढ़ा जा सकता है। छोटे बैकलिंक्स वाले छोटे पृष्ठ कभी-कभी एक या अधिक महीने भी ले सकते हैं
Googlebot रोबोट मेटा फ़ाइल और HTML मेटा टैग में रोबोट के निर्देशों का पालन करता है। यह ध्यान दिया जाना चाहिए कि blocked CSS या JavaScript के साथ क्रॉल प्रक्रिया के दौरान गलतफहमी हो सकती है और Googlebot वेबसाइट की गलत व्याख्या कर सकता है।
GoogleBot Page Crawl करने के लिए क्या-क्या ध्यान रखता है? (What does GoogleBot keep in mind to do Page Crawl)
जब आप अपने Blog को Public करते है और आप यह चाहते है कि Search Engine आपके किस Page को Crawl करे और किस Page को नही तो ये आप खुद निर्धारित करते है।
इसके लिए आप robots.txt file का इस्तेमाल कर सकते है, जिसके जरिये हम सभी प्रकार के robots को control कर सकते है। गूगलबॉट को भी आप इसी से कण्ट्रोल कर सकते है।
GoogleBot किसी भी URL को Crawl करने से पहले उस Blog का robots.txt File को Scan करता है और यह निर्धारित करता है कि मुझे क्या-क्या Permission Crawl करने के मिला हुआ है।
या दूसरी तरह meta tags का इस्तेमाल करके रोबोट्स को कण्ट्रोल किया जा सकता है। इसमें Bots आपके Blog पर Add Meta tag <meta name=”Googlebot” content=”nofollow” /> को देखता है।
GoogleBot को Block कैसे करें (How to Block GoogleBot)
आप चाहते है कि GoogleBot आपके Blog पर कुछ Private Pages को Search Engine में Crawl नही करें तो आप उसे robots.txt के जरिये Block कर सकते है। जिससे Bot आपके उन पेजेज को Index नही कर पायेगा।
जिसका उदाहरण नीचे Code में दिया गया है,
User-agent: *
Disallow: /cgi-bin/
Disallow: /wp-admin/
Disallow: /recommends/ (Affiliate links are disallowed)
Disallow: /comments/feed/
Disallow: /trackback/
Disallow: /index.php
Disallow: /xmlrpc.php
User-agent: NinjaBot
Allow: /
User-agent: Mediapartners-Google*
Allow: /
User-agent-Googlebot-Image
Allow: /wp-content/uploads (Only we are allowing some
specificfolder s for image indexing) User-agent: Adsbot-Google Allow: / User-agent: Googlebot-Mobile Allow: /
नोट:– आप अपना Blog पर bots को Crawl करने से Disallow करना चाहते है तो इसे आप अपना robots.txt File में User-Agent: * और Disallow: करें।
Search engine bots को block करने की अधिक जानकारी के लिए ये आर्टिकल पढ़े, Website Security के लिए Bad Bots को Block कैसे करें?
तो देखा आपने GoogleBot आपकी Blog को Search Engine में कैसे Crawl करती है और यह किस तरह से काम करती है। एक बात याद रखे आप अपने Blog पर किसी Fixed Time में Post Publish करते है तो Google Bots उसे Search Engine में Index Fast करती है और Ranking बढ़ाने में भी Help करती है।
GOOGLEBOT के लिए क्रॉलिंग के तीन स्टेप्स (Three Steps to Crawling for GOOGLEBOT)
- वेबसाइट से वेबसाइट पर जाने के लिए, Googlebot लिंक का अनुसरण करता है। बॉट SRC और HREF लिंक को पहचानता है। लंबे समय तक, Googlebot जावास्क्रिप्ट लिंक का पालन करने में असमर्थ था; इस बीच बदल गया है। Googlebot समानांतर में कई क्रॉलिंग प्रक्रियाओं को नियंत्रित कर सकता है, अर्थात, विभिन्न लिंक संरचनाओं के माध्यम से एक साथ आगे बढ़ सकता है; इसे मल्टी-थ्रेडिंग कहा जाता है।
- यदि बॉट किसी नए पृष्ठ पर जाता है, तो यह पहले सर्वर से एक अनुरोध करता है, जिसके लिए वह खुद को उपयोगकर्ता एजेंट आईडी “वेबबॉट” के साथ पेश करता है। क्रॉलर से अनुरोध सर्वर की लॉग फ़ाइलों में लॉग किए जाते हैं और वेबमास्टर्स को यह समझने की अनुमति देते हैं कि सर्वर से कौन अनुरोध कर रहा है।
- Google के स्वयं के कथनों के अनुसार, बॉट औसतन हर कुछ सेकंड में एक बार एक विशिष्ट वेबसाइट तक पहुँचता है। आवृत्ति आई। ए। बाहरी लिंक की संख्या के आधार पर जो पृष्ठ पर या पृष्ठ के पेजरैंक पर निर्भर करता है। वे वेबसाइटें जो कम मजबूती से जुड़ी हुई हैं, शायद हर कुछ दिनों में या कम बार बॉट द्वारा देखी जाती हैं।
Search Engine Optimization में गूगल बॉट की भूमिका (Role of Google Bot in Search Engine Optimization)
सर्च इंजन ऑप्टिमाइजेशन (एसईओ) के लिए Googlebot की कार्यक्षमता से परिचित होना महत्वपूर्ण है। ताकि नए कंटेंट को जल्द से जल्द इंडेक्स किया जा सके। इसका अर्थ है कि उपयोगकर्ता को उपलब्ध कराने के लिए Google इंडेक्सिंग में नए कंटेंट को यथासंभव शीघ्रता से कैसे रखा जाए?
एक तरीका है सर्च कंसोल में नए कंटेंट के यूआरएल डाला जाए। यह सुनिश्चित करता है कि अगले क्रॉल प्रक्रिया के दौरान नए पेजेज को ध्यान में रखा जाए। एक दूसरा विकल्प एक्सटर्नल पेज से नए कंटेंट के लिए लिंक सेट करना है। जैसा कि Googlebot follow links का अनुसरण करता है, यह भविष्य में नए पृष्ठ पर आएगा।
क्रॉलिंग प्रक्रिया को बढ़ावा देने और सही इंडेक्सिंग को प्राप्त करने के लिए, साइटमैप बनाने की भी जरुरत होती है। साइटमैप किसी वेबसाइट के सभी व्यक्तिगत पृष्ठों का एक hierarchically structured representation है। क्रॉलर एक नज़र में एक वेबसाइट की संरचना को देखता है और जानता है कि वह किन लिंक्स का अनुसरण कर सकता है।
इसके अलावा, आप व्यक्तिगत रूप से 0 – 1 के बीच के वैल्यू के साथ अलग-अलग पृष्ठों को प्राथमिकता दे सकते हैं और सुनिश्चित कर सकते हैं कि क्रॉलर इन हाइलाइट किए गए पृष्ठों पर अधिक बार जाता है। साइटमैप का उपयोग तब विशेष मायने रखता है जब एक बड़ा पृष्ठ नया बनाया गया हो। साइटमैप को Googlebot को robots.txt और / या खोज कंसोल में सबमिट करके उपलब्ध कराया जा सकता है।
सर्च इंजन ऑप्टिमाइजेशन के लिए एक और महत्वपूर्ण बिंदु: Googlebot केवल फ़्लैश, अजाक्स और गतिशील सामग्री को एक सीमित सीमा तक ही संभाल सकता है। भले ही यह भविष्य में बदल सकता है, यह अभी भी मुख्य रूप से स्थिर वेबसाइट स्वरूपों पर ध्यान केंद्रित करने के लिए सलाह दी जाती है जब यह एसईओ की बात आती है। Googlebot इन प्रारूपों के साथ मज़बूती से बातचीत कर सकता है।
- Xbox क्या है और इसके प्रकार (What is Xbox in Hindi) की जानकारी
- GIF Full Form क्या है? GIF के प्रकार और उपयोग की पूरी जानकारी
- Antivirus क्या है? Antivirus कितने प्रकार के होतें हैं पूरी जानकारी
- Android Oreo kya hai? इसकी विशेषताएं क्या क्या है? पूरी जानकारी
- क्लाउड स्टोरेज क्या है (What is Cloud Storage in Hindi) पूरी जानकारी
Conclusion
मुझे उम्मीद है की आपको मेरी यह लेख GoogleBot क्या है? यह कैसे कार्य करता है? (What is GoogleBot) जरुर पसंद आई होगी. मेरी हमेशा से यही कोशिश रहती है की readers को पूरी जानकारी प्रदान की जाये जिससे उन्हें किसी दुसरे sites या internet में उस article के सन्दर्भ में खोजने की जरुरत ही नहीं है. इससे उनकी समय की बचत भी होगी और एक ही जगह में उन्हें सभी information भी मिल जायेंगे.
यदि आपके मन में इस article को लेकर कोई भी doubts हैं या आप चाहते हैं की इसमें कुछ सुधार होनी चाहिए, तब इसके लिए आप नीचे comments लिख सकते हैं.यदि आपको यह लेख पसंद आया या कुछ सीखने को मिला तब कृपया इस पोस्ट को Social Networks जैसे कि Facebook, Twitter इत्यादि पर share कीजिये.
GoogleBot क्या है? यह कैसे कार्य करता है? (What is GoogleBot)