दोस्तों क्या आप जानते हैं Robots.txt क्या है? ब्लॉग में कैसे ऐड करते हैं (What is Robot.txt File in Hindi), (SEO, Generator, Checker, Blogger, WordPress, Use) क्या आपके Blog Post का Crawl और Index वैसे नहीं हो पा रहा है जैसे आप चाहते हो? क्या आप जानते है कि Robots.txt File क्या है? Robots.txt File के क्या फायदे है? Robot.txt file को Blogger और WordPress में कैसे add करते है? अक्सर new Bloggers को Robots.txt File के बारे में ठीक से पता न होने कारण काफी सारी Problems होती है|
NP Digital के Co founder Nell Patel के अनुसार, Robots.txt File file Internet पर उपलब्ध सभी Website के Post का एक छोटा सा Text File है| Robots.txt File को खासकर Search Engine और SEO के लिए बनाया जाता है|Robots.txt File आपकी Post Rank करने में बहुत help करता है|लेकिन फिर भी बहुत से Bloggers इसकी Value नहीं समझते है| कही आप भी उनमे से एक तो नहीं! अगर हाँ, ये आपकी Website के लिए ठीक नहीं है|
अगर आप चाहते है की आपकी Website भी दूसरे Bloggers की तरह Search engine में अच्छे से Rank करें तो आपको मेरे इस Article में Robots.txt File से Related सभी जानकारी मिल जाएगी कि Robots.txt File kya hai, Robot.txt file SEO के लिए क्यों जरुरी है| ये Article आपके लिए बहुत Useful होने वाला है इसलिए इसके एक भी Point को miss मत करना तो चलिए सबसे पहले Start करते है की Robots.txt File kya hai ( Robots.txt File Meaning In Hindi)
Robots.txt क्या है? (What is Robots.txt)
Robots.txt एक text file होता है जिसे की आप अपने site में रखते हो ताकि आप Search Robots को ये बता सको की उन्हें आपके site में किन pages को visit करना है या crawl करना है और किन्हें नहीं।
वैसे Robots.txt को पालन करना search engines के लिए mandatory नहीं है लेकिन वो इसे जरुर ध्यान देते हैं और इसमें mentioned किये गए pages और folders को visit नहीं करते. उस हिसाब से Robots.txt बहुत ही महत्वपूर्ण है. इसलिए इसे main directory में रखना अत्यंत जरुरी है जिससे की search engine को इसे ढूंडने में आसानी होती है.
यहाँ ध्यान देने वाली बात यह है की अगर हम इस file का सही जगह में implementation न करें तो Search Engines को ये लगेगा की शायद आपने robot.txt file को include ही नहीं किया है जिससे की आपके site के pages शायद index भी न हों।
इसलिए इस छोटे से file की बहुत ज्यादा importance है यदि इसका इस्तमाल ठीक से नहीं किया गया तब इससे आपके website की ranking भी कम सकती है. इसलिए इसके बारे में अच्छी जानकारी होना बहुत ही जरुरी है.
ये कैसे काम करता है?
कोई भी search engines या Web Spiders यदि आपके website या blog को पहली बार आये हैं तो वो पहले आपके robot.txt file को crawl करते हैं क्यूंकि इसमें आपके website को लेकर सारी जानकारी होती है की किन चीज़ों को crawl नहीं करना है और किन्हें करना है. और वो आपके निर्देशित pages को index कर देती हैं, जिससे की आपके indexed pages search engine results में प्रदर्शित होते हैं.
Robots.txt वेबसाइट के लिए क्यों आवश्यक हैं? (Why Robots.txt is Required for Website)
सर्च इंजन Bots जब वेबसाइट और ब्लॉग पर आते हैं, तो वे robots file को फॉलो करते है और कंटेंट को crawl करते हैं। लेकिन आपकी साईट में Robots.txt file नहीं होगी, तो सर्च इंजन Bots आपके वेबसाइट के सभी कंटेंट को index और crawl करना शुरू कर देंगे जिन्हें आप Index करना नहीं चाहते हैं।
सर्च इंजन Bots किसी भी वेबसाइट को इंडेक्स करने से पहले robots file को खोजते हैं। जब उन्हें Robots.txt file द्वारा कोई Instructions नहीं मिलता है, तो ये वेबसाइट के सभी कंटेंट को Index करना शुरू कर देते हैं। और कोई Instructions मिलता है, तो उसका पालन करते हुए वेबसाइट को Index करते हैं।
अतः इन्हीं कारणों से Robots.txt file की आवश्यक पड़ती है। अगर हम इस फाइल के द्वारा सर्च इंजन Bots को Instructions नहीं देते हैं, तो वे हमारी पूरी साईट को तो Index कर लेते हैं। साथ ही कुछ ऐसे भी डेटा को index कर लेते हैं, जिन्हें आप index नहीं करना चाहते थे।
Robots.txt files आपके लिए बहुत फायेदेमंद साबित हो सकते हैं यदि :
- आप चाहते हैं की search engines आपके website में स्तिथ duplicate pages को ignore करे
- अगर आप चाहते हैं की आपके internal search results pages को ये index न करे तब
- अगर आप चाहते हैं की search engines आपके निर्देशित कुछ pages को index न करें तब
- अगर आप चाहते हैं की आपके कुछ files जैसे की कुछ images, PDFs इत्यादि को ये Index न करें तब
- अगर आप चाहते हैं search engines को ये बताना की आपकी sitemap कहाँ स्तिथ है तब
Robots.txt file को कैसे बनाया जाता है (How to Create Robots.txt File)
यदि आपने अभी तक भी अपने website या blog में robots.txt file बनाया नहीं है तब आपको खूब शीघ्र ही इसे बना लेना चाहिए क्यूंकि ये आगे चलकर आपके लिए काफी फायेदेमंद साबित होने वाला है. इसे बनाने के लिए आपको कुछ निर्देशों को पालन करना होगा :
- सबसे पहले एक text file बनायें और उसे robots.txt के नाम से save करें. इसके लिए आप NotePad का इस्तमाल कर सकते हैं यदि आप Windows का इस्तमाल करते हैं तब या TextEdit का यदि आप Macs का इस्तमाल करते हैं और उसके बाद उसे text-delimited file के हिसाब से save कीजिये.
- उसे अब अपने website के root directory में upload कर लीजिये. जो की एक root level folder होता है और उसे “htdocs” भी कहा जाता है और वो आपके domain name के बाद appear होता है.
- अगर आप subdomains का इस्तमाल करते हैं तब आपको सभी subdomain के लिए अलग अलग robots.txt file बनाने की जरुरत है.
Robots.txt की Syntax क्या है (What is the Syntax of Robots.txt)
Robots.txt में हम कुछ syntax का इस्तमाल करते हैं जिनके बारे में हमें जानना बहुत ही जरुरी है.
• User-Agent: वो robot जो की ये सारी rule को follow करते हैं और जिनमें ये applicable हैं (e.g. “Googlebot,” etc.)
• Disallow: इसका इस्तमाल करने का मतलब है की वो pages को bots से block करना जिन्हें आप नहीं चाहते हैं कोई दूसरा उसे access कर सके. (यहाँ प्रति files के पहले disallow लिखने की जरुरत है)
• Noindex: इसके इस्तमाल से search engine आपके उन pages को index नहीं करेगा जिन्हें की आप नहीं चाहते की वो indexed हो.
• सारे User-Agent/Disallow group को separate करने के लिए एक blank line का इस्तमाल करना चाहिए, लेकिन यहाँ ध्यान दें की दो groups के बिच कोई भी blank line न हो (User-agent line और the last Disallow के बिच gap नहीं होना चाहिए .
• Hash symbol (#) का इस्तमाल comments देने के लिए किया जा सकता है within a robots.txt file, जहाँ की सभी चीज़ें जिसके पहले # की symbol होगी उन्हें ignore कर दिया जायेगा. इन्हें मुख्य रूप से whole lines or end of lines के लिए इस्तमाल किया जाता है.
• Directories और filenames case-sensitive होते हैं : “private”, “Private”, and “PRIVATE” ये सारे search engines के लिए एकदम अलग अलग हैं.
चलिए के उदहारण के मदद से इसे समझते हैं. यहाँ निचे मेंने उसके बारे में लिखा है.
• यहाँ जो robot “Googlebot” है उसमें कोई भी disallowed की statement नहीं लिखी गयी है जिससे की ये free है कहीं भी जाने के लिए
• यहाँ सारे site को बंद कर दिया गया है जहाँ की “msnbot” का इस्तमाल हुआ है
• सारे robots (other than Googlebot) को /tmp/ directory or directories or files called /logs को देखने की permission नहीं है, जिन्हें की निचे explain किया गया है comments के माध्यम से e.g., tmp.htm,
/logs or logs.php.
User-agent: Googlebot
Disallow:
User-agent: msnbot
Disallow: /
# Block all robots from tmp and logs directories
User-agent: *
Disallow: /tmp/
Disallow: /logs # for directories and files called logs
सही और parfect robots.txt file कैसे बनाए ( How to create a correct and parfect robots.txt file )
अगर आपने अभी तक अपने website या blog के लिए robot.txt file नहीं बनाया है। तो आपको जल्द ही बना लेना चाहिए। क्यूंकि ये आगे चलकर आपके लिए काफी फायेदेमंद साबित होने वाला है।
अपने ब्लॉग के लिए robot.txt कैसे बनाए इसे बनाने के लिए आपको कुछ Steps को Follow करना होगा। तो आप को Google में “yoursite.com/robots.txt” type करना है। Yoursite मतलब साइट का URL type करें बाद आपके सामने एक text Page open होंगा। यह ही आपके ब्लॉग का Robot.txt को होंगा।
उसे अब अपने website के root directory में upload कर लीजिये। अगर आप subdomains का इस्तमाल करते हैं। तब आपको सभी subdomain के लिए अलग अलग robots.txt file बनाने की जरुरत है।
Robots.txt फाइल की बेसिक फॉर्मेट (Basic Format of Robots.txt File)
Robots.txt फाइल की Basic format बहुत सिंपल है और यह कुछ इस तरह दिखती है,
User-agent: [user-agent name]
Disallow: [URL या पेज जिसे आप क्रॉल नहीं करना चाहते हैं]
इन दो command को एक complete robots.txt फ़ाइल माना जाता है। हालांकि एक robots file में user agents और directives के कई commands हो सकते हैं (disallows, allows, crawl-delays आदि)।
- User-agent: Search Engines Crawlers/Bots होते है। अगर आप सभी सर्च इंजन bots को same instruction देना चाहते हैं, तो User-agent: के बाद * चिन्ह का प्रयोग करें। जैसे – User-agent: *
- Disallow: यह files और directories को index होने से रोकता है।
- Allow: यह सर्च इंजन bots को आपके कंटेंट crawl और index करने की अनुमति प्रदान करता है।
- Crawl-delay: पेज कंटेंट को loading और crawling करने से पहले कितने सेकंड तक bots को इंतजार करना है।
Robots.txt उपयोग से लाभ (Benefits of Using Robots.txt)
वैसे देखा जाये तो robots.txt के इस्तमाल करने के बहुत से फा ये दे है लेकिन मैंने यहाँ कुछ बहुत ही महत्वपूर्ण फा ये दे के बारे में बता या है जिनके बारे में सभी को जानकारी होना चाहिए.
- robots.txt के इस्तमाल से आपके sensitive information को private रखा जा सकता है.
- Robots.txt के मदद से “canonicalization” problems को दूर रखा जा सकता है or multiple “canonical” URLs को भी रखा जा सकता है. इस problem को भूल वसतः “duplicate content” problem भी कहा जाता है .
- इससे आप Google Bots की मदद भी कर सकते हैं Pages को index करने के लिए.
Robots.txt file का उपयोग नहीं करने से क्या होगा। (What happens if you don’t use the Robots.txt file)
यदि हम कोई भी robots.txt file का इस्तमाल नहीं करते तब seach engines पर कोई पाबन्दी नहीं होती की कहाँ crawl करना है और कहाँ नहीं इससे वो सभी चीज़ों की index कर सकते हैं जो भी उन्हें आपके website में मिले।
ये बहुत से websites के लिए सभी भी है लेकिन यदि हम कुछ अच्छे practice की बात करें तब हमें robots.txt file का इस्तमाल करना चाहिए क्यूंकि इससे search engines को आपके pages को index करने में आसानी होती हैं, और उन्हें सारे pages को बार बार जाने की जरूरत नहीं पड़ती
FAQ- Robot.txt के बारे में अक्सर पूछे जाने वाले सवाल जवाब
Q : Robot.txt File का क्या काम होता है ?
Ans : सर्च इंजनों को कमांड देने का.
Q : किसी वेबसाइट में Robot.txt File कहां मौजूद रहती है ?
Ans : वेबसाइट के रूट फोल्डर में|
Q : क्या ब्लॉग या वेबसाइट के लिए Robot.txt File का उपयोग आवश्यक होता है ?
Ans : जी हां|
Q : यदि Robot.txt Fileका प्रयोग ना किया जाए तो तब क्या होगा ?
Ans : ऐसे में सर्च इंजन सभी चीजों को इंडेक्स कर सकता है|
Q : Robot.txt File में यूज़ करना चाहिए या वर्डप्रेस में ?
Ans : वर्डप्रेस में|
Conclusion
तो दोस्तों मुझे उम्मीद है की आपको मेरी यह लेख Robots.txt क्या है? और कैसे उपयोग किया जाता है पूरी जानकारी हिंदी में जरुर पसंद आई होगी. मेरी हमेशा से यही कोशिश रहती है की readers को पूरी जानकारी प्रदान की जाये जिससे उन्हें किसी दुसरे sites या internet में उस article के सन्दर्भ में खोजने की जरुरत ही नहीं है. इससे उनकी समय की बचत भी होगी और एक ही जगह में उन्हें सभी information भी मिल जायेंगे.
यदि आपके मन में इस article को लेकर कोई भी doubts हैं या आप चाहते हैं की इसमें कुछ सुधार होनी चाहिए, तब इसके लिए आप नीचे comments लिख सकते हैं.यदि आपको यह लेख पसंद आया या कुछ सीखने को मिला तब कृपया इस पोस्ट को Social Networks जैसे कि Facebook, Twitter इत्यादि पर share कीजिये.
Robots.txt क्या है? और कैसे उपयोग किया जाता है पूरी जानकारी हिंदी में