Robots.Txt क्या है, Robots Txt क्यूँ जरुरी है, कैसे बनाएं

आज हम आपको इस Article की मदद से बताएँगे Robots.Txt Kya Hai और Robots Txt Kaise Use Kare की पूरी जानकारी.

इसी के साथ हम आपको Robots.Txt File से जुड़े और भी सवालों के जवाब देंगे. जैसे कि: Robots.Txt File Ke Fayde, Robots.Txt File Kaise Banaye इत्यादि की पूरी जानकारी विस्तार में जानेंगे.

तो चलिए शुरू करते हैं Article Robots.Txt क्या है के बारे में पढ़ने से…

Robots.Txt Kya Hai

Robots.Txt File का इस्तेमाल Google के Bots को हमारे द्वारे किए गए Website Updates के बारे में बताने के लिए किया जाता है. इसकी मदद से Google के Crawlers एवं Bots यह समझते हैं कि हमने अपनी Website पर क्या नए Changes किए हैं, कौन सा नया Article Publish किया है, कौन से नए Tags इस्तेमाल किए हैं इत्यादि.

किसी भी Blog/ Website के लिए यह एक बहुत Important File होती है. इसकी मदद से ही सारे Search Engines हमारी Website/ Blog के एक Index तैयार करते हैं. कोई भी Bot जब हमारी Website के Content को Internet पर Index कराने आता है तो वो सबसे पहले Robots.Txt File को ढूंढता है.

Robots.Txt File सभी Websites का Index होता है. यह Bots एवं Crawlers के लिए एक Road Map Guide की तरह काम करता है. जैसे कि: जब आप किसी नई जगह पर घुमने जाते हैं, तो वहां घुमाने के लिए आपको एक Guide की जरुरत होती है. यह Guide आपको उस जगह के बारे में सब कुछ बताता है. ठीक इसी तरह Robots.Txt File भी काम करता है.

Robots.Txt File Kaise Banaye

Robots.Txt File बनाने के लिए सबसे पहले Notepad खोलें और उसे Robots.Txt के नाम से Save करें. अब इसे अपनी Website के Root Directory में Upload कर दें. कुछ Websites के Root Folder, htdocs में होते हैं.

अगर आप Sub-Domains का इस्तेमाल करते हैं तो आपको सभी Subdomain के लिए अलग अलग Robots.Txt File बनाने की जरुरत है. इसके बाद आपको इस File में निचे बताए Rules की मदद से Coding करना होता है.

Robots.Txt File Ke Liye Rules

यह Rule 3 Pre-Defined Cammands का इस्तेमाल करके बनाया जाता है:

• User-Agent: उस Robot का नाम जिसके लिए आप ये Rules लिखते हैं.
• Disallow: इसका इस्तेमाल उस Page, Folder या Path के लिए किया जाता है, जिसे आप Hide करना चाहते हैं.
• Allow: यहाँ आप उन Pages, Folder या Path के बारे में लिखें जिसे आप Unhide करना चाहते हैं.

Example 1. Allow All Search Engines to Crawl Everything.

User-agent: *

Disallow:

Example 2. Disallow All Search Engines from Crawling Everything.

User-agent: *

Disallow: /

Example 3. Disallow All Search Engines from Crawling a Specific Folder.

User-agent: *

Disallow: /foldername/

Example 4. Disallow All Search Engines from Crawling a Specific File.

User-agent: *

Disallow: /filename.html

Example 5. Disallow All Search Engines From Crawling a Folder but Allow the Crawling of One File in That Folder.

User-agent: *

Disallow: /folderabc/

Allow: /folderabc/xyzfile.html

Example 6. Allow only One Specific Robot Access in The Website.

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow:

Example 7. To Exclude a Single Robot.

User-agent: BadBotName

Disallow: /

Example 8. Allow All Search Engine to Crawl of Sitemap File.

User-agent: *

Sitemap: http://www.example.com/sitemap.xml

Example 9: To Create WordPress Robots.txt File.

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Sitemap: http://www.example.com/sitemap.xml

TIP: जिन Files को आप Crawl नही करना चाहते है या Hide करना चाहते हो उन्हें Robots.Txt File में अलग-अलग Disallow ना करें क्योंकि ऐसा करने से आप उन Files के बारे में सबको बता रहें है इसलिए उन्हें एक Folder के अंदर डाल कर उस Folder को Hide कर दें.

• Google Search Console क्या है, सर्च कंसोल इस्तेमाल कैसे करें

Bots Kya Hai

एक ऐसा Software जिन्हें Internet पर Automated Tasks के लिए बनाया जाता है उन्हें हम Bots कहते है. Websites पर आधे से ज्यादा Traffic, Bots के जरिए ही आता है. Bots भी 2 तरह के होते है Good Bots और Bad Bots तो आइए जानते है इनके बारे में:

Good Bots: ये Bots आपकी Websites और Users के लिए बहुत मददगार होती है ये Websites के Pages को Crawl करती है जिससे Search Engine Result Page में अच्छी Website को दिखाया जा सके इसके अलावा ये News Updates, Best Price on A Product, Copyrighted Content को ढूँढने में मदद करती हैं.

36% Web Traffic इन्ही Bots के जरिये आता है. Good Bots हमेशा आपकी Website पर मोजूद Robots.Txt File के Rules को Follow करते है: GOOGLEBOT, BINGBOT, SLURP और MSNBOT Good Bots के Example है.

Bad Bots: वह Bots जो आपकी Website और User, दोनों के लिए बहुत नुकसान दायक होते हैं. यह Websites के Data को चुराती है जैसे की Financial Data Users Personal Information, Website Admin Information इत्यादि.

Bad Bots Websites Bandwidth को बहुत ज्यादा Consume करके Server को Down कर देती है और ये Websites को पूरी तरह Damage कर देती है.

• CTR क्या है, CTR की गणना कैसे करें, AdSense, Youtube
• Off Page SEO क्या है, ऑफ़ पेज एसईओ कैसे करें, 9 आसान तरीके

Robots.Txt File Kahan Banate Hai

Robots.Txt File को आपके Website के Root Folder (For Example: yourdomain.com/robot.txt) में बना सकते हैं. इसे Edit करने के लिए आप किसी भी Text Editor का Use कर सकते हैं.

• SEO क्या है, एसइओ कैसे करते हैं, 9 आसान तरीके PDF Download
• Search Engine क्या है, Search Engine कैसे काम करता है, प्रकार
• Coding क्या है, कोडिंग कैसे सीखें, सिखने के फायदे 10 Best Sites

आशा करते हैं आपको Robots.Txt Kya Hai और Robots Txt Kaise Use Kare, पोस्ट पसंद आई होगी.

अगर आपको इस Post से Related कोई सवाल या सुझाव है तो नीचे Comment करें. अगर आपको यह Post पसंद आई तो अपने दोस्तों के साथ जरुर Share करें.