5 Reasons जिसके कारण Google Search पर आपका Page Indexed नहीं होता है जाने कैसे करे (+Fix)

आपने एक ब्लोग बनाया है, और उसमे Coding, Designing और कई दिनो कि मेहनत के बाद , आखिरकार आप अपने नए web page को लाइव करने के लिए तैयार हैं। लेकिन अरे, मेरा ब्लॉग पोस्ट Google पर क्यों नहीं दिख रहा है?

मैंने क्या गल्त किया है?
अखिर Google मुझसे नफरत क्यों करता है?

क्योंकि मैंने लंबे समय से ये देखा हैं और स्वीकार किया है, कि वास्तव में Google को कितना वक्त लगता हैं एक New Blog को Search Engine मे, मेरा मतलब है कि Google Search पर नए ब्लॉग पोस्ट, कभी-कभी नई वेबसाइटों के लिए भी अधिक समय लगता है।5-Reasons-Your-Page-Is-Not-Indexed-On-Google-Search-and-How-to-Fix-It

जबकि Google Search पर एक नये page या website को लाने की प्रक्रिया एक लंबी और घुमावदार है, लेकिन यह सीखने लायक है। तो आज ये सिखते हैं।

Let’s start with the basics.

अनुक्रम

Search क्या है? यह कैसे काम करता है?

Google से बेहतर इसे समझाने वाला कोई नहीं है। तो यहां Google का एक वीडियो है जिसमें Matt Cutts ने बताया है कि Searchकैसे काम करता है।

क्या आपने इसे देखा है?

Google Search पर दिखाने के लिए आपके content को Spider के माध्यम से जाना पड़ता है । नहीं, ये असली Spiders नहीं, बल्कि ये एक Spider नामक एक Program हैं।

ये आपके content को crawl करता हैं यदि content में एक और और एक से अधिक लिंक दिखाई देता है, तो वे इसे भी क्रॉल करेंगे, और ये प्रक्रिया दोहराती है।

Crawled किया हुवा content or Web-page को  Google के data base मे रखा जाता है या अप कह सकते हैं Google’s index किया जाता हैं।

इसलिए Google Search पर आपका Content दिखाने के लिए, आपको पहले यह सुनिश्चित करना होगा कि आपकी वेबसाइट Google के crawler द्वारा Googlebot द्वारा Crawl करने योग्य है।

फिर आपको यह सुनिश्चित करना होगा कि इसे Indexer द्वारा सही ढंग से Index किया गया है जिसे Caffeine कहा जाता है। उसके बाद ही आपको आपका Content या Website Google Search पर दिखाई देगी।

आप Google से कैसे ठीक से पता कर सकते हैं कि Google Search  मे आपके Content को Index किया है या नहीं? खैर, आप ऐसा नहीं कर सकते हैं। जैसे आप SEO मे अपनी Website को Analyze करते हैं।

उदास मत हो अभी बहुत कुछ है,

Google Search बार में टाइप करें : Site:inserttyourdomainhere.com और Enter करे, अब आप Google Search मे अपके डोमेन के सभी Index web page की एक सूची देगा। आप देख सकते हैं कौन से page google ने Index किया हैैं।

लेकिन, जैसा कि Matt Cutts ने कहा, Web Page जो क्रॉल नहीं किए जाते हैं वे Google खोज पर भी दिखाई दे सकते हैं। खैर, यह एक अलग Topic हैं और हम इस विषय मे बाद मे बात करेगे।

अब आप इसे देखे ये वीडियो केवल 4 मिनट लंबा है। आप और अधिक समझने के लिए एक बार इसे भी देखे।

कुछ आम सवाल जो हर कोई जनना चाहता है।

मेरी वेबसाइट GoogleSearch में क्यों नहीं दिखाई देती है?

इसके लिए मैं कम से कम दो दिन दूंगा, और मैं इसकी जांच करुगा की अखिर मेरा Content अभी भी Google Search पर क्यों नहीं दिखाई दे रहा है।

अगर आपकी वेबसाइट नई है तो हो सकता हैं Google Search मे आने के लिये जुछ वक्त लग सकता हैं पर अगर आपकी वेबसाइट अभी भी Google Search मे नही हैं तो यहाँ आपको जरूर ध्यान देना चाहिये।

यहां एक List है जिसे आपको देखना चाहिये और जांचना शुरू करना होगा कि Google आपके Content या website को Index करने से क्या रोक रहा है:

क्या आपने अपने Robots की जाँच की है?

कभी-कभी थोड़े से अनदेखे Details का बड़ा प्रभाव हो सकता है। मुझे लगता हैं आपको इसे देखना चाहिये।

  1. Robots.txt वह पहला स्थान है जो Googlebot एक वेबसाइट पर जाता है ताकि यह पता किया जा सके कि कौन से पेज Nofollow या no-index हैं और ऐसे।

क्या आपके HTML Head Section में यह Code मौजूद है?

रोबोट नोइंडेक्स टैग यह टैग अब Google को विशेष रूप से अपने खोज परिणामों (Search Result) में इस पृष्ठ को नहीं दिखाने का निर्देश देता है। ये Code गूगल को बताता हैं कि इस पेज को google मे ना दिखाया जाये, अगर आपके page मे इस तरह का कोई  code मौजूद है तो आप इसकी जांच करे।

इस कोड का उपयोग आप तब करे जब आप चाहते हैं कि google मे आपके page को Index नही किया जये।

इसी तरह, X-Robots-Tag HTTP हैडर का उपयोग HTTP Response में प्रोग्राम किया जा सकता है। इसके बाद रोबोट मेटा टैग के लिए साइट-वाइड विशिष्ट विकल्प के रूप में उपयोग किया जा सकता है।

क्या आप Googlebot को  Redirect chain की तरफ भेज रहे हैं।

Googlebot आम तौर पर एक ऐसा bot होता है, जो हर उस Link से गुजरता हैं और HTML को पढ़ने के लिए अपनी पूरी कोशिश करता हैं, फिर ये caffeine से गुजरता उसे Index करने के लिये। ये content मे मौजूद सभी link की जांंच करता हैै।

लेकिन, यदि आप एक redirection chain का उपयोग करते हैं और आपका page बार बार किसी अन्य page पर redirect होता हैं, या page unreachable पहुंच से बाहर है, तो Googlebot उसे देखना बंद कर देगा।

जब googlebot आपके page को crawl करना बंद कर देगा, जिसका अर्थ यह है Index नहीं होने का अर्थ Google Search पर नहीं होना है।

मुझे पता है कि 30x को लागू किया जाना उपयोगी और महत्वपूर्ण है। हालाँकि, जब इसे गलत तरीके से लागू किया जाता है, तो यह न केवल आपके SEO को बल्कि उपयोगकर्ता के अनुभव को भी बर्बाद कर सकता है।

इसके लिये आप इस Video को देख सकते हैं और समझ सकते हैं।

इसलिए सुनिश्चित करें कि आपके सभी page ealthy and reachable हैं। crawlers और users दोनों के लिये  Redirection Chain ठीक करें।

क्या आपने canonical link को सही तरीके से लागू किया है?

HTML हेडर में एक कैनोनिकल टैग का उपयोग Googlebot को बताने के लिए किया जाता है जो Duplicate Content के मामले में है।

canonical URL tag एक HTML link tag है जो हमारे ब्लॉग के head section में दी जाती है ताकि सर्च इंजन उसे देख कर समझ जाये कि जिस पोस्ट/पेज को वो crawl/scan कर रहा है उसका main URL क्या है। कैननिकल यूआरएल उस पेज का यूआरएल होता है जिसे Google आपकी साइट पर मौजूद डुप्लीकेट पेजों में से सबसे ज़रूरी मानता है।
मान लीजिए आपके पास एक ही पेज के कई URL हैं (जैसे: example.com?dress=1234 और example.com/dresses/1234), तो Google उनमें से एक URL को कैननिकल के तौर पर चुन लेता है।
कैननिकल पेज किसी डुप्लीकेट पेज के बजाय दूसरे डोमेन से भी तय किया जा सकता है।
अगर आपके एक ही पेज के दो URL है Canonical page और Duplicate page तो ऐसे स्थती मे सिर्फ Canonical पेज Google Search पर दिखाई देगा। Google canonical tag काा इसतिमाल करता हैं output filter को search करने के लिये।
 रैंकिंग में Canonical version को प्राथमिकता दी जाती हैं।

हो सकता है कि आपने अपना Crawl budget पार कर लिया हो

Google के पास हजारो मशीन हैं spiders को Run करने के लिये, लेकिन एक लाख और उससे अधिक वेबसाइटें हैं जो Crawled की प्रतीक्षा कर रही हैं।

इसलिए, हर Spider एक बजट के साथ आपकी वेबसाइट पर आता है, वे एक Resource Limit के साथ आते हैं के आपकी वेबसाइट पर कितने Resources खर्च कर सकते हैं
जैसा कि पहले  किया गया है, यदि आपकी वेबसाइटों में बहुत अधिक Redirection की Chain हैं, जो अनावश्यक रूप से आपके Crawl Budget को खाएंगी। इस बात का ध्यान दें कि Crawler आपके नए पेज पर पहुंचने से पहले ही हमारा Crawl Budget चला जा सकता है।

 

अब ये सवाल उठता हैं कि कैसे जानें कि आपका Crawl Budget कितना है? इसके लिये आपको Search Console खाते में, एक Crawl Section होगा जहाँ आप अपने Crawl Status की जाँच कर सकते हैं। और उसको Manage कर सकते हैंं।

मान लें कि आपकी वेबसाइट में 500 पेज हैं, और Googlebot प्रति दिन आपकी साइट पर केवल 10 पेज Crawl कर रहा है। Crawl बजट आपके द्वारा किए जा रहे नए पेजो के लिए पर्याप्त कुशल नहीं होगा।

इस स्थिति में, आपके Crawl बजट को Optimize करने के कुछ तरीके हैं।

सबसे पहले, authoritative sites को जादा और लगातार क्रॉल बजट दिया जाता है। इसलिए उन Back links को प्राप्त करें। जो अधिक गुणवत्ता (Domain Authority) के हो,

Domain Authority के बारे में यहाँ और अधिक पढ़ें: Domain Authority क्या है, What is Domain Authority

हम सभी जानते हैं कि Quality Back-links को एक दिन मे प्राप्त नही किया जा सकता हैं, इसके लिये काफी समय लगता हैं पर आप इसके लिये भी कुछ चिजो को कर सकते हैं। ये एक अलग Topic हैं हम इसपर बादमे बात करेगे।

आपको अपने robots.txt फ़ाइल का अच्छा उपयोग करने की आवश्यकता है। हम सभी के पास अपनी website पर कुछ ऐसे page होते हैं जिनकी वास्तव में Google Search में होने की आवश्यकता नहीं होती है जैसे Duplicate Content, Under construction page, dynamic URLs, इत्यादि।

इसके लिये आप GoogleBot को बता सकते हैं कि कौन से URL को Crawl करना हैं और कौन से नही करना हैं। आप इसे बडी असानी से कर सकते हैं।

इस प्रकार, Crawler अनावश्यक रूप से उन पेजो पर अपना Crawl Budget खर्च नहीं करेंगे, जिन्हें क्रॉलिंग की आवश्यकता नहीं है।

ये एक List हैं जिसमे Most common यूजर agents Include हैं।

  • Googlebot (Google)
  • Bingbot (Bing)
  • Slurp (Yahoo)
  • DuckDuckBot (DuckDuckGo)
  • Baiduspider (Baidu)
  • YandexBot (Yandex)
  • facebot (Facebook)
  • Ia_archiver (Alexa)

एक महत्वपूर्ण बात जो मैंने पहले ही आपको ऊपर बताई है, जो आपके क्रॉल बजट को Optimize करने में भी लागू होती है, वह है उन Redirect chain को ठीक करना, वे आपके Crawl Budget को भी खा रहे हैं।

अगर 40x errore के साथ कोई page हैं, तो उन्हें भी ठीक करें, ये बहुत जरूरी हैं।

क्या आपके पेज में Internal Links नही है?

क्या अपका पेज orphan page हैं जिसमे कोई भी internal links मौजूद नही हैं। या पेज मे Broken links मौजूद है। अगर आपके पेज मे किसी भी तरह का Internal links नही है तो ये वेबसाइट के लिये सही नही है।

याद रहे के  spiders कैसे काम करते हैं वे एक URL से शुरू करते हैं और वहां से अन्य URL को Crawl करते हैं जो लिंक होते हैं। आपके Content मे जितने भी Internal links मौजूद होते है वो उन सबको Crawl करते हुवे आगे जाते हैंं।

एक orphan page क्रॉल नहीं किया जा सकता है क्योंकि Crawl होने का कोई तरीका नहीं है इसलिए Internal Links करना इतना महत्वपूर्ण है क्योंकि यह Crawlers के लिए आपके content के एक पेज से दूसरे पेज पर जाने का काम करता है।

आपको उनसभी pages को fix करना है जिनमे internal links मौजूद नही है।

अ‍ब सब कुछ ठीक है?

अगर सब कुछ अच्छी तरह से काम कर रहा है, और किसी भी तरह का कोई error भी नही है, robots भी ठीक हैं, लेकिन आपका पेज अभी भी दिखाई नहीं दे रहा है। क्यों?

well,ये Problem Google की तरफ से हो सकता है।
शायद आप Crawler की प्राथमिकता मे नहीं हैं।

Google के पास बहुत से resources हैं। और बड़ी और अधिक आधिकारिक वेबसाइटों को एक बड़ा और अधिक लगातार Crawl budget दिया जाएगा। तो, आप इसे कैसे बदल सकते हैं?