Η σελίδα 404 έχει σχεδιαστεί για να ενημερώνει τον χρήστη ότι το url (διεύθυνση σελίδας) που όρισε δεν υπάρχει.
Τέτοιες λανθασμένες διευθύνσεις URL μπορούν επίσης να ονομαστούν "σπασμένοι σύνδεσμοι".
Πολλοί ιστότοποι κάνουν τις 404 σελίδες τους για τη διευκόλυνση των χρηστών τους. Συχνά πρόκειται για όμορφες και ενδιαφέρουσες σελίδες που κάνουν τον χρήστη να χαμογελά αντί να απογοητεύεται που η διεύθυνση της σελίδας είναι λανθασμένη.
Κατά τη δημιουργία μιας σελίδας 404, υπάρχει ένα σημαντικό τεχνικό στοιχείο που επηρεάζει σε μεγάλο βαθμό την κατάταξη των τοποθεσιών στις μηχανές αναζήτησης, εάν όλα δεν έχουν ρυθμιστεί σωστά.

Αν σας προβληματίζει η δημιουργία της σελίδας 404, τότε πρέπει να λάβετε υπόψη τρία σημεία:
1) Ανακατεύθυνση από όλες τις εσφαλμένα καταχωρημένες διευθύνσεις URL στη σελίδα 404 στο .htaccess.
2) Σωστή απάντηση διακομιστή μετά την ανακατεύθυνση (ο κώδικας http της σελίδας πρέπει να είναι 404, όχι 200).
3) Κλείσιμο της σελίδας 404 από την ευρετηρίαση στο robots.txt

Σημειώνω αμέσως ότι όλα τα παραπάνω είναι γραμμένα για αυτογραφικά site, κυρίως σε php. Για το wordpress, υπάρχουν πρόσθετα για να προσαρμόσετε το ίδιο. Αλλά σε αυτό το άρθρο θα δούμε πώς φαίνονται όλα στην πραγματικότητα. %)

Ανακατεύθυνση (ανακατεύθυνση) λανθασμένων url σε σελίδα 404

Το πρώτο πράγμα που κάνετε είναι να δημιουργήσετε την ίδια τη σελίδα 404, ώστε να υπάρχει πού να στείλετε άτομα%%.
Η διεύθυνση url ανακατεύθυνσης έχει ρυθμιστεί στο αρχείο .htaccess
Απλώς εισάγετε τη γραμμή:
ErrorDocument 404 http://mysite.com/404.php
Όπου "mysite.com" είναι ο τομέας σας και http://mysite.com/404.php είναι η διαδρομή προς την πραγματική σελίδα. Εάν ο ιστότοπός σας είναι σε html, τότε η γραμμή θα μοιάζει με αυτό:
ErrorDocument 404 http://mysite.com/404.html
Η επαλήθευση είναι πολύ απλή. Αφού ανεβάσετε το αρχείο .htaccess με την παραπάνω γραμμή στη φιλοξενία, κάντε έναν έλεγχο πληκτρολογώντας μια εσκεμμένα ανύπαρκτη διεύθυνση url (σπασμένος σύνδεσμος), για παράδειγμα: http://mysite.com/$%$%
Εάν συνέβη η ανακατεύθυνση στη σελίδα που δημιουργήσατε, τότε όλα λειτουργούν.
Έτσι, το πλήρες αρχείο .htaccess, όπου έχει ρυθμιστεί ΜΟΝΟ η ανακατεύθυνση στο 404, θα μοιάζει με αυτό:
____________________________
Επανεγγράψτε τον κινητήρα ενεργοποιημένο
ErrorDocument 404 http://mysite.com/404.html
____________________________

Σωστή απόκριση διακομιστή (κωδικός http σελίδας)

Είναι πολύ σημαντικό να υπάρχει σωστή απόκριση διακομιστή κατά την ανακατεύθυνση, δηλαδή 404 Δεν βρέθηκε.
Αυτό πρέπει να εξηγηθεί χωριστά.

Σε κάθε url κατόπιν αιτήματος εκχωρείται κατάσταση (κωδικός http της σελίδας).
Για όλες τις υπάρχουσες σελίδες, αυτό είναι: HTTP/1.1 200 OK
Για ανακατευθυνόμενες σελίδες: Βρέθηκε HTTP/1.1 302
Εάν η σελίδα δεν υπάρχει, θα πρέπει να είναι HTTP/1.1 404 Not Found

Δηλαδή, όποια διεύθυνση URL εισάγεται, της εκχωρείται μια κατάσταση, ένας συγκεκριμένος κωδικός απόκρισης διακομιστή.
Μπορείτε να ελέγξετε την απόκριση του διακομιστή σε έναν πόρο όπως το bertal.ru ή το SEARCH CONCOLE GOOGLE - Σάρωση / Προβολή ως bot GOOGLE.
Όταν δεν είχατε ανακατεύθυνση .htaccess σε μια σελίδα 404, τότε τυχόν ανύπαρκτο url που εισήγαγε ο χρήστης, καθώς και κατεστραμμένοι σύνδεσμοι, έλαβαν την απάντηση "HTTP/1.1 404 Δεν βρέθηκε"

Αφού ρυθμίσετε μια ανακατεύθυνση στη σελίδα 404 του συντάκτη σας μέσω .htaccess, όπως περιγράφεται παραπάνω, και στη συνέχεια εισάγετε έναν κατεστραμμένο σύνδεσμο (μη έγκυρη διεύθυνση URL που προφανώς δεν υπάρχει), όπως http://mysite.com/$%$% , Η απάντηση του διακομιστή θα είναι:
- το πρώτο HTTP/1.1 302 βρέθηκε (ανακατεύθυνση),
- ακολουθούμενο από HTTP/1.1 200 OK (η σελίδα υπάρχει).

Ελέγξτε μέσω του bertal.ru.
Τι απειλεί; Αυτό σημαίνει ότι η Google μπορεί να εισάγει όλους τους κατεστραμμένους συνδέσμους στη βάση δεδομένων της (ευρετήριο) ως υπάρχουσες σελίδες με το περιεχόμενο της σελίδας 404. Στην πραγματικότητα, διπλότυπες σελίδες. Και αυτό είναι απίστευτα επιβλαβές για τη βελτιστοποίηση μηχανών αναζήτησης.

Σε αυτή την περίπτωση, πρέπει να κάνετε δύο πράγματα:
1) Ρυθμίστε τη σωστή απόκριση διακομιστή στη σελίδα 404.
2) Κλείστε τη σελίδα 404 από τη δημιουργία ευρετηρίου. Αυτό γίνεται μέσω του αρχείου robots.txt

Διαμόρφωση απόκρισης διακομιστή HTTP/1.1 404 Not Found για ανύπαρκτες σελίδες

Η απόκριση διακομιστή είναι διαμορφώσιμη χάρη σε php συναρτήσειςστην κορυφή της σελίδας:

Γράψτε το στην αρχή του αρχείου 404.
Ως αποτέλεσμα, θα πρέπει να λάβουμε απάντηση σε έναν κατεστραμμένο σύνδεσμο:

Κλείστε τη σελίδα 404 από τη δημιουργία ευρετηρίου

Μπορείτε να κλείσετε τη σελίδα από τη δημιουργία ευρετηρίου στο αρχείο rodots.txt. Να είστε προσεκτικοί με αυτό το εργαλείο, γιατί μέσω αυτού του αρχείου ο ιστότοπός σας, στην πραγματικότητα, επικοινωνεί με ρομπότ αναζήτησης!
Το πλήρες κείμενο του αρχείου rodots.txt, όπου η ευρετηρίαση σελίδων 404 είναι ΜΟΝΟ κλειστή, μοιάζει με αυτό:
____________________________
Πράκτορας χρήστη: *
Απαγορεύω:
Απαγόρευση: /404.php
____________________________

Σημειώσεις κώδικα: "/404.php" σημαίνει τη διαδρομή προς τη σελίδα. Εάν στον ιστότοπό σας η σελίδα 404.php (ή 404.html, αντίστοιχα) βρίσκεται σε κάποιο φάκελο, τότε η διαδρομή θα μοιάζει με:
/holder/404.php
όπου "holder" είναι το όνομα του φακέλου.

Αυτό, στην πραγματικότητα, αφορά τη σελίδα 404. Ελέγξτε τη λειτουργία της σελίδας, τις ανακατευθύνσεις κατεστραμμένων συνδέσμων και τις απαντήσεις του διακομιστή.
Επαναλαμβάνω: Όλα τα παραπάνω είναι για αυτογραφείς τοποθεσίες. Εάν χρησιμοποιείτε wordpress, μπορείτε να αναζητήσετε ένα αξιοπρεπές πρόσθετο σφάλματος 404.

Το σφάλμα 404 είναι το πιο αναγνωρίσιμο και κοινό σφάλμα εγγράφου υπερκειμένου. Αναφέρει ότι η σελίδα δεν υπάρχει στη δεδομένη διεύθυνση. Στην πραγματικότητα, μιλάμε για την απουσία αρχείου html για το καθορισμένο έγγραφο, επομένως ο ιστότοπος επιστρέφει ένα σφάλμα.

Για να αντιμετωπίσετε το ζήτημα με περισσότερες λεπτομέρειες, καθώς και με έναν αριθμό αρχείων υπηρεσίας που έχει κάθε πόρος, πρέπει να μελετήσετε τη στιγμή που σχετίζεται με την παρουσίαση υπερκειμένου των σελίδων που χρησιμοποιούν Γλώσσα HTML(Υπερκείμενο Γλώσσα σήμανσης- "Γλώσσα σήμανσης υπερκειμένου"), και το πρωτόκολλο HTTP μέσω του οποίου γίνεται η πρόσβαση. Παρά το γεγονός ότι πρέπει να κατανοήσετε τη γλώσσα προγραμματισμού, η μορφή της παρουσίασής της είναι τόσο απλή που μπορεί να την καταλάβει ο καθένας.

Περισσότερα βίντεο στο κανάλι μας - μάθετε το διαδικτυακό μάρκετινγκ με τη SEMANTICA

Σελίδες υπερκειμένου και τα χαρακτηριστικά τους

Το Διαδίκτυο γεννήθηκε τη στιγμή που ο Άγγλος μηχανικός Timothy John Berners-Lee βρήκε μια μορφή αναπαράστασης υπερκειμένου. σελίδες κειμένουστο δίκτυο και περιέγραψε την αρχή της πρόσβασης σε αυτά μέσω του πρωτοκόλλου εφαρμογής HTTP. Σύμφωνα με τη γενική ιδέα, ο χρήστης από τη συσκευή του, δηλαδή από το πρόγραμμα περιήγησης, κάνει ένα αίτημα δικτύου για έναν συγκεκριμένο πόρο. Σε αυτό το σημείο, ανοίγει μια περίοδος λειτουργίας στον διακομιστή στον οποίο έχετε πρόσβαση. Μια σελίδα HTML επιστρέφεται ως απάντηση.

Φυσικά, στην εποχή μας χρησιμοποιούνται πιο περίπλοκοι αλγόριθμοι για την πρόσβαση και την «ανταλλαγή» μεγάλων σελίδων, αλλά γενική αρχήπαραμένει το ίδιο. Για να αποκτήσετε πρόσβαση σε έναν πόρο, χρειάζεστε Ονομα τομέακαι διεύθυνση IP. Μόνο εάν πληρούνται αυτά τα κριτήρια και ο πόρος είναι σε κατάσταση λειτουργίας, θα επιστραφεί σφάλμα "404 δεν βρέθηκε" για το έγγραφο που λείπει.

Πώς φαίνεται η προεπιλεγμένη σελίδα 404

Ένας ιστότοπος μπορεί να έχει ή να μην έχει μια διακοσμημένη σελίδα σφάλματος πρόσβασης "Το http 404 δεν βρέθηκε". Ένας χρήστης με μικρή εμπειρία είναι συνήθως πολύ νευρικός όταν το λαμβάνει και πιστεύει ότι αυτό είναι δικό του λάθος. Στην πραγματικότητα, όλα είναι πολύ πιο απλά, η απάντηση προκύπτει από τα παραπάνω.

Ο κωδικός σφάλματος 404 με τη μορφή ξεχωριστής σελίδας που έχει σχεδιαστεί στη σχεδίαση του ιστότοπου επιστρέφεται μόνο εάν ο ιστότοπος διαθέτει αρχείο 404.html. Συνήθως βρίσκεται στον ριζικό κατάλογο. Διαφορετικά, το πρόγραμμα περιήγησης θα αναφέρει αυτό το σφάλμα μαζί με ένα μήνυμα σχετικά με την έλλειψη πρόσβασης. Και συνήθως μοιάζει με λευκό φύλλο με μήνυμα σφάλματος.

Κατά την ανάπτυξη ιστοσελίδων, κατά κανόνα χρησιμοποιούνται συστήματα διαχείρισης περιεχομένου. Περιέχουν μια σελίδα 404 που υποδεικνύει το in λειτουργικά αρχείαδρόμο προς αυτήν. Συνήθως, μια τέτοια σελίδα περιέχει ένα μήνυμα σχετικά με μια ανύπαρκτη διεύθυνση και έναν σύνδεσμο στον οποίο πρέπει να μεταβείτε αρχική σελίδαιστοσελίδα. Το πρότυπο για τη σελίδα 404 μπορεί να αλλάξει σύμφωνα με τις προτιμήσεις σας, καθώς αυτή είναι μια σελίδα στον ιστότοπό σας που μπορείτε να χρησιμοποιήσετε όπως θέλετε.

Για να δημιουργήσετε ξανά το πρότυπο, θα χρειαστείτε γνώση HTML για τη σήμανση του αρχείου. Σημειώστε ότι σε μεμονωμένες περιπτώσειςτο αρχείο σελίδας μπορεί να έχει διαφορετικό όνομα - err404. html, 404.php. Η διαφορά από το πρότυπο συνδέεται συχνότερα με ευρύτερη λειτουργικότητα, καθώς και με χαρακτηριστικά συστήματος. Για παράδειγμα, στο WordPress, το έγγραφο μπορεί να βρεθεί στον κατάλογο 404.php. Στη γραμμή διευθύνσεων "error 404 page not found" θα εμφανιστεί κάπως έτσι: domain.ru/404/.

Προσαρμογή μιας τυπικής σελίδας 404 στους σκοπούς σας

Για τη βελτίωση της χρηστικότητας (αποδοχής για τους χρήστες) του ιστότοπου, φυσικά, είναι απαραίτητο να φτιάξετε μια σελίδα που θα προσελκύει τον επισκέπτη στον ιστότοπό σας και θα τον βοηθά να συνεχίσει την περιήγησή του. Πράγματα που πρέπει να έχετε υπόψη όταν γράφετε κώδικα:

• Ένα σημαντικό ποσοστό των επισκεπτών που συναντούν ανύπαρκτες σελίδες πηγαίνουν στον ιστότοπο από μηχανές αναζήτησης ή μέσω συνδέσμων σε φόρουμ, ιστότοπους και στα κοινωνικά δίκτυα, δηλαδή από όπου μπορούν να βρεθούν παλιοί σύνδεσμοι προς σελίδες που δεν λειτουργούσαν εδώ και καιρό.
• Οι χρήστες δεν αναζητούν τον ιστότοπό σας, αλλά για πληροφορίες που ενδιαφέρουν κατά λέξη-κλειδί, δηλαδή ελλείψει της επιθυμητής, ο επισκέπτης φεύγει από τον ιστότοπο και σπάνια τον βλέπει.

Δηλαδή, πρέπει να καταλάβετε ότι δεν θα είναι τόσο εύκολο να κρατήσετε τέτοιους επισκέπτες, αλλά είναι εφικτό!

Πάρτε ένα τυπικό πρότυπο διαθέσιμο στο Διαδίκτυο ή φτιάξτε το δικό σας, λαμβάνοντας υπόψη τα παραπάνω χαρακτηριστικά:

1. Εξηγήστε σύντομα στο άτομο τι συνέβη και γιατί δεν βλέπει αυτό που έψαχνε. Δώστε του επιλογές περαιτέρω δράσηγια να σας βοηθήσει να βρείτε αυτό που ψάχνετε.
2. Εμφανίστε μια συμβολοσειρά αναζήτησης στη σελίδα 404, ώστε ο επισκέπτης να μπορεί να βρει αμέσως αυτό που θέλει.
3. Φροντίστε να εμφανίσετε το μενού του ιστότοπού σας εδώ, με τη βοήθεια του οποίου, ένα άτομο μπορεί να καταλάβει πού να πάει.
4. Βεβαιωθείτε ότι η σελίδα προσελκύει τον χρήστη και θέλει να βρει πληροφορίες για τον πόρο σας. Χρησιμοποιήστε πολύχρωμες και ενδιαφέρουσες κείμενο-οπτικές λύσεις.

Για να γίνει ελκυστική για τον χρήστη η σελίδα σφάλματος διακομιστή 404, αρκεί να του προκαλέσει ένα χαμόγελο ή ενδιαφέρον. Επομένως, προσπαθήστε να εργαστείτε για την πρωτοτυπία της ιδέας για ένα τέτοιο τμήμα του πόρου σας.

Επεξεργασία της Σελίδας 404

Μπορείτε να επεξεργαστείτε το αρχείο απευθείας από το σύστημα διαχείρισης περιεχομένου, για αυτό πρέπει να προσθέσετε την επιθυμητή σήμανση και τις εικόνες.
Κατά τη δημιουργία του, καθοδηγηθείτε από το γεγονός ότι οι πληροφορίες πρέπει να ανοίγουν γρήγορα και χωρίς καθυστέρηση. Η σελίδα πρέπει να είναι "ελαφριά" (πιάνει λίγο χώρο), χρήσιμη και να προσφέρει εναλλακτικές λύσεις για την εύρεση ενός ανύπαρκτου εγγράφου.

• μετάβαση στο κύριο?
• λίστα σελίδων αξιολόγησης του ιστότοπου.
• μετάβαση στον χάρτη πόρων·
• ένα κουμπί για την ενημέρωση της διοίκησης για έναν "σπασμένο" σύνδεσμο σε μια συγκεκριμένη πηγή.

Σε διαφορετική περίπτωση ο καλύτερος βοηθόςθα υπάρχει φαντασία, εταιρικά πρότυπα και η αρχική ιδέα του σχεδιαστή.

συμπέρασμα

Η σελίδα 404 που δεν βρέθηκε είναι ένα αρχείο υπηρεσίας που μπορεί να τροποποιηθεί και να συμπληρωθεί για να προσελκύσει περισσότερους επισκέπτες στον ιστότοπο. Αυτό το αρχείο απαιτείται, γιατί διαφορετικά, το πρόγραμμα περιήγησης θα εμφανίσει ένα μήνυμα σφάλματος, μετά το οποίο η πιθανότητα να προσελκύσει ένα άτομο σε εσάς θα είναι μηδενική. Προσπαθήστε να το γεμίσετε με πολύχρωμες εικόνες και ακόμη και ελαφρύ χιούμορ.

Ολα υποδεικνύονται σφάλματαδεν είναι κρίσιμα για το Yandex, ούτως ή άλλως θα ευρετηριάσει τις σελίδες. Αλλά μπορεί να δυσκολέψουν τους πιθανούς επισκέπτες της σελίδας σας να την βρουν ανάμεσα σε εκατομμύρια άλλους.

Το σφάλμα 404 δεν αντιμετωπίζεται σωστά δεν βρέθηκε"
Ελέγξτε τι κάνουν τα σενάρια σας σε περίπτωση σφαλμάτων. Εάν το σενάριο αναφέρει ένα σφάλμα και επιστρέψει έναν κανονικό κωδικό εξόδου 200, τότε το μήνυμα θα ευρετηριαστεί. Εάν το σενάριό σας επιστρέψει τον κωδικό HTTP 404, αυτό το μήνυμα σφάλματος δεν θα καταχωρηθεί στο ευρετήριο.
Αυτό ισχύει και για τα κανονικά έγγραφα. Ορισμένοι διακομιστές έχουν ρυθμιστεί ώστε να στέλνουν έναν κανονικό κωδικό εξόδου 200 σε περίπτωση σφάλματος. Αυτό εμποδίζει το ρομπότ να διαγράψει τον σύνδεσμο προς τη σελίδα στη βάση δεδομένων. Οποιοσδήποτε σύγχρονος διακομιστής ιστού σάς επιτρέπει να τροποποιείτε τυπικά μηνύματα σφάλματος και να τα στέλνετε πίσω με τον σωστό κωδικό σφάλματος.

Ανεπιθύμητη αλληλογραφία ή όχι για να παραπλανηθεί ο χρήστης
Τα ανεπιθύμητα είναι κεφαλίδες και λέξεις-κλειδιά, αρωματισμένο με μεγάλο αριθμό λέξεων από τα πιο δημοφιλή ερωτήματα, μεγάλους πίνακες κειμένων «γραμμένοι» στη σελίδα με χρώμα φόντου ή πολύ μικρά γράμματα, καθώς και πολλά άλλα κόλπα για να προσελκύσουν χρήστες στις σελίδες τους με εξαπάτηση.
Δεν πρέπει να χρησιμοποιούνται για δύο λόγους. Πρώτον, δεν προσθέτει δόξα στον δημιουργό της σελίδας και φυσικά ενοχλεί τους χρήστες. Δεύτερον, το Yandex παρακολουθεί τέτοιες μη φυσιολογικές αλλαγές και μειώνει τη θέση του εγγράφου στη σελίδα αποτελεσμάτων. Επιπλέον, η ανεπιθύμητη αλληλογραφία αυξάνει το μέγεθος του εγγράφου και, κατά συνέπεια, μειώνει την αντίθεση των λέξεων σε αυτό, γεγονός που επηρεάζει επίσης τη θέση του εγγράφου στη λίστα με τα που βρέθηκαν. Σε περιπτώσεις κακόβουλης χρήσης ανεπιθύμητων μηνυμάτων, η διαχείριση του Yandex ενδέχεται να αποκλείσει τέτοιες σελίδες και ιστότοπους από τη βάση δεδομένων.
Σελίδες με χρόνο ανακατεύθυνσης σε άλλες σελίδες (ανακατεύθυνση) ίσο με μηδέν εξαιρούνται επίσης από την ευρετηρίαση.

Λάθος ημερομηνίες
Η αναζήτηση και η ταξινόμηση κατά ημερομηνία λειτουργεί στο Yandex, αλλά στο 20% των περιπτώσεων οι διακομιστές δεν δίνουν τη σωστή ημερομηνία τροποποίησης του αρχείου. Ρύθμιση του διακομιστή σας σωστά. Μην στερείτε από τον χρήστη πρόσθετες πληροφορίες και χρησιμοποιήστε την ευκαιρία να εμφανίσετε σωστά τις σελίδες σας κατά την αναζήτηση κατά ημερομηνία.

Ευρετηρίαση πανομοιότυπων εγγράφων σε διαφορετικές κωδικοποιήσεις
Πολλοί πόροι χάνονται κατά την ευρετηρίαση των ίδιων εγγράφων που εκδίδονται από διακομιστές ιστού σε διαφορετικές κωδικοποιήσεις. Την ίδια στιγμή, οι ρωσικές μηχανές αναζήτησης εξακολουθούν να διατηρούν έγγραφα σε μία από τις κωδικοποιήσεις στις βάσεις δεδομένων τους. Συνιστάται να απενεργοποιήσετε όλες τις κωδικοποιήσεις για ευρετηρίαση, εκτός από μία. Εάν οι κωδικοποιήσεις εκδίδονται από θύρες διακομιστή, τότε είναι απαραίτητο να εκδοθούν διαφορετικά robots.txt σε διαφορετικές θύρες (διακομιστές). Αυτό σημαίνει ότι σε όλες τις θύρες / διακομιστές, εκτός από τον κύριο, θα πρέπει να είναι γραμμένο

Εάν οι κωδικοποιήσεις εκδίδονται, για παράδειγμα, από καταλόγους, τότε πρέπει να δημιουργήσετε ένα αρχείο robots.txt, στο οποίο θα γραφτεί

Απαγόρευση: /alt
απαγόρευση: /mac
αποκλείω: /koi

Ευρετηρίαση του ίδιου ιστότοπου σε διαφορετικούς διακομιστές
Αυτό το πρόβλημα παρουσιάζεται όταν ο διακομιστής έχει καθρέφτες και/ή κωδικοποιήσεις έχουν το πρόθεμα στο όνομα κεντρικού υπολογιστή, π.χ. www.chto-to.ru:
win.chto-to.ru, koi-www.chto-to.ru, wwwmac.chto-to.ruκαι τα λοιπά.
Το ρομπότ δεν είναι σε θέση να προσδιορίσει ανεξάρτητα την "κύρια" διεύθυνση. Το μόνο πράγμα που μπορεί (και κάνει) να κάνει είναι να καθορίσει ότι δύο έγγραφα ταιριάζουν με κωδικοποιήσεις και να ευρετηριάσει μόνο ένα από αυτά.
Έτσι, μπορεί να αποδειχθεί ότι διαφορετικά μέρη του ιστότοπού σας έχουν ευρετηριαστεί σε διαφορετικούς κεντρικούς υπολογιστές. Εάν θέλετε ολόκληρος ο ιστότοπός σας να είναι ευρετηριασμένος σε μία διεύθυνση (host), απενεργοποιήστε την ευρετηρίαση των υπολοίπων ορίζοντας το κατάλληλο αρχείο robots.txt. Μετά από κάποιο χρονικό διάστημα (καθώς το ρομπότ ανιχνεύεται), όλα τα έγγραφα με ευρετήριο θα αναφέρονται σε αυτόν τον κεντρικό υπολογιστή.