 Sitemap als Crawlerhilfe
Google, bitte besuche meine Unterseiten
Der Webcrawler einer Suchmaschine wird den Inhalt gefundener Webseiten mittels Indexierung auswerten und speichern, um ein späteres Suchen in den so gesammelten Daten zu ermöglichen. Von der Einstiegsseite einer Web-Präsenz möchte er den Hyperlinks folgen, um Unterseiten zu finden.
Wenn er das nicht tut, schicken sie ihm bitte keine bösen Emails. Besonders dann nicht, wenn sie einen Frameset verwenden.
Die Sitemap kann als Crawler-Hilfe für Suchmaschinen eingesetzt werden. Das ist überall dort zu empfehlen, wo die Start- oder Einstiegsseite eine Framesetdatei ist.
| |
Definition: Ein Webcrawler (auch Spider oder Robot, kurz Bot) ist ein Computerprogramm, das automatisch das World Wide Web durchsucht und Webseiten analysiert. Wie beim Surfen gelangt ein Webcrawler über Hyperlinks von einer Webseite über die Link-URL zur nächsten Seite.
Dabei werden alle aufgefundenen Adressen gespeichert und der Reihe nach besucht. Die neu gefundenen Hyperlinks werden dann zur Liste der URLs hinzugefügt. Auf diese Weise können (theoretisch) alle erreichbaren Seiten der Webseite gefunden werden. Crawler sind also Mechanismen, die das Internet selbständig auf neue Informationsangebote durchforsten.
Framesets
Ein Crawler sieht eine Framesetdatei als eine leere Seite, wenn er nicht in der Lage ist, die dort notierten Frameinhalte zu finden. Schließlich gibt es zwar (hoffentlich) Meta-Angaben zum Seiteninhalt im Head-Bereich, weiter unten aber keine Inhalte, weil ein echter BODY-Bereich fehlt. Fazit für den Crawler: Titelangaben, Beschreibung und Keywords stimmen nicht mit dem Seiteninhalt überein.
Da auf der Indexseite einer solchen "Fenstersammlung" keine Links zu finden sind, werden nur die Daten aus den MetaTags und die des Noframes-Bereiches extrahiert. Das kann dazu führen, dass der Roboter davon ausgeht, dass die Seite lediglich aus einem HTML-Dokument besteht.
Schön wäre es, würde er gleich in der Framesetdatei sämtliche Links auf die Unterseiten finden. Dann tun sie ihm doch den Gefallen! Tragen sie im NoFrame-Bereich sämtliche Links zu ihren Unterseiten ein. Zugegeben, das ist eine Menge Arbeit. Daher hier mein Vorschlag zur Arbeitserleichterung:
Erleichterung
|
Das Eintragen jedes einzelnen Links kann man sich ersparen, wenn man im Noframe-Bereich der Framesetdatei einen Verweis auf eine vorhandene, navigationsfähige Sitemap einfügt. Schließlich gibt es dort einen Link auf jede Unterseite. Eine Suchmaschine kann den Links folgen und auch ihre Unterseiten finden.
| |
Falls sie also für ihre Seite noch keine Sitemap erstellt haben, muss erst einmal eine navigationsfähige Sitemap her, das wollte sie ohnehin schon längst einmal erledigen. Danach sind sie noch einen Arbeitsschritt von einer Robot-freundlichen Framesetseite entfernt.
 In den Meta-Tags geben Sie die Anweisung den Links zu folgen.
Im Noframes-Bereich bauen sie einen Link auf die Sitemap ein.
 Im Head der Frameset-Datei:
<head>
<meta name="robots" CONTENT="INDEX,FOLLOW">
...
</head>
Tragen sie im META-Tag für "Robots" nichts ein, ist das auch OK. Es darf aber keinesfalls "NoFollow" notiert werden, wenn sie eine Indizierung durch Suchmaschinen wünschen.
Innerhalb der Frameset-Definition:
<frameset cols="30%,70%">
<frame src="navigation.htm">
<frame src="startseite.htm">
<noframes>
<body>
<a href="sitemap.htm">zur Sitemap</a>
</body>
</noframes>
</frameset>
Im Noframe-Bereich (gelb) tragen sie einen Link auf ihre Sitemap ein.
Da der Noframe-Bereich nur dann angezeigt wird, wenn der Browser keine Framesets kennt (und das geschieht wirklich nur dann, wenn ihre Seitenbesucher eine Browser-Version von Anno Tobak verwenden), bleibt dieser Eintrag normalerweise verborgen.
Beispiele einer Sitemap
 Sitemap 01
Sitemap 02
|
HOME
ZURÜCK