Robots Meta Tag: Definitiver Leitfaden für Entwickler

Offenlegung: Ihr Support hilft dabei, die Website am Laufen zu halten! Für einige der auf dieser Seite empfohlenen Dienstleistungen erhalten wir eine Empfehlungsgebühr.


Das Meta-Tag “Roboter” enthält Anweisungen für Webcrawler (Roboter). Es ist eine Alternative zu einer robots.txt-Datei und wird seitenweise implementiert, indem dem Kopf eines HTML-Dokuments ein Meta-Tag hinzugefügt wird.

Sie finden das in HTML5 erwähnte Roboter-Meta-Tag nicht, da es formal nicht Teil der Spezifikation ist. Das Tag wurde während eines W3C-Workshops im Jahr 1996 vorgeschlagen und seine Verwendung wurde im Dezember 1999 in Anhang B von HTML 4.01 erläutert. Das Meta-Robots-Tag wurde jedoch nie offiziell zur HTML-Spezifikation hinzugefügt.

Das bedeutet nicht, dass Suchmaschinen sich nicht für das Tag interessieren. Während skrupellose Webcrawler das Tag ignorieren können (und dies auch tun), finden Suchmaschinen-Webcrawler im Meta-Tag des Roboters Anweisungen zur Behandlung des Inhalts einer Webseite.

Grundlegende Syntax

Die grundlegende Syntax des Meta-Robots-Tags ist recht einfach:

Fügen Sie zur Verwendung das Tag zum head-Element jeder Webseite hinzu, die Anweisungen für Webcrawler bereitstellen muss. Im Gegensatz zur robots.txt-Datei, die Anweisungen für die gesamte Website enthält, gilt das Robots-Meta-Tag nur für die Seite, auf der es angezeigt wird.

Robots.txt vs Robots Meta Tag

An der Oberfläche scheint robots.txt dem Robots-Meta-Tag strategisch überlegen zu sein, da robots.txt die Webcrawler-Anweisungen für eine gesamte Site an einem Ort aufbewahrt.

Leider interessieren sich Suchmaschinen nicht für die Bequemlichkeit. Wenn es darum geht, die Indizierung von URLs zu verhindern, ist die Verwendung von disallow in robots.txt nicht so effektiv wie die Verwendung von noindex in einem Robots-Meta-Tag.

Glauben Sie uns nicht? Dann glauben SEO-Experten Moz. Sie haben einen überzeugenden Fall für die Auswahl des Roboter-Meta-Tags gegenüber robots.txt vorgestellt.

Robotern sagen, was zu tun ist

Im Syntaxbeispiel haben wir verwendet "Anweisungen finden Sie hier" als Platzhalter. Es gibt verschiedene Werte, die an ihrer Stelle verwendet werden können.

Index und Noindex

Sie können einem Webcrawler mitteilen, ob die Seite indiziert werden soll oder nicht.



Standardmäßig gehen Webcrawler davon aus, dass sie grünes Licht haben, um jede Webseite zu indizieren. Wenn Sie also eine Seite indizieren möchten, lassen Sie einfach das Meta-Tag des Roboters weg. Wenn Sie jedoch keine indizierte Seite möchten, fügen Sie das Tag mit einem hinzu noindex Wert.

Folgen Sie und Nofollow

Standardmäßig folgen Webcrawler jedem Link auf einer Webseite und indizieren diese verknüpften Seiten (es sei denn, sie verfügen über Anweisungen, die die Indizierung verhindern). Fügen Sie also ein Roboter-Meta-Tag mit dem hinzu Folgen Wert ist optional. Verwenden Sie jedoch nicht folgen Wenn Sie nicht möchten, dass Webcrawler den Links auf einer Seite folgen.








Anweisungen können sich auch gegenseitig huckepack nehmen. Wenn Sie also einer Webseite sowohl nofollow als auch noindex hinzufügen möchten, können Sie beide gleichzeitig wie folgt hinzufügen:

Alles oder nichts

Die folgenden Kombinationen sind üblich:

  • indexieren und folgen
  • noindex und nofollow

Sie können die Kurzanweisung all oder none verwenden, um dies zu erreichen.

Es gibt zusätzliche Schlüsselwörter, mit denen Sie gezielte Anweisungen bereitstellen können. Es ist jedoch anzumerken, dass nicht alle Suchmaschinen alle diese Befehle beachten.

  • content = "noimageindex": Weist Webcrawler an, keine Bilder zu indizieren, die auf einer Webseite angezeigt werden. Wenn diese Bilder jedoch auf anderen Webseiten angezeigt werden, werden sie indiziert. Um die Indizierung von Bildern zu verhindern, fügen Sie dem mit der Bilddatei gelieferten HTTP-Header Roboteranweisungen hinzu.
  • content = "noarchive": Weist Webcrawler an, die Webseite zu indizieren, ohne eine vollständige Kopie der Webseite zwischenzuspeichern.
  • content = "nosnippet": Weist Suchmaschinen an, kein Snippet anzuzeigen, wenn die Seite in den Suchergebnissen angezeigt wird, und verhindert außerdem das Zwischenspeichern der Seite.
  • content = "noodp": weist Suchmaschinen an, die Seitenbeschreibung von ODP nicht als Snippet in Suchergebnissen zu verwenden.
  • content = "noydir": weist Yahoo an, die Seitenbeschreibung aus dem Yahoo-Verzeichnis nicht als Snippet in den Suchergebnissen zu verwenden.
  • content = "notranslate": weist Google an, die Übersetzung der Webseite nicht anzubieten.
  • content = "nicht verfügbar_nach: [Datum / Uhrzeit von RFC 850]": weist Google an, dass die Seite nach einem bestimmten Datum und einer bestimmten Uhrzeit nicht mehr in Suchmaschinenergebnissen angezeigt werden soll.

Ressourcen

Die meisten Roboter-Meta-Tags sind ziemlich einfach. Wenn Sie jedoch komplexe Anweisungen bereitstellen möchten, finden Sie hier einige Ressourcen, mit denen Sie mehr über diese Tags erfahren können.

  • Robots.txt Ultimate Guide: Erfahren Sie, wie Sie eine robots.txt-Datei als Alternative zum Meta-Tag von Robots verwenden.
  • Der ultimative Leitfaden zum Meta Robots-Tag: Dieser Beitrag enthält eine Tabelle, in der die Befehle aufgeführt sind, auf die verschiedene Suchmaschinenroboter achten.
  • Robots Meta Tag und X-Robots: Erfahren Sie, wie Googlebot mit Roboteranweisungen umgeht.
  • Über die Roboter Tag: Eine offizielle Übersicht über das Meta-Tag des Roboters.

Hinzufügen von Roboter-Meta-Tags zu Ihrer Website

Wenn Sie Ihrer Website Roboter-Meta-Tags hinzufügen möchten, können Sie die in diesem Artikel vorgestellten Tags kopieren und in den HTML-Code Ihrer Website einfügen. Darüber hinaus gibt es Tools, mit denen Sie benutzerdefinierte Anweisungen generieren und Webseiten, die von Content-Management-Systemen generiert werden, automatisch Tags hinzufügen können.

  • Erweiterter Meta-Tag-Generator und Vorschau der Google-Suchergebnisse: Erstellen Sie mit diesem Tool Meta-Tags, einschließlich Roboter-Tags, und zeigen Sie eine Vorschau an, wie Google Ihre Website mit diesen Regeln anzeigt.
  • Free Meta Tag Generator: Erstellen Sie Meta-Tags, einschließlich Roboter-Tags, in einfachem HTML. Dieses Tool erstellt ein Extra name = "generator" Tag, den Sie wahrscheinlich werden nicht Möchte benutzen.
  • WordPress-Plugin, Meta-Tag-Manager: Fügen Sie einzelnen Seiten ganz einfach eine Vielzahl von Meta-Tags hinzu.
  • WordPress-Plugin, GA-Meta-Tags: Mit diesem einfachen Plugin können Sie ganz einfach Meta-Tags auf der gesamten Website festlegen.
  • Joomla Plugin, Easy Frontend SEO: Einfache Steuerung von Roboter-Meta-Tags.
  • Joomla Plugin, Tag Meta: eine einfache Meta-Tag-Erweiterung.
  • Joomla Plugin, Meta Robots: Erstellen Sie Tags mit einer Optionsfeldschnittstelle.
  • Drupal-Modul, Benutzerdefiniertes Meta: Erstellen Sie eine beliebige Art von Meta-Tag mit einem einfachen Formular.
  • Drupal-Modul, Meta-Tags Knotentyp: Fügen Sie Meta-Tags auf Knotenbasis hinzu.

Bitte kontrollieren Sie Ihre Roboter

Wenn Sie steuern möchten, wie Webcrawler Ihre Website indizieren, ist das Robots-Meta-Tag ein guter Mechanismus. Es ist leicht zu verstehen, leicht zu implementieren und kann einen starken Einfluss darauf haben, wie Suchmaschinen Ihre Website indizieren.

Verwenden Sie es gut und das Roboter-Meta-Tag stellt sicher, dass Suchmaschinen Ihre Website so behandeln, wie Sie es auch möchten. Verwenden Sie es schlecht und Suchmaschinen können alles über Sie vergessen.

Stellen Sie einfach sicher, dass Sie es mit Vorsicht verwenden.


Weiterführende Literatur und Ressourcen

Wir haben weitere Anleitungen, Tutorials und Infografiken zum Thema Codierung und Website-Entwicklung:

  • Erstellen von gutem HTML: Dies ist eine solide Einführung in das Schreiben von wohlgeformtem HTML und die Verwendung von HTML-Validierungssoftware.
  • CSS3 – Einführung, Anleitungen und Ressourcen: Dies ist ein großartiger Ort, um das Layout von Webseiten zu erlernen.
  • ASP.NET-Ressourcen: In diesem Handbuch lernen Sie das .NET-Framework von Microsoft zum Erstellen von Webseiten kennen.

HTML für Anfänger – Ultimativer Leitfaden

Wenn Sie wirklich HTML lernen möchten, haben wir einen buchlangen Artikel erstellt: HTML für Anfänger – Ultimativer Leitfaden. Und es ist wirklich der ultimative Leitfaden. es wird dich von Anfang an zur Meisterschaft führen.

HTML für Anfänger - Ultimativer Leitfaden HTML für Anfänger – Ultimativer Leitfaden

>

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me
    Adblock
    detector