Was ist ein Crawler? Und warum sind Webcrawler für Ihre erfolgreiche Homepage so wichtig?

24. Juli 2018

Ist die Rede von Suchmaschinenoptimierung, dann fällt auch irgendwann immer der Begriff „Crawler“. Was es damit genau auf sich hat und wie diese zum Erfolg Ihrer Homepage beitragen, das lesen Sie hier.

Webcrawler - Profi-Homepage
© enzozo/stock.adobe.com (#97578365, Konzept von Webcrawler)

Crawler: Was ist das?

Ein Crawler (engl. für „kriechen“) ist ein Programm, welches buchstäblich durch das Internet „kriecht“ und dabei eine Website nach der anderen auf besonders häufig vorkommende Worte hin prüft. Einem Webcrawler (oder auch Searchbot, Robots oder Spider) fallen also Wörter auf, die besonders oft auf einer Internetpräsenz vorkommen. Diese Wörter verknüpft er mit der URL und speichert diese Verknüpfung (Indexierung) schließlich ab. Suchmaschinen nutzen diese Indexierungen, um Suchbegriffe bestimmten Websites zuzuordnen. Diese Suchbegriffe werden auch Schlüsselbegriffe genannt, da sie für Suchmaschinen eine Art „Schlüssel“ zum Thema einer Homepage bilden.

Schlüsselbegriffe im Internet – wozu?

Es gibt Milliarden an Websites im Internet und das einzige Merkmal, an welchem erkennbar ist, um welche Themen es auf einer Website geht, sind Wörter. Dabei hat jedes Thema seinen ganz spezifischen Wortschatz. Das heißt: informiert eine Website über ein Hotel, dann dürften im Text auch weitere, themenverwandte Begriffe, wie zum Beispiel Einzel- und Doppelzimmer, Übernachtung, Unterkunft, Hotelbetten, Suite, Frühstück, Ferien, Urlaub, Reise, etc. vorkommen. Anhand dieses themenspezifischen Wortschatzes ordnen Suchmaschinen, wie Google, Internetseiten bestimmten Branchen und Schlüsselbegriffen zu. Das heißt, suchen sie bei Google nach „Doppelzimmer“ erhalten Sie stets eine Liste an Hotels. Grundsätzlich gilt:

Jene Websites, welche den gesuchten Begriff am häufigsten und am facettenreichsten zum Inhalt haben, werden auch in den Suchergebnissen ganz oben dargestellt.

Was müssen Sie also in Bezug auf Crawler beachten?

Als Betreiber einer Unternehmenswebsite sind Crawler für Sie von großer Bedeutung, da Ihre Firmenpräsenz nur durch deren Indexierung im Internet auffindbar wird. Aus diesem Grund ist es von großer Bedeutung, dass Sie Ihre Unternehmenshomepage auf die Bedürfnisse von Crawlern optimieren. Dabei besuchen Crawler Ihre Unternehmenshomepage nicht regelmäßig, sondern entsprechend des zugeordneten Crawling-Budgets. Das heißt, jeder einzelnen Website wird ein bestimmtes Crawling-Budget zugeschrieben, welches von folgenden Faktoren abhängig ist:

  • Je schneller sich Ihre Website laden lässt, desto häufiger schaut auch der Webcrawler auf Ihren Websites vorbei.
  • Je umfangreicher die Inhalte Ihrer Homepage sind, desto eher wird der Crawler vorbeischauen, um deren Aktualität zu prüfen.
  • Je mehr Links auf Ihre Homepage verweisen, desto wichtiger erscheint sie dem Crawler und desto häufiger wird er sie aufsuchen.

Kontrolle über Google Search Console

Sie möchten wissen, wann der Webcrawler Ihre Unternehmenshomepage durchsucht hat und welche Unterseiten er neu indexiert hat? Dann nutzen Sie die Crawling-Statistik in Google Search Console. Sie gibt Ihnen Aufschluss über die Tiefe der Indexierung Ihrer Website, sodass Sie hier exakt nachbessern und die Inhalte auf die Indexierung optimieren können. Dabei ist es auch von Vorteil, Unterseiten schon per se vom Crawler-Besuch auszuschließen, die keine inhaltliche Relevanz für Ihre Auffindbarkeit in den Suchmaschinen haben, wie zum Beispiel Impressum, Login- oder Datenschutzseiten. Damit Crawler diese Inhalte nicht lesen und darin oft vorkommende Wörter, wie Datenschutz, etc. unnützerweise indexieren, versehen Sie diese Textdateien einfach mit robots.txt, einem Format, das Crawler daran hindert auf die Inhalte zuzugreifen.

Fazit

Crawler ähneln virtuellen Spürhunden. Sie durchsuchen das Internet und damit auch Ihre Unternehmenshomepage und verknüpfen die wichtigsten Schlüsselbegriffe mit der URL Ihrer Website. Auf diese Indexierungen greifen wiederum Suchmaschinen bei der Generierung von Suchergebnissen zu einem bestimmten Suchbegriff (Schlüsselwort/Keyword) zurück. Damit Ihre Unternehmenswebsite in den Google-Suchergebnissen möglichst gut dargestellt wird, lohnt es sich, diese auf Crawler zu optimieren. Dabei gibt Ihnen Google Search Console ein hilfreiches Kontrollinstrument an die Hand.