Crawl-Budget

Das Crawl-Budget ist im Grunde der Aufwand, den ein Crawler betreibt, um eine Website zu indexieren. Je schwerer eine Website das Crawling macht, desto negativer ist das Crawl-Budget. Es lässt sich nicht direkt in Zahlen ausdrücken, aber ein positives Crawl-Budget bedeutet, dass der Crawler einer Suchmaschine schnell und einfach alle Seiten der Website indexieren kann.

Crawl-Budget beeinflussen

Das Crawl-Budget lässt sich im Prinzip durch die Maßnahmen der Suchmaschinenoptimierung (SEO) beeinflussen. Dabei greifen zwar nicht alle Aspekte gleichermaßen, aber viele SEO-Maßnahmen wirken sich auch positiv auf das Crawl-Budget einer Website aus.

Besonders wichtig ist der Linkaufbau auf der Website. Um das Crawling so leicht wie möglich zu gestalten, sollten alle Seiten interne Links beinhalten und es sollte auch auf alle Seiten verlinkt werden. So bewegt sich der Crawler geschmeidig durch die einzelnen Unterseiten der Website und hüpft von Link zu Link.

Das gilt aber nur für Seiten, für die sich die Indexierung lohnt. Seiten, deren Indexierung überflüssig ist, sollten mit dem Noindex Tag vom Crawling ausgeschlossen sein. Das bringt den Vorteil, dass der Searchbot diese Seiten ignoriert, schneller mit dem Crawling auf der Website fertig ist und diesen Zeitgewinn sozusagen für das Ranking berücksichtigt.

Zu den überflüssigen Seiten im Rahmen der Indexierung gehören alle allgemeinen Informationen, die der rechtlichen Absicherung dienen. Beispielsweise das Impressum oder die AGB. Die Seiten müssen vorhanden sein, sind aber für Suchmaschinen uninteressant.

Ein absoluter Traum für Suchmaschinen sind Sitemaps. Während menschliche Anwender wenig damit anfangen kann, ist es für eine Suchmaschine viel einfacher, die Struktur und die Verlinkungen auf Websites aus einer Sitemap zu erfassen.

Deshalb sollte eine Sitemap angelegt sein. Und diese Sitemap sollte natürlich auch den Suchmaschinen zur Verfügung stehen.

Mit dem robots.txt kann der Crawler auf gewisse Weise gesteuert werden. Durch Noindex-Befehle bewegt sich der Crawler immer zu den Seiten, die für die Indexierung vorgesehen sind. Wir raten aber davon ab, eigenhändig Veränderungen an der robots.txt vorzunehmen. Die Noindex Tags sind auch problemlos über Plugins einsetzbar.