Das Crawling-Tool Screaming Frog ist genau das richtige Tool, wenn man eine Webseite technisch durchleuchten möchte. Auch die Anwendung von Screaming Frog bereitet nach ein bisschen Übung keine Probleme. Hier erklären wir Euch die ersten Schritte und gehen dabei besonders auf die Screaming Frog Einstellungen ein, die eine individuelle Konfiguration des Crawlings ermöglichen.
Das sind die wichtigsten Funktionen von Screaming Frog
In unserem Screaming Frog Ratgeber haben wir Euch bereits einige Funktionen des Tools vorgestellt. Hier findet Ihr die wichtigsten Einstellungen des Tools kurz und knapp zusammengefasst:
- File: In der Navigation werdet Ihr zuerst den Menüpunkt „File“ sehen. Dieser bietet verschiedene Möglichkeiten: Ihr könnt Crawls abspeichern, öffnen oder unter dem Reiter „Recent Crawls“, vergangene Crawls wieder aufrufen. Wenn Ihr die geänderten Einstellungen als Standard abspeichern wollt, genügt ein Klick auf die Option „Default Config“.
- Configuration: Hier könnt Ihr die Crawls bearbeiten. Es ist sozusagen der Reiter, der Euch zu allen anderen Funktionen führt, die das Verhalten des Spiders steuert.
- Mode: Unter der Option „Mode“ könnt Ihr die verschiedenen Crawl-Modi wählen. Entscheidet Euch entweder für den Spider-Modus, bei dem Ihr die URL per Hand eingebt und sich der Crawler wie eine Spinne im Netz von Link zu Link hangelt und somit viele passende Seiten erfasst. Oder wählt „List“ und gebt gezielt eine Liste mit zu analysierenden URLs
- Include& Exclude: Mit dieser Funktion kann bestimmt werden, welche URL’s beim Crawling ein („Include“) bzw. ausgeschlossen („Exclude“) werden.
Dank den Regular Expressions könnt Ihr ebenfalls spezifische Ausdrücke suchen. Gebt Ihr zum Beispiel *Sessel und Sofas* ein, werden alle Seiten, die den Begriff enthalten, gecrawlt. Die Option eigene Filter zu erstellen, die sich eben genau diese Funktionen merken, kann helfen wenn Ihr auf besonders großen Websites unterwegs seid. So wird der Crawl direkt fokussierter und passt zu euren persönlichen Wünschen.
Das Gegenstück bildet der Exclude-Filter, es können einzelne Seiten als auch Seiten mit bestimmten Suchbegriffen ausgeschlossen werden.
- Custom Search & Extraction: Mit Custom Search & Extraction können spezifische URLS gefiltert oder durchsucht werden.
Mit Custom Search kann innerhalb von Quellcodes nach bestimmten Inhalten gesucht werden. Dank eines speziellen Filters können Seiten angezeigt werden, die einen Inhalt im Quellcode enthalten oder welche die keinen Inhalt bereitstellen. Mit dieser Funktion könnt Ihr beispielsweise überprüfen, ob ein Online Shop bereits für jedes seiner Produkte über einen Kategorietext verfügt.
Wenn Ihr nur gesonderte Bereiche einer Website auslesen wollt, hilft Euch die Custom Extraction. Es ist zum Beispiel möglich, dass in einer zusätzlichen Tabelle alle Kommentare Eures Blogs angezeigt werden.
- API Acess: Seit einiger Zeit ist es mit diesem Feature möglich Google Analytics und die Google Search Console mit Screaming Frog zu verbinden. Jegliche Daten, die Euch wichtig sind könnt Ihr aus den Google-Angeboten filtern. Die Besucherdaten können zum Beispiel helfen, schneller Zusammenhänge zu verstehen.
- Bulk Export: Diese Screaming Frog Einstellung ermöglicht Euch Daten der gecrawlten Web-Adresse zu exportieren. Viele Nutzer brauchen diese Funktion um bestimmte Elemente in Excel zu bringen und sie dort weiter zu verarbeiten.
Teil 1) Screaming Frog: Ratgeber