Viele 404, 500, Sitemap, Indexierungs-Probleme

Zitat von allesroger

mein erster Post hier mit sehr vielen Fragen, wie vielleicht schon am Titel erkennbar ist. Ich bin derzeit etwas verzweifelt. Kurz Vorgeschichte: Mein Wordpress Blog http://www.allesroger.net existiert seit 2005. Vor zwei Monaten begann ich damit, Frühjahrsputz zu machen und alte Artikel zu löschen.

jeep habe ich auch gemacht. Aber vor ca. einem Jahr. Seit August 2022 versuche ich, die Sichtbarkeit zurückzubekommen. Hey, ich hatte zwei Links von Wikipedia und die Beiträge im Blog sind gelöscht ohne Weiterleitung. ;)

Zitat von allesroger

Außerdem passte ich Kategorien und Schlagwörter an und änderte auch die Permalinks in eine besser lesbare Struktur.

evtl. hilft dir bei der Weiterleitung
https://de.wordpress.org/plugins/postna…-auto-redirect/

Zitat von allesroger

Das war natürlich eine Menge und mir war klar, dass das massive Auswirkungen haben wird. In meiner Naivität ging ich aber davon aus, dass Google die Änderungen durch die Sitemap.xml mitgeteilt bekommt und nachzieht.

Wenn du umfangreiche Änderungen an deiner Seite durchführst, kannst du Google die URL der Änderungen mitteilen

Google => Search Console => URL prüfen. im Dialog taucht ein Button auf, neu in den Index aufnehmen oder so ähnlich. hier klicken und ca 2 Minuten einer einer zuguckten.

Zitat von allesroger

Dem war offenbar nicht so. Vor drei Wochen war mein Blog gar nicht bei Google zu finden, also recherchierte ich mit diversen Tools und wurde informiert, dass meine Seite massive 500er Errors auf so gut wie jeder Seite lieferte. Das habe ich mittlerweile in den Griff bekommen. Aber vieles ist noch unschön. Übrigens sind die von Google gemeldeten 500er Error Seiten alle problemlos aufrufbar, was mich weiter verwirrt.

Hier hat Google auch einen Dialog.
Wenn man Fehler beseitigt hat kann man einen Antrag auf neue Prüfung stellen - nach ein paar Tagen bekommt man einen Bericht ob alle Fehler beseitigt wurden.

Die genannten Fehler beseitigen und die Prüfung erneut beantragen.

Zitat von allesroger

Die Frage ist nun, wie kriege ich das alles in den Griff? Wie kriege ich die falsche Indexierung durch Google in den Griff? Wie gehe ich mit den offenbar massiven 404 Fehlern um? Warum leitet Google meine Besucher auf grundsätzlich falsche Seiten? Warum wird das Fehlen des Canonical Tags angemahnt (Ist das wegen HTTP und HTTPS?)

Über Tipps und Hilfestellung wäre ich sehr dankbar.

Ich habe deine Seite mit einem Werkzeug bis zu einer Tiefe von fast 500 URLs gescannt. es war kein 404 Fehler und auch kein 500 Fehler dabei.

Also überall, wo du erneute Überprüfung anklicken kannst, ruhig machen. es dauert aber wirklich ein ppar Tage... Monate...

Zitat von allesroger

Wie kriege ich die falsche Indexierung durch Google in den Griff?

Du kannst unter Google Search Console (Anlage Screenshot) unter 1 URL Prüfung deine Hauptseiten überprüfen lassen, die zurzeit einen Fehler bei Google oder auf die falsche Seite geleitet werden.

Unter "Jede URL in ... gibst du die URL - an.

Wenn die Seite im Index ist - ist es wichtig, dass alle Merkmale grün sind (Anlage Screenshot Punkt 3)

Unter zwei steht "Seite geändert? Indexierung beantragen"

Schritte zur weiteren Eingrenzung:

• Deaktivere bis zur Aufklärung des Problems alle Optimierungsplugins, derzeit mind. aktiv: W3 Total Cache.
• Stelle sicher dass nichts von Optimierungsplugins in der .htaccess zurückbleibt.
  
• Weiterleitungen 404 oder 5xx Fehlern zur Hauptseite sind keine gute Idee, dringend abschalten. Und vor weiteren Tests eigenen Browser Cache leeren, der merkt sich ggf. solche Weiterleitungen.

• RankMath nicht komplett deaktivieren, es sollte neben anderen SEO/Meta Angaben die Sitemap generieren.
• Google XML Sitemap und Add Meta Tags nicht gleichzeitig mit RankMath aktivieren, überschneiden sich in der Funktionalität.
• Poste den Inhalt von [FONT=Courier New].htaccess[/FONT] (mit dem [FONT=Courier New][+][/FONT] Symbol und Code im Forumeditor)

Ergänzende Anmerkung: Autoptimize und W3 Total Cache überschneiden sich in der Funktionalität, nicht gleichzeitig aktivieren oder alternativ mit technischem Sachverstand im Detail einrichten (lassen).

Entferne die mit [FONT=Courier New]# *****[/FONT] markierten Zeilen, ersetze zudem das [FONT=Courier New][NC,OR][/FONT] durch [FONT=Courier New][NC][/FONT] bei der Bot Blockade.

# Bot semalt.com blocken
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.semalt.com/ [NC,OR]
RewriteRule ^(.)$ – [F,L]
# ***** ##all-inkl.com xmlrpc.php DOS-Schutz
RewriteEngine On
RewriteCond %{HTTPS} !=on
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
# ***** <Files xmlrpc.php>
# ***** Order Deny,Allow
# ***** </Files>
php_value memory_limit 128M
# ***** <IfModule mod_rewrite.c>
# ***** RewriteEngine On
# ***** RewriteBase /
# ***** RewriteCond %{REQUEST_FILENAME} !-f
# ***** RewriteCond %{REQUEST_FILENAME} !-d
# ***** RewriteRule . /index.php [L]
# ***** </IfModule>
# BEGIN WordPress
# Die Anweisungen (Zeilen) zwischen „BEGIN WordPress“ und „END WordPress“ sind
# dynamisch generiert und sollten nur über WordPress-Filter geändert werden.
# Alle Änderungen an den Anweisungen zwischen diesen Markierungen werden überschrieben.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>


# END WordPress

Technisches dazu: Der erwähnte [FONT=Courier New]xmlrpc.php[/FONT] Schutz funktioniert nicht, der Code ist unvollständig. Der markierte [FONT=Courier New]IfModule mod_rewrite.c[/FONT] Block ist vermutlich von einer früheren WordPress Version ohne die entspr. Marker oder wurde ohne zu verstehen per Copy&Paste reinkopiert.

Dann in der Google Search Console (oben links Property/Website mit https und www auswählen, falls es mehrere gibt):

1. Indexierung > Sitemaps > Eingereichte Sitemaps > nur sitemap.xml sollte dort in der Liste stehen, entferne alles andere
   
2. Indexierung > Seiten > Warum Seiten nicht indexiert werden > 5xx und 404 > Fehlerbehebung überprüfen anklicken und paar Tage abwarten

Zitat von allesroger

gehe ich aber in "Seiten" erhalte ich noch immer massig Fehlermeldungen, über nicht indexierbare Seiten, Seiten mit 404 und 5xx Fehlern.

unter 404 sollten die Seiten sein, die du gelöscht hast - und sollte richtig sein.

Die 5xx Fehler solltest du genauer prüfen. Sollte über die Google Prüfung einen 500 Fehler feststellen - muss du den Fehler in deinem Blog lösen.

Beiträge in deinem Blog erzeugen allerdings keine 5xx Fehler auch 404 Fehler hat dein Blog

Zitat von allesroger

Das ergibt alles keinen Sinn. Die Sitemap habe ich jetzt schon mehrfach neu eingereicht.

Über Seiten und Indexierung und *Fehlerbeseitigung* geht dies schneller und sinnvoller. Du erhältst dann eine Mail:

Beispiel

8<-
Google hat damit begonnen, Ihre Fehlerbehebung von Seitenindexierung Problemen auf Ihrer Website zu prüfen. Wir suchen insbesondere nach „Gecrawlt – zurzeit nicht indexiert“. Davon sind derzeit 1005 Seiten betroffen.

Die Prüfung kann einige Tage dauern. Sie werden benachrichtigt, sobald der Vorgang abgeschlossen ist. Mithilfe des Links unten können Sie den Fortschritt der Prüfung verfolgen.
8<--

dann etwas später

8<-
Neue Probleme vom Typ „Seitenindexierung“ in den eingereichten URLs für <-mein blog_ > erkannt
19.02.2023
•
Seitenindexierung
An alle relevanten Property-Nutzer gesendet

Die Search Console hat festgestellt, dass Ihre Website von 1 Problem(en) des Typs „Seitenindexierung“ betroffen ist. Auf Ihrer Website wurden die folgenden Probleme gefunden. Wir empfehlen, diese Probleme nach Möglichkeit zu beheben, damit die Google Suche optimal funktioniert und eine hohe Reichweite hat.

Häufigste Probleme

• Duplikat – Google hat eine andere Seite als der Nutzer als kanonische Seite bestimmt

8<--

Auf Basis dieser Informationen kann ich dann meine Seite weiter optimieren (lassen)

Zitat von allesroger

Google scheitert offenbar immer wieder daran. Die Sitemap wird derzeit von dem Plugin RankMath erstellt.

Die Sitemap ist zwar wichtig, aber bei der Fehlerbeseitigung ist der Weg über Indexierung Seiten

Wenn die Überprüfung von Google sieht dies so aus:

Zitat von allesroger

Was mich noch mehr irritiert ist die Tatsache, dass sich der Zustand meiner Seite immer wieder zu verändern scheint. Der Ahrens Test bescheinigte mir noch vor wenigen Tagen eine Blog-Gesundheit von 99%. Heute allerdings wirft fast jede Seite wieder einen 500er Fehler. Und das, obwohl ich die Seiten problemlos aufrufen kann.

Also die Hauptfrage ist: Warum werden Seiten, die aufrufbar sind, mit einer solchen Fehlermeldung angezeigt? Auch bei Google. Weshalb mein Blog nun mittlerweile schon wieder aus dem Index geflogen ist. Kann das an einem Plugin liegen?

wenn ich ein technisches Problem in meinem Blog habe verwende ich zurzeit bevorzugt
https://de.wordpress.org/plugins/decalog/
die Logs lasse ich mir im Browserfenster anzeigen. Zum Beispiel hatte ich viele Angriffsversuche und musste meine Sicherheitseinstellungen ändern.

Hier ein Leitfaden für
[size=18]Debug-Modus in WordPress[/SIZE]
https://kinsta.com/de/blog/debugging-wordpress/

Zitat von allesroger

Und warum benötigt Google so lange für die Indexierung? Ich habe den ganzen Prozess nun schon vor Wochen angestoßen und es tut sich nichts, bzw. es scheint immer schlimmer zu werden.

Ich bekomme Rückmeldungen von Google

Zitat von allesroger

Und noch eine Frage: In RankMath konnte ich einstellen, dass alle Seiten mit 404 oder 5xx Fehlern zur Hauptseite weiter geleiten werden.

Wichtig ist meiner Meinung nach, dass du deinen Blog pflegst. Bei der Pflege werden Seiten und Beiträge gelöscht. Diese gelöschten URLs sollten einen 410 header senden
https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/410

RankMath hat einen 404 Monitor. hier kann man dann entscheiden was man damit machen möchte.

Große E-Commerce Projekte leiten 404 Seiten per se auf die Startseite weiter.

5xx Fehler leitet RankMath in der Regel nicht weiter.

Zitat von allesroger

jetzt bricht mittlerweile sogar die Google Search Console die Überprüfung ab und ,eldet durchgehend nur Fehler auf den Seiten.

verzichte auf W3Total Cache.
verwende besser nur AutoOptimize

verwende php 8.0.x und
php_value memory_limit 128M ist etwas mager...

Zitat von allesroger

Unter 404 stehen in der Tat die gelöschten. Und auch die durch den neuen Permalink geänderten. Aber warum? Durch die neue Sitemap sollten die doch aus dem Index entfernt werden.
.

Der Weg über die Sitemap dauert mir persönlich zu lange.. Keine Ahnung, was du immer mit der Seitemap hast. für mich ist Index now https://www.indexnow.org/ wichtiger. und index.now bei google ist halt umständlicher...

Zitat von allesroger

Und auch die durch den neuen Permalink geänderten.
.

Hier solltest du eine neue Indexierung beantragen. *und nur für diesen Link*

Zitat von allesroger

Oder anders gefragt: Wenn ich einen Crawler einsetze, was genau crawlt der? Die gelöschten Beiträge etc. sind doch nicht mehr vorhanden.

bei einem 410 Header löscht Google die Seite im index.
bei einem 404 Header verliert die Seite Sichtbarkeit und Google verschiebt diese nach hinten ... irgendwann wird die Seite mal gelöscht.
hast du viele 404 Fehlermeldungen hat dies auch schlechte Auswirkungen auf die Sichtbarkeit.

Und nicht immer liefert WordPress auch einen richtigen Header / Fehlerseite bei 404 - bitte Anleitungen selber suchen

Zitat von allesroger

Bezüglich der 5xx Fehler, die ich in meinem Blog lösen sollte: Ja, wenn ich wüsste, wie und wie sie zustanden kommen. Denn die genannten Seiten funktionieren. Ich kann mir die 5xx Fehler nicht erklären.

ich lasse über den Tag decalog laufen. Wenn der Provider ein technisches Problem hat, richte ich auch mal einen Server Monitor ein.

Zitat von allesroger

Hmm, ich bin mir nicht sicher, ob die gelöschten wirklich ein 410 bekommen haben. Und die 404 Seiten sollte ich doch auf die Startseite umleiten? b3317133 sagte dazu etwas anderen, oder habe ich das falsch verstanden?

Was hast du persönlich von einem User, der eine 404 Fehlermeldung erhält? Wie sieht deine 404 Fehlerseite aus? Welchen Mehrwert biete die 404 Seite deinem User? Beachte, dass ich bei 4.xx unterscheide und nur 404 meine. Ja eine Weiterleitung kann sinnvoll sein.

Zitat von allesroger

Ich ging nämlich GENAU davon aus und bin daher in den letzten Wochen sehr erstaunt, dass die gelöschten Beiträge, Tags, Kategorien weiterhin auftauchen und von Google als Fehler angesehen werden. Das war ja meine Ursprungsfrage.

Wenn du etwas dauerhaft löscht, solltest du einen 410 header verwenden.

rezitat
Wichtig ist meiner Meinung nach, dass du deinen Blog pflegst. Bei der Pflege werden Seiten und Beiträge gelöscht. Diese gelöschten URLs sollten einen 410 header senden
https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/410

https://de.wikipedia.org/wiki/HTTP-Stat…3_Client-Fehler

ob dein Blog einen sauberen Header sendet, kann man ja nicht prüfen.

so - schönes Wochenende - ich habe jetzt Schulung ;)

Zitat von allesroger

Sorry, ich möchte nicht undankbar klingen, aber du schreibst, es sollte ein 410 Header verwendet werden. Das ist mir klar.

Es freut mich, dass dir das klar ist. Und Google zeigt dir aber in der Regel *soft 404* an und angeblich werden diese nicht angezeigt. 404 Fehler ist halt nicht dauerhaft gelöscht. Wenn du eine große Webseite hast, ist es wichtig, dass du, wenn du einen Beitrag löscht, einen sauberen 410 Header sendest.

Das Plugin Rank Math warnt ausdrücklich vor dem Löschen und empfiehlt eine Weiterleitung. und rät ausdrücklich von dem Löschen ab.

Zitat von allesroger

Und wie gesagt, ich ging davon aus, dass das beim Löschen in Wordpress geschieht.

Ich habe selten eine WordPress Installation gesehen, die einen 410 Header sendet. Auch 404 Fehlermeldungen sind leider auch sehr selten.
Wie sich der eigene Blog in dieser Situation verhält, muss man halt prüfen und an die Wünsche anpassen.

Ab einer gewissen Größe einer Webseite interessiert Google sich an einer Sitemap nicht sonderlich. Maximal die neuen Seiten werden ausgelesen.

Die Suchmaschinen hinter Index Now haben in der Vorstellung das Problem damals recht gut beschrieben. Hier teilt man den Suchmaschinen die Änderung der Seite / Beitrags mit und muss nicht weiterleiten oder löschen.

Zitat von allesroger

Und ich pflege mein Blog. Genau das habe ich getan, weshalb es zu den Problemen gekommen ist.

und alle rot umkreisten Links leiten auf die Startseite weiter.
Und alles über Page 2 ist auf noindex.

Was soll eine Suchmaschine deiner Meinung nach finden, wenn die Inhalte versteckt werden?

Zitat von allesroger

Also die Aussage, ich solle mein Blog pflegen ist nicht hilfreich.

du musst deinen Blog nicht pflegen. wirklich nicht. Fühl dich einfach nicht angesprochen, wenn ich "man" verwende.