Beiträge von allesroger

Zitat von b3317133

Es bleibt am Ende unklar, was hier jetzt eigentlich das feed Problem ist oder war, evtl. wurden einfach nur Hinweise in der Google Search Console missverstanden bzw. hier "Search Console mahnt das mittlerweile auch an" und "Google Search Console bricht wegen der feed URLs diverse Prüfungen ab" missverständlich kommuniziert.

Ja, das mag sein, dass ich das vielleicht überinterpretiert habe. Für mich war es ein Warnsignal, wenn eine Validierung in der Google Search Console mit "Fehlgeschlagen" beendet wird.

Und nicht falsch verstehen, dass die /feed URLs nicht indexiert wurden, liegt meines Erachtens daran, dass ich die robots.txt angepasst habe. Ich bin mir nur nicht sicher, ob das der richtige Weg dafür ist.

Zitat von b3317133

Das mit dem noindex HTTP Header bräuchtest Du nur, wenn die Search Console Deine feed Links indexieren würde, was sie lt. Deinen zitierten Meldungen aber nicht tut. Also alles bestens.

Okay, weil ich das in der robots.txt unterbunden habe: Disallow: */feed/ Aber ist das wirklich die beste Methode dafür? Und nur damit ich es verstehe und lerne: Wo müsste ich den von dir vorgeschlagenen Code einfügen? Ist das Teil .htacess?

Also ich bin mir nicht sicher. Aber wie es aussieht, wurde das UTF-8 Problem durch ein Widget in der Sidebar verursacht. Das Theme, alle Plugins und Cloudflare konnten ausgeschlossen werden.

Das mit dem noindex HTTP header habe ich noch nicht ganz verstanden. Bzw. wo und wie sollte ich das einfügen?

W3 Total Cache habe ich schon deaktiviert. Auch die meisten der anderen Plugins. Ich dachte, jetzt sei langsam alles in Ordnung und hatte deshalb alles wieder aktiviert.

Das Ändern der Cloudflare Konfiguration geht nur über meinen Provider. Das habe ich gerade angestoßen.

Die Google Search Console bricht wegen der feed URLs diverse Prüfungen ab:
- Durch robots.txt-Datei blockiert (Das war mein Versuch, diese URLs zu verbergen)
- Gecrawlt – zurzeit nicht indexiert (Dort macht es sogar einen Unterschied, ob die URLs die Endung /feed oder /feed/ haben. Beides taucht auf.)

Ja, das ist richtig. Ich habe mein Blog auf Cloudflare "umgebogen". Wenn das nun Probleme verursacht, habe ich keine Ahnung, wo ich das auf Seiten Cloudflare fixen könnte...

Ich bin leider gerade etwas überfragt. Wo kann ich das denn ändern/anpassen? Auf Seiten Cloudflare finde ich dazu nichts. Ist das evtl. auf meinem eigenen Server? Wie komme ich denn an den HTTP Header? Und kann das alles evtl. auch mit meinem URF-8 Problem zusammenhängen?

Ich musste nämlich jetzt auch noch feststellen, dass meine komplette Seite mit dem W3C Validator nicht mehr validiert werden kann: "
Sorry, I am unable to validate this document because on line 1 it contained one or more bytes that I cannot interpret as utf-8 (in other words, the bytes found are not valid values in the specified Character Encoding). Please check both the content of the file and the character encoding indication.

The error was: Modification of a read-only value attempted"

Zitat von r23

Ist dein Umlaute Problem [size=14]f�... nicht wichtiger?[/SIZE]

Absolut! Da bin ich gerade an der Recherche. Auch das ist neu und trat zuvor so noch nicht auf. Ich wollte dazu gerade die
wp-config.php-Datei checken. Oder gibt es noch andere Tipps?

Bezüglich der /feed-"Problematik" - muss ich mich sorgen, dass die Google Search Console diese URLs anmahnt?

Auf meinem Blog http://www.allesroger.net hat seit einiger Zeit jede Seite/jederArtikel nicht nur die normale URL, sondern zusätzlich noch eine URL mit der Endung /feed. Nun habe ich ja bewusst die RSS-Feed Funktion aktiviert, aber ich ging immer davon aus, dass der Feed dann nur z.B. http://www.allesroger.net/feed lautet und nicht jede Unterseite ebenfalls nochmal eine solche URL erhält.

Die Google Search Console mahnt das mittlerweile auch an. Ich hatte bereits alle Plugins deaktiviert, aber das Ergebnis hat sich nicht geändert.

Daher die Frage: Ist das ein normales Verhalten in Wordpress? Kann und sollte ich etwas tun, um diese /feed URLs von den Crawlern zu verbergen, z.B. in der robots.txt?

Zitat von r23

Wenn du etwas dauerhaft löscht, solltest du einen 410 header verwenden.

rezitat
Wichtig ist meiner Meinung nach, dass du deinen Blog pflegst. Bei der Pflege werden Seiten und Beiträge gelöscht. Diese gelöschten URLs sollten einen 410 header senden
https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/410

https://de.wikipedia.org/wiki/HTTP-Statuscode#4xx_–_Client-Fehler

ob dein Blog einen sauberen Header sendet, kann man ja nicht prüfen.

so - schönes Wochenende - ich habe jetzt Schulung ;)

Sorry, ich möchte nicht undankbar klingen, aber du schreibst, es sollte ein 410 Header verwendet werden. Das ist mir klar. Und wie gesagt, ich ging davon aus, dass das beim Löschen in Wordpress geschieht. Und ich pflege mein Blog. Genau das habe ich getan, weshalb es zu den Problemen gekommen ist. Also die Aussage, ich solle mein Blog pflegen ist nicht hilfreich.

Zitat von r23

Der Weg über die Sitemap dauert mir persönlich zu lange.. Keine Ahnung, was du immer mit der Seitemap hast. für mich ist Index now https://www.indexnow.org/ wichtiger. und index.now bei google ist halt umständlicher...

Was ich immer mit der Sitemap habe, ist, dass ich wissen möchte, wer oder was den Inhalt meines Wordpress Blogs definiert. Was genau wird denn gecrawlt, wenn nicht die Sitemap, oder? Und das vorherrschende Problem ist immer noch, dass trotz mehrfachen Indexierens alle bislang gelöschten Seiten noch immer bei Google zu finden sind und zu Fehlern führen und auch die seit Tagen geänderten Permalinks noch nicht angekommen sind. Übrigens auch nicht per IndexNow.

Zitat von r23

bei einem 410 Header löscht Google die Seite im index.
bei einem 404 Header verliert die Seite Sichtbarkeit und Google verschiebt diese nach hinten ... irgendwann wird die Seite mal gelöscht.
hast du viele 404 Fehlermeldungen hat dies auch schlechte Auswirkungen auf die Sichtbarkeit.

Und nicht immer liefert WordPress auch einen richtigen Header / Fehlerseite bei 404 - bitte Anleitungen selber suchen

Hm, interessant. Ich ging nämlich GENAU davon aus und bin daher in den letzten Wochen sehr erstaunt, dass die gelöschten Beiträge, Tags, Kategorien weiterhin auftauchen und von Google als Fehler angesehen werden. Das war ja meine Ursprungsfrage.

Zitat

unter 404 sollten die Seiten sein, die du gelöscht hast - und sollte richtig sein.

Die 5xx Fehler solltest du genauer prüfen. Sollte über die Google Prüfung einen 500 Fehler feststellen - muss du den Fehler in deinem Blog lösen.

Beiträge in deinem Blog erzeugen allerdings keine 5xx Fehler auch 404 Fehler hat dein Blog

Unter 404 stehen in der Tat die gelöschten. Und auch die durch den neuen Permalink geänderten. Aber warum? Durch die neue Sitemap sollten die doch aus dem Index entfernt werden. Oder anders gefragt: Wenn ich einen Crawler einsetze, was genau crawlt der? Die gelöschten Beiträge etc. sind doch nicht mehr vorhanden.

Bezüglich der 5xx Fehler, die ich in meinem Blog lösen sollte: Ja, wenn ich wüsste, wie und wie sie zustanden kommen. Denn die genannten Seiten funktionieren. Ich kann mir die 5xx Fehler nicht erklären.

Zitat von r23

Über Seiten und Indexierung und *Fehlerbeseitigung* geht dies schneller und sinnvoller.

Ja, das habe ich auch genau so gemacht. Danke. Ich werde jetzt wohl wieder abwarten müssen.

Zitat von r23

Wichtig ist meiner Meinung nach, dass du deinen Blog pflegst. Bei der Pflege werden Seiten und Beiträge gelöscht. Diese gelöschten URLs sollten einen 410 header senden
https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/410

RankMath hat einen 404 Monitor. hier kann man dann entscheiden was man damit machen möchte.

Große E-Commerce Projekte leiten 404 Seiten per se auf die Startseite weiter.

Hmm, ich bin mir nicht sicher, ob die gelöschten wirklich ein 410 bekommen haben. Und die 404 Seiten sollte ich doch auf die Startseite umleiten? b3317133 sagte dazu etwas anderen, oder habe ich das falsch verstanden?

Zitat von r23

verzichte auf W3Total Cache.
verwende besser nur AutoOptimize

verwende php 8.0.x und
php_value memory_limit 128M ist etwas mager...

Ok. W3TotalCache habe ich genutzt, weil ich den persistenten Cache nutzen wollte. PHP 8.0 nutze ich und das Memory Limit hab oich mal verdoppelt.

Dake für die Tipps.

Super. Danke. Ich habe alles umgesetzt und werde nun abwarten, was sich verändert.

Alles klar. Hab ich gemacht. Und in RankMath die Weiterleitungen deaktiviert.

Hier der Inhalt der .htaccess

# Bot semalt.com blocken
RewriteEngine on
RewriteCond %{HTTP_REFERER} ^http://.semalt.com/ [NC,OR]
RewriteRule ^(.)$ – [F,L]
##all-inkl.com xmlrpc.php DOS-Schutz
RewriteEngine On
RewriteCond %{HTTPS} !=on
RewriteRule ^ https://%{HTTP_HOST}%{REQUEST_URI} [L,R=301]
<Files xmlrpc.php>
Order Deny,Allow
</Files>
php_value memory_limit 128M
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
# BEGIN WordPress
# Die Anweisungen (Zeilen) zwischen „BEGIN WordPress“ und „END WordPress“ sind
# dynamisch generiert und sollten nur über WordPress-Filter geändert werden.
# Alle Änderungen an den Anweisungen zwischen diesen Markierungen werden überschrieben.
<IfModule mod_rewrite.c>
RewriteEngine On
RewriteRule .* - [E=HTTP_AUTHORIZATION:%{HTTP:Authorization}]
RewriteBase /
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>


# END WordPress

Noch ein Detail warum ich glaube, dass in meinem Blog etwas schief läuft. Der Broken Link Checker (Plugin) zeigt beispielsweise ber Verlinkung auf meinen Instagram Account einen 429 Fehler an. Doch auch dieser Link funktioniert völlig problemlos.

Alles klar. AutoOptimize und W3Total Cache deaktiviert. Sollte RankMath auch deaktiviert werden? Wenn ja, wie und wo wird dann eigentlich die Sitemap generiert? Das Plugin Google XML Sitemap ist ebenfalls deaktiviert. Und wie sieht es mit den Meta Tags aus? Das hatte ich bislang über das Plugin "Add Meta Tags" gemacht. Derzeit ebenfalls deaktiviert.

Können Plugins einfach in die .htaccess schreiben? Wie würde ich erkennen, dass da etwas von diesen Plugins reingeschrieben wurde? (Ich bin mit der Syntax nicht ganz so firm)

Die Weiterleitungen habe ich deaktiviert, bzw. das komplette RankMath Plugin deaktiviert.

Hallo. Zunächst einmal Danke für die schnelle und ausführliche Antwort.

Die meisten der vorgeschlagenen Schritte habe ich bereits unternommen. Die Google Search Console zeigt an, dass mein Blog indexiert ist, gehe ich aber in "Seiten" erhalte ich noch immer massig Fehlermeldungen, über nicht indexierbare Seiten, Seiten mit 404 und 5xx Fehlern. Das ergibt alles keinen Sinn. Die Sitemap habe ich jetzt schon mehrfach neu eingereicht. Google scheitert offenbar immer wieder daran. Die Sitemap wird derzeit von dem Plugin RankMath erstellt.

Was mich noch mehr irritiert ist die Tatsache, dass sich der Zustand meiner Seite immer wieder zu verändern scheint. Der Ahrens Test bescheinigte mir noch vor wenigen Tagen eine Blog-Gesundheit von 99%. Heute allerdings wirft fast jede Seite wieder einen 500er Fehler. Und das, obwohl ich die Seiten problemlos aufrufen kann.

Also die Hauptfrage ist: Warum werden Seiten, die aufrufbar sind, mit einer solchen Fehlermeldung angezeigt? Auch bei Google. Weshalb mein Blog nun mittlerweile schon wieder aus dem Index geflogen ist. Kann das an einem Plugin liegen?

Und warum benötigt Google so lange für die Indexierung? Ich habe den ganzen Prozess nun schon vor Wochen angestoßen und es tut sich nichts, bzw. es scheint immer schlimmer zu werden.

Und noch eine Frage: In RankMath konnte ich einstellen, dass alle Seiten mit 404 oder 5xx Fehlern zur Hauptseite weiter geleiten werden. Ist das eine gute Idee? Zunächst schien das zu helfen, jetzt bricht mittlerweile sogar die Google Search Console die Überprüfung ab und ,eldet durchgehend nur Fehler auf den Seiten.

Ich bin langsam verzweifelt.

Hallo zusammen,

mein erster Post hier mit sehr vielen Fragen, wie vielleicht schon am Titel erkennbar ist. Ich bin derzeit etwas verzweifelt. Kurz Vorgeschichte: Mein Wordpress Blog http://www.allesroger.net existiert seit 2005. Vor zwei Monaten begann ich damit, Frühjahrsputz zu machen und alte Artikel zu löschen. Außerdem passte ich Kategorien und Schlagwörter an und änderte auch die Permalinks in eine besser lesbare Struktur. Das war natürlich eine Menge und mir war klar, dass das massive Auswirkungen haben wird. In meiner Naivität ging ich aber davon aus, dass Google die Änderungen durch die Sitemap.xml mitgeteilt bekommt und nachzieht.

Dem war offenbar nicht so. Vor drei Wochen war mein Blog gar nicht bei Google zu finden, also recherchierte ich mit diversen Tools und wurde informiert, dass meine Seite massive 500er Errors auf so gut wie jeder Seite lieferte. Das habe ich mittlerweile in den Griff bekommen. Aber vieles ist noch unschön. Übrigens sind die von Google gemeldeten 500er Error Seiten alle problemlos ausrufbar, was mich weiter verwirrt.

Die Google Search Console listet noch immer massive Fehler mit 5xx und 404 Errors auf, beanstandet Seiten, die nicht canonical sind, beanstandet falsche Weiterleitungen, etc. Auch andere Test-Tools wie Seobility oder ahrefs listen sehr viele Probleme auf.

Wordpress ist auf der aktuellsten Version, ebenso PHP. Ich nutze nicht viele Plugins, unter anderem Anti Spam Bee, Broken Link Checker, Auto Optimize und W3 Total Cache. Letzteres habe ich jetzt erst einmal deaktiviert. Auch habe ich mich bewusst von Google XML-Sitempas verabschiedet, weil ich befürchte, dass hier etwas schief läuft. Wenn ich nämlich derzeit Seiten meines Blogs bei Google suche, werden mir falsche Verknüpfungen angeboten, die ins Leere laufen. Auch das manuelle Einreichen der Sitemap.xml in der Google Search Console hat noch nichts bewirkt. (Zudem finde ich es eigenartig, dass die Sitemap.xml gar nicht auf meinem Webspace liegt). Derzeit probiere ich Yoast SEO.

Die Frage ist nun, wie kriege ich das alles in den Griff? Wie kriege ich die falsche Indexierung durch Google in den Griff? Wie gehe ich mit den offenbar massiven 404 Fehlern um? Warum leitet Google meine Besucher auf grundsätzlich falsche Seiten? Warum wird das Fehlen des Canonical Tags angemahnt (Ist das wegen HTTP und HTTPS?)

Über Tipps und Hilfestellung wäre ich sehr dankbar.