Word-Datei & Google Suche

1. Einfache Möglichkeit: Downloads als ZIP anbieten
2. robots.txt: Indexierung bestimmter Objekte von der Indexierung ausschließen:

[FONT=Courier New]User-agent: *
Disallow: /*pdf$
Disallow: /*doc$[/FONT]

In beiden Fällen werden die Inhalte der Dateien nicht mehr indexiert. Falls du aber möchtest, dass die Dateien zwar indexiert werden, aber in den Suchmaschienen nicht direkt zum Download bereit stehen: Da fehlt mir die Idee. :rolleyes:

p.s.: Da die Dateien bereits indexiert sind, kann es natürlich eine Weile dauern, bis sie aus dem Index wieder verschwinden. Möglichkeit 1 verschafft hier unmittelbar Abhilfe. Dafür bekommt der Besucher bis zur Neuindexiertung aber eine Fehlermeldung.

Wenn die Word doc einen Permaklink mit deiner Domain hat, was sie muß, sonst hättest du sie nicht in den Serps gefunden, dann provitiert auch deine Website davon, wenn die jemand anklickt und downloadet. Da solltest du die Vor und Nachteile noch mal genau abwägen.

Du könntest zum Thema htaccess hotlink (google) nachlesen und darüber den sog. HTTP_REFERER prüfen.

Man sollte sich bei solchen Lösungen aber darüber im klaren sein, dass manche "Privacy" AddOns in Browsern oder auch "Sicherheitssoftware" auf PCs ggf. die Möglichkeit bieten, den sog. HTTP_REFERER im Browser zu unterdrücken, so dass solche Besucher dann die Dateien gar nicht herunterladen könnten.

Robots.txt wird von Google weitgehend Ignoriert.
Sollte die Seite von außen von jemanden verlinkt werden/sein ist sie im Index.
Ändere den Ort des Downloads, eine Weiterleitung der alten downloadseite zum Kontakt oder index.
Die Download Datei dann zippen und verschlüsseln.

Zitat von arnego2

Robots.txt wird von Google weitgehend Ignoriert.

Wie kommst Du zu der Erkenntnis? Vlt. auf Grund der letzten Meldungen, dass Noindex nicht mehr seitens Google unterstützt wird? Dieser Eintrag ist ohnehin nicht Standard und für den Anwendungsfall hier könnte man Disallow durchaus verwenden um Google über die robots.txt auszuschließen.
https://developers.google.com/search/docs/ad…obots-faq?hl=de

hallo
https://www.searchenginejournal.com/google-robots-txt-noindex/314961/
Da ist die Info.
Google sagte auch schon einmal das Links indexiert werden wenn sie von außen verlinkt sind.

Das betrifft wie von mir bereits geschrieben nur den Noindex-Wert. Der Disallow-Wert wird von Google respektiert wie man unter deinem Link wie auch in deren o.g. Dokumentation nachlesen kann. Wenn Du irgendwo eine Info hast, dass Google wie Du sagst die robots.txt "weitgehend ignoriert" nur her damit - es entspricht aber nicht der Realität.

Dann sehe dir das mal an.
https://stackoverflow.com/questions/2576…g-my-robots-txt
Ich glaube schon lange nicht mehr das was Google sagt.
Die Jungs machen was sie wollen.

Zitat von threadi

Wenn Du irgendwo eine Info hast, dass Google wie Du sagst die robots.txt "weitgehend ignoriert" nur her damit - es entspricht aber nicht der Realität.

Du musst einen richtigen Affentanz machen, wenn du Seiten aus den Index haben möchtest.
https://support.google.com/webmasters/ans…6#block_content

Vor allem das [size=14]endgültig entfernen wird zur Schikane - da Du dafür Deine geliebte robots nicht verwenden sollst. (extra rot im obigen Dokument)

Googel ist optimiert im Content "nehmen" - da die Erstellung selbst für Google "aufwendig" ist - wurde alles mögliche Entwickelt. Google behält auch gerne die Besucher mit fremden Inhalten auf der eigenen Seite. Zum Beispiel bei Sportereignissen wirst du _immer_ die Ergebnisse auf Googel finden ... Wikipedia wird auch wunderbar für Gewinnmaximierung / Ausbeutung verwendet.

Wenn Google erst einmal den Inhalt hat (hier ein Word Dokument) liefert der Monopolist die Datei aus. Den Besucher auf die Seite zu bringen _interessiert_ nicht. Dies wird auch mit pdfs und den anderen Dateiformaten so gemacht.

Google liefert zum Beispiel auch 3D Modelle aus. https://omr.com/de/google-suche-augmented-reality/ Da hast du aus Urheber _nichts_ rein gar nichts von.

[/SIZE]

Also dass Google mit dem Bereitstellen von Inhalten ein immer größeres Ärgernis darstellt (worüber der allgemeine Nutzer sich nicht beschweren wird, weil es ja so schön praktisch ist), da gebe ich euch Recht. Dennoch funktioniert bei meinen Seiten und meinen Kundenseiten das DISALLOW zuverlässig. Mit DISALLOW schließe ich standardmäßig bspw. das Impressum/Datenschutz aus.

Zitat von arnego2

Robots.txt wird von Google weitgehend Ignoriert.
Sollte die Seite von außen von jemanden verlinkt werden/sein ist sie im Index.

Ja, das sagt Google selber, daß man mit der robots.txt nicht die Indexierung, sondern nur das Crawling steuern kann.
Aber alles was syntaktisch korrekt für den Google-Bot in der robots.txt gesperrt ist, wird vom Google-Bot nicht "angefaßt". So zumindet meine Erfahrung.

Gruß
Ingo

Zitat von Putzlowitsch

Aber alles was syntaktisch korrekt für den Google-Bot in der robots.txt gesperrt ist, wird vom Google-Bot nicht "angefaßt". So zumindet meine Erfahrung.

Deine Erfahrungen in Ehren nur lassen sich die wohl schlecht auf die Masse im Internet übertragen.
Wer seine Dateien nicht im Internet veröffentlicht sehen will darf sie nicht hochladen. Selbst eine nicht verlinkte URL einer Seite die du verlinkt hast und Google bekommt das mit, erscheint irgendwann einmal im Index.

Zitat von arnego2

Selbst eine nicht verlinkte URL einer Seite die du verlinkt hast und Google bekommt das mit, erscheint irgendwann einmal im Index.

Verstehe ich nicht. Ist die Seite nun verlinkt oder nicht?

Oder meinst Du eine URL, die nur als Plain-Text auf einer Seite steht und gar nicht per 'a href=...' eingebunden ist?
Ja, das ist bei Google tatsächlich so, da wird gerne alles, was wie eine URL aussieht, erfaßt. Aber wenn diese URL in der robots.txt ausgeschlossen ist, wir der Google-Bot den Inhalt nicht auslesen, also die URL nicht "anfassen".

Und noch einmal, die robots.txt steuert den Zugriff durch Suchmaschinen-Bots und nicht die Aufnahme in den Suchindex.
Bei der Google-Bildersuche ist das übrigens etwas anders. Da bedeutet der Ausschluß in der robots.txt auch ein Entfernen der Bilder aus dem Bilder-Index.

Gruß
Ingo

Zitat von Putzlowitsch

Verstehe ich nicht. Ist die Seite nun verlinkt oder nicht?

Eine Unterseite deiner Seite die nicht in deiner Seite verlinkt ist kann indexiert werden wenn ein Mensch,oder Bot diese URL in einem Forum, einer webseite, selbst in einem Email verlinkt hat.

Zitat von arnego2

Eine Unterseite deiner Seite die nicht in deiner Seite verlinkt ist kann indexiert werden wenn ein Mensch,oder Bot diese URL in einem Forum, einer webseite, selbst in einem Email verlinkt hat.

Achso, ja, das nennt sich Backlink und ist ein fundamentales Prinzip des Internets. Das WWW basiert ja darauf, das Seiten nicht nur sich selbst, sondern auch andere Seiten verklinken.

Das hat aber alles nichts mit der robots.txt und damit zu tun, ob der Google-Bot diese respektiert oder nicht.

Zitat von arnego2

Deine Erfahrungen in Ehren nur lassen sich die wohl schlecht auf die Masse im Internet übertragen.

Es ist sicher richtig, daß Einzelerfahrungen nicht repräsentativ sind, aber warum sollte der Google-Bot meine Seiten anders behandeln als alle anderen Seiten?

Deine Aussagen und Beispiele weiter oben stellen übrigens auch nur einzelne Beispiele dar und können ebenso wohl kaum "auf die Masse im Internet übertragen" werden.

Gruß
Ingo

Zitat von Putzlowitsch

Deine Aussagen und Beispiele weiter oben stellen übrigens auch nur einzelne Beispiele dar und können ebenso wohl kaum "auf die Masse im Internet übertragen" werden.

Kann sein.
Wer sich wie du darauf ausruht das es bei IHM funktioniert wird dann irgendwann aus den Wolken fallen wenn es nicht mehr funktioniert.