Ergebnis 1 bis 10 von 10
  1. #1
    Kunde
    Registriert seit
    09.05.2012
    Beiträge
    17

    Irre Requests von Bingbot mit 404 beantworten

    Ich bekomme vom Bingbot laufend Anfragen wie diese:

    /index.php/ordner1/ordner2/ordner3/irgendeinedatei.php

    Er hängt an die Startseite index.php wild die Namen von gleichrangigen Ordnern an, die er auf meiner Webseite auf der obersten Ebene findet. Ich möchte ihn mit 404 auf meine Fehlerseite /error/error-404.php schicken, ohne dass sich die Fehlerseite von DF dazwischenschaltet. Wenn man den oberen Link aufruft, erscheint index.php mit 200 an entstelltem Platz. Alle relativen Links darin funktionieren natürlich nicht. Den Weg zu meiner eigenen Fehlerseite findet der Server auch nicht.

    Leidet funktionieren alle Ansätze, die man sich so ergoogeln kann, bei DF wie immer nicht. Ich hätte gern, dass man auf meine 404-Seite gerät, wenn die URL nicht existiert, ohne dass mit DF dazwischenfunkt.

  2. #2
    Forenexperte² (Reseller) Avatar von Enigma
    Registriert seit
    20.07.2001
    Beiträge
    18.096

    AW: Irre Requests von Bingbot mit 404 beantworten

    Zitat Zitat von Chialin Beitrag anzeigen
    Leidet funktionieren alle Ansätze, die man sich so ergoogeln kann, bei DF wie immer nicht. Ich hätte gern, dass man auf meine 404-Seite gerät, wenn die URL nicht existiert, ohne dass mit DF dazwischenfunkt.
    Was hast Du denn unternommen, damit das funktioniert? Insbesondere: Wie sieht Deine .htaccess-Datei aus (oder gibt es im Pfad evtl. mehrere)? DF sabotiert nicht einfach Fehlerseiten...

    Vermutlich werden nicht real existierende Verzeichnisse und Dateien zur index.php weitergeleitet, die in diesem Fall dann nicht korrekt damit umgeht.

    Gruß,
    Jan
    Two hours of trial and error can save ten minutes of manual reading.

  3. #3
    Kunde
    Registriert seit
    09.05.2012
    Beiträge
    17

    AW: Irre Requests von Bingbot mit 404 beantworten

    Danke für die Antwort.

    Code:
    ErrorDocument 404 /error/error-404.php
    DirectoryIndex index.php
    Options -Indexes
    Options -MultiViews
    Die Fehlerseite /error/error-404.php funktioniert, wenn der Pfad erst im letzten Glied mit einem Dateisuffix endet (der Normalfall). Wenn aber am Anfang oder mittendrin eine Dateiendung steht, gelingt es mir nicht, auf die Fehlerseite umzuleiten. Es kommt dann entweder die eingebaute Datei oder die Defaultfehlerseite.

  4. #4
    Forenexperte Avatar von masterframe
    Registriert seit
    16.08.2001
    Beiträge
    8.106

    AW: Irre Requests von Bingbot mit 404 beantworten

    Du kannst die 404er Seite auch absolut referenzieren.

    http://domain.tld/error/error-404.php

    Dann sollte es immer funktionieren.

    Gruß,
    masterframe

    Alle Rechtschreibfehler hat die Autokorrektur verbrochen.
    Alle Postings erfolgen freiwillig und nach bestem Gewissen. Haftung ausgeschlossen. Keine Rechtsberatung. Beschwerden bitte über unser Kontaktformular. WHOAMI

  5. #5
    Forenexperte² (Reseller) Avatar von Enigma
    Registriert seit
    20.07.2001
    Beiträge
    18.096

    AW: Irre Requests von Bingbot mit 404 beantworten

    Ist das die gesamte .htaccess? Es wäre gut, zu wissen, welche Umleitungen durch die .htaccess vorgenommen werden. Insbesondere Passagen wie

    Code:
    RewriteCond %{REQUEST_FILENAME} !-f
    RewriteCond %{REQUEST_FILENAME} !-d
    RewriteCond %{REQUEST_FILENAME} !-l
    RewriteRule ^.*$ index.php [L]
    ändern einiges.

    Zitat Zitat von masterframe Beitrag anzeigen
    Du kannst die 404er Seite auch absolut referenzieren.

    http://domain.tld/error/error-404.php

    Dann sollte es immer funktionieren.
    In dem o. g. Fall nicht - dann wäre die index.php für die Erkennung von 404-Fehlern zuständig.

    Gruß,
    Jan
    Two hours of trial and error can save ten minutes of manual reading.

  6. #6
    Kunde
    Registriert seit
    09.05.2012
    Beiträge
    17

    AW: Irre Requests von Bingbot mit 404 beantworten

    Zitat Zitat von Enigma Beitrag anzeigen
    Ist das die gesamte .htaccess?Jan
    Sie ist länger, enthält aber vor allem Redirect 301 ... vor der RewriteEngine. Im Inneren befinden sich sonst nur Rules mit sehr speziellen UAs, die ich allesamt löschen kann, ohne dass sich das Problem ändert. Schließlich noch:

    Code:
    # Multiple file types
    <FilesMatch ".(htaccess|htpasswd|ini|phps|ai|psd|sh|rar|tar|tgz|sql|bz2|bzip2|7z)$">
     Order Allow,Deny
     Deny from all
    </FilesMatch>
    
    ## Internal Redirect Loop Protection
    RewriteCond %{ENV:REDIRECT_STATUS} 200
    RewriteRule .* - [L]
    Das eigentliche Problem liegt darin, dass Bing meine .eu-Domain als Domain verkennt. Als Bing startete, hielt es .eu für eine Dateiendung, was ich daraus schloss, dass es nur die Indexseite indizierte. Jetzt sind auch Unterseiten zu finden, und zwar mit richtigen Adressen. Das heftige Befragen mit fiktiven Pfaden begann im Herbst, als ich die absoluten Pfade durch relative ersetzte:

    Code:
    /index.php/journal/journal/content/subfolder1/content/subfolder2/page123.php
    Solche irren Ketten bekomme ich in Python, wenn etwas beim Splitten des Pfads falschläuft. Wenn es ein Programmierfehler ist, wird 404 wahrscheinlich nicht viel bringen. Provisorisch schicke ich jetzt 403 und hoffe, dass bei Bing ein Alarm ausgelöst wird:

    Code:
    RewriteCond %{THE_REQUEST} (\/.php\/([a-z]+)) [NC]
    RewriteCond %{HTTP_USER_AGENT} (bingbot) [NC]
    RewriteRule ^.* - [F]
    Wahrscheinlich ist es nur der Anfang von Skynet.

  7. #7
    Kunde
    Registriert seit
    09.05.2012
    Beiträge
    17

    AW: Irre Requests von Bingbot mit 404 beantworten

    Das funktioniert eben leider nicht. Es wird nach wie vor index.php angezeigt, und zwar als andereseite.php in index.php/dir/dir/dir/andereseite.php mit 200. Wohlgemerkt, die Regel funktioniert, wenn ich 404 durch 403 tausche.

  8. #8
    Communityservice Avatar von Nils Dornblut
    Registriert seit
    15.10.2000
    Beiträge
    42.985

    AW: Irre Requests von Bingbot mit 404 beantworten

    Hallo Chialin,

    der Beitrag bei Microsoft ist auch von Ihnen oder? Ansonsten hier direkt die Seite für entsprechende Reports:

    https://www.bing.com/webmaster/help/...ngbot-25c19802

    Irgendwie kommt mir Ihre Beschreibung bekannt vor, aber ich habe den direkten Bezug noch nicht gefunden. In welcher Weise können wir uns auf der Ebene überhaupt einmischen. Die Anfragen kommen doch direkt von Bing und gehen auf den normal konfigurierten Webserver. Welche Ansätze woher funktionieren aus ggf. welchem Grund bei uns nicht?

    Mit freundlichen Grüßen

    Nils Dornblut
    Communityservice
    __________________
    Blog - Facebook - Twitter
    Communitybetreiber: domainfactory GmbH
    Impressum / Pflichtangaben

  9. #9
    Kunde
    Registriert seit
    08.09.2005
    Beiträge
    806

    AW: Irre Requests von Bingbot mit 404 beantworten

    Nutzt du denn die URLs auch so?
    Prinzipiell ist es Standard dass auch der Zugriff via datei.php/... möglich ist. Das nutzt zb Owncloud.
    Via php.ini lässt sich das abschalten. Müsste die Option aber auch nachschauen.

  10. #10
    Kunde
    Registriert seit
    09.05.2012
    Beiträge
    17

    AW: Irre Requests von Bingbot mit 404 beantworten

    Der Beitrag bei Bing ist auch von mir. Ich habe sonst schon vor einiger Zeit alle Kontaktmöglichkeiten ausgeschöpft. Ich habe neulich eine Frage bei Stackoverflow gefunden, die allerdings aus dem Jahr 2013 stammt.

    Das Problem ist, dass Bing mehrere hundert Anfragen mit Quatsch-URLs in der Stunde stellt. Die Anfragen zu korrekten URL sind dagegen im üblichen Rahmen. Wenn ich Bing blockiere, senke ich zwar die Datenmenge, aber nicht die Zahl der Anfragen. Die Anfragen sind mit Sicherheit von Bing, weil die Links auch in den Webmastertools aufgeführt werden, ohne dass dort ein Problem angezeigt würde.

    Alle Links auf der Indexseite hatte ich überprüft. Es war mir aber aufgefallen, dass Bing seine fiktiven Pfade nur aus den relativen URLs auf index.php schöpft, nicht aber aus den absoluten. Darum wandle ich jetzt mit PHP die relativen Pfade in absolute um, wenn die Anfrage von Bing kommt. Mal sehen, ob sich dadurch etwas verändert.

    Die Zusammensetzung der fiktiven Links ist allerdings so durcheinander, dass ich das Problem nicht durch eine falsche Rootangabe in meiner Konfiguration ausgelöst worden sein kann. Manchmal wiederholt sich ein Ordner mehrfach. Zumal ich mit anderen Bots oder menschlichen Besuchern keine Linkprobleme habe.

Ähnliche Themen

  1. 404 mit allternativen
    Von willi1wupp im Forum htaccess
    Antworten: 4
    Letzter Beitrag: 03.02.2008, 15:12
  2. Wie geht "Domain Only" mit E-Mails und http-Requests um?
    Von lpw im Forum Tarifberatung und Allgemeines
    Antworten: 12
    Letzter Beitrag: 04.04.2005, 19:35
  3. Textarea-Breite beim Erstellen/Beantworten u.s.w. von Topics
    Von warteck im Forum Wunschecke / Anregungen
    Antworten: 5
    Letzter Beitrag: 16.02.2002, 12:02

Stichworte

Lesezeichen

Lesezeichen

Berechtigungen

  • Neue Themen erstellen: Nein
  • Themen beantworten: Nein
  • Anhänge hochladen: Nein
  • Beiträge bearbeiten: Nein
  •