Vollständige Version anzeigen : SEO: archive.today blocken


Creused
20.11.2014, 20:19

Hallo,

sicherlicht kennt der ein oder andere archive;today - webpage capture (;archive;today/)
Da dieser Bot weder die Robots;txt und noch den Eintrag "noindex" befolgt, will ich den nun aussperren.

"Do you delete my stored page(s) ?

Pages which violate our hoster's rules (cracks, ****, etc) may be deleted. Also, completely empty pages (or pages which have nothing but text like “502 Server Timeout”) may be deleted;"

Die Frage ist nur.. wie?

Hat da jemand eine Ahnung, wie ich das machen könnte?

Hardware Preisvergleich | Amazon Blitzangebote!

Videos zum Thema
Video Loading...
raid-rush
20.11.2014, 22:55

Opt-out- oder Opt-in-Funktionen, z. B. mittels robots;txt oder HTML-meta-robots-Tag werden nicht angeboten. Nach Aussagen der Betreiber können Inhalte gelöscht werden, die den Geschäftsbedingungen des Webhosters von Archive;today widersprechen. Archive;today – Wikipedia (;de;wikipedia~org/wiki/Archive;today)

Es gibt also nur eine Möglichkeit, den Bot in eine Falle zu locken und die IP oder ggf. Useragent zu blockieren.


Creused
20.11.2014, 23:27

User-Agent wird schwer...
IP kann ich zumindest mal blocken, sofern´s nur ein Server ist, was ich aber nicht glaube.

Für die, die´s interessiert:
~URL~de:80 144;76;45;17 - - [20/Nov/2014:23:06:44 +0100] "GET /images/home;png HTTP/1;1" 200 933 ";~URL~de/index;php" "Mozilla/5;0 (compatible; Windows NT 5;1; WOW64) AppleWebKit/535;19 (KHTML, like Gecko) Chrome/19;0;1084;36 Safari/535;19"


Ist also ein Server bei Hetzner...
Nja, dann sperr ich einfach mal die IP und send dem Webmaster und Hoster ne Abuse-Mail.


Ähnliche Themen zu SEO: archive.today blocken
  • F.B.I.-brings you another busts today
    _______ ______ _______ | ___| | __ \ |_ _| | ___|_| __ <__ _| |_ __ |___| |__|______/__|_______|__| brings you another b [...]

  • Alphaville - I Die For You Today (Sektro RMX)
    Hallo, ein guter Freund von mir hat einen Alphaville - I Die For You Today Remix gemacht. Hört mal rein und lasst mich wissen wie ihr es findet :) ;youtu~be/uXb0JmO90TM Schönen Tag noch. D. [...]

  • Twilight came up today Song
    Einfach angucken :D The Twilight Came Out Today Song - YouTube (;;;youtube~com/watch?v=wdeAEso9p0Y) [...]

  • Szene Archive ~ We Archive the Scene
    Wir stellen ;i;imgur~com/X4KYycW;png vor.. Die Szene freut sich ja immer wieder gerne auf neue Projekte die im Netz erscheinen. (Humor off) Jedenfalls haben wir mit dem Gedanken das Projekt gestartet, das archivieren diverser Inhalte aus dem Netz. Der Grundstein beruht auf Szene- & Allround Tal [...]



raid-rush.ws | Imprint & Contact pr