Suchmaschinen Infos.Info

Suchmaschinen Infos Forum

 Hallo Gast!
Einloggen
Registrieren

Alle Foren - Suchmaschinen Optimierung - Tool zum aussperren von Spam Bots!
wibbel2006-03-08 20:05:27

Profil

Beitrag #1 		Hallo,

bin gerade auf ein Tool Namens Spider Trap gestossen und wollte hier mal fragen, ob dieses Tool irgendjemand nutzt???

Genau würde mich natürlich interessieren, ob es tatsächlich gegen "Schmarotzer" hilft und nicht auch versehentlich gute Bots/Besucher aussperrt!!

Habe dieses Thema jetzt mal hier erstellt, da es indirekt ja auch mit Optimierung zu tun hat bzw. viele Spam Bots ja auch doppelten Content erzeugen, da Sie Seiten komplett übernehmen....

Gruß

Wibbel

Caschi2006-03-08 21:19:21

Profil

Beitrag #2 		habe bei einer seite das problem das ständig neue angebliche tolle webproxys die seite mit hilfe von google indexieren und meine domain. daudrch abssti´rbt. hilft das tool dagegen ??

warry2006-03-08 21:43:16

Profil

Beitrag #3 		wenn es echte Spider sind, die den internen Links auf deinen Seiten folgen, dann hilft es.

Caschi2006-03-08 21:57:43

Profil

Beitrag #4 		dev.metux.de/3po/?load=crawler& source=

wave.webaim.org/wave/Output. jsp?InputUrlText=

ich meine so blöde dinger :(

warry2006-03-08 22:36:51

Profil

Beitrag #5 		Kenn ich nicht, was machen die denn?
Crawlen die oder nicht?
Wenn sie crawlen, also den Links auf deiner Seite folgen, dann hilft das Teil. Aber auch wirklich nur dann.

Ansonsten ab in die .htaccess damit
deny from ...



Caschi2006-03-09 10:49:30

Profil

Beitrag #6 		ya das mache ich ja die crwalen leider nicht. die zeigen deine ganze webseite als denen ihre an und geben sich als webproxy aus. aber wenn man so einen findet ist es ja zu spät und schon in google drinne :(

wibbel2006-03-09 21:55:39

Profil

Beitrag #7 		Was ich mich gerade frage!!

Wäre es nicht sinnvoller, eine .htaccess zu erstellen, die halt nur Bots reinlässt, bei denen ich auch möchte das sie meine Seite spidern??

Gruß

Wibbel

germanien2006-03-09 21:58:11

Profil

Beitrag #8 		> bei denen ich auch möchte das sie meine Seite spidern??

Wenn du so gut mit der Materie umgehen kannst wie die von Webmasterworld, denn die haben das ja gemacht...

warry2006-03-09 22:22:06

Profil

Beitrag #9 		Ja, das hier:

User-agent: *
Disallow: /

Und wer gerade mal nix zu tun hat:
http://www.webmasterworld.com/robots.txt

Lesenswert :-)

wibbel2006-03-09 22:28:20

Profil

Beitrag #10 		Hi,

ich kenne mich mit der Materie halt nicht so gut aus!! Aber ich hoffe mal, das der Progger den ich gefunden habe sich mit allem gut genug auskennt!!

Irgendwie verstehe ich die robots von dem guten Brett nun überhaupt nicht!! Wollte er da einen Roman schreiben???

Muß dazu anmerken, das ich mir das jetzt wirklich nicht alles übersetzt habe...

Gruß

Wibel

warry2006-03-09 22:39:43

Profil

Beitrag #11 		> Wäre es nicht sinnvoller, eine .htaccess zu erstellen, die halt nur Bots reinlässt,
> bei denen ich auch möchte das sie meine Seite spidern??

Das Problem ist, das du das kaum aus .htaccess-Ebene lösen kannst, weil du da evtl. auch echte User aussperrst.

Wenn, dann kannst du höchstens in der robots.txt mit einer "Positiv-Liste" arbeiten. Dumm ist nur, daß sich die bösen Bots und Proxies einen Dreck um die robots.txt scheren.

Es bleibt IMHO nur die Möglichkeit, immer wieder auffällige Kandidaten per .htaccess zu sperren.

Die angesprochene Spider-Trap ist kein schlechter Ansatz, fängt aber nur einen Bruchteil der bösen Buben.


germanien2006-03-09 22:43:45

Profil

Beitrag #12 		> Wollte er da einen Roman schreiben???

Wer es liest, der weiß es...

Es ist auf jedenfall eine interessante Sache, für entsprechende Spezies...

P.S. Wäre an und für sich was für ein Suchmaschinen Infos Wiki ;-)

wibbel2006-03-09 22:59:27

Profil

Beitrag #13 		Wie gesagt, habe es mir nicht übersetzt, da meine Frau, die das normalerweise für mich macht, schon seelig schläft!!
Beiträge 1 bis 13 von 13 angezeigt.
Zum Thema antworten



Um einen Beitrag zu verfassen oder um auf ein Thema zu Antworten muss man eingelogged sein.

Hier gehts zur Anmeldung: Anmelden

Passwort vergessen?
Benutzerhinweise
Benutzerhinweise:
Keine URLs posten, um darüber zu diskutieren! Keine Moral-Debatten über Spamming!
Die Forenregeln im Detail.
URLs einfügen[url=http://www.domain.de]Zur Domain.de[/url]
vorformatierter Text[pre]besonders für Programmcode geeignet[/pre]
Zitat[quote]Ein Zitat.[/quote]
HTML-Code wird umgewandelt in normalen Text. D.h. die Tags werden nicht interpretiert, sondern als Text dargestellt.

Impressum