Bots et robots en tous genres

[David]

Je voulais savoir si quelqu'un à une idée pour interdire tous les bots (robots spammeurs, fouilleurs de M ....)

A savoir que j'en ai déjà éliminé quelques uns....Mais des merdiques quasis in-traçable insistent (Ip de merde ou proxy)

Si un autre Webmestre, aficionado du web, à une idée, suggestion, qu'il me la fasse savoir

 

[Couin]

Je doute qu'il y ait vraiment de parade vraiment efficace à part le blocage au coup par coup
Pour un forum, il y a toujours la possibilité de ne mettre aucun accès aux invités mais c'est pas forcément une bonne chose pour la fréquentation du forum par des vraies personnes (et ca n’empêche pas non plus les inscriptions des bots, mais juste le parcours des posts) mais pour un site comme RP, là pas possible de bloquer l'accès aux invités.

 

[David]

Oui je ne sais pas plus
J'aimerai que ceux qui ont une astuce par contre ou alors une liste de condamnés ce serait sympa de la partager et bien utile aussi

Genre l'exclusion totale sur le serveur

 

[Shardar]

ça peut se scripter (un truc du genre plus de X requêtes par seconde / minute => ban IP)

avant de commencer à bloquer des ip, tu es sur que ça vient de là ton problème ? on pourrait pas tuner un peu ta conf serveur ou ajouter un proxy cache (nginx / varnish ) ?

on en avait déjà discuté y'a un moment, si tu as besoin de conseils je suis dispo (c'est un peu mon boulot)

 

[David]

Un proxy cache, si tu m'expliquais

 

[Shardar]

c'est un serveur qui se place entre le client (navigateur) et le serveur web (apache)

il garde en mémoire une "photo" de la page consultée, et est capable de la servir en quelques pouillèmes de secondes sans solliciter ta base de données

http://fr.wikipedia.org/wiki/Reverse_proxy

 

[Papo06]

Tu veux te protéger contre quoi ?

Si c'est contre les robots qui créent des comptes pour ça rien de tel qu'une question intelligente c'est le plus efficace, les captcha sont rapidement contournés et ne servent pratiquement à rien.

Si c'est pour éviter l'aspiration du site, il faut interdire la lecture sans être identifié et t'en reviens au point précédent, ou installer un module de détection de robot d'aspiration mais c'est rapidement et facilement contournable tous les aspirateurs ont des options pour simuler un humain (temps aléatoire entre les pages, faux user-agent etc), il est pratiquement impossible de détecter les robots intelligents à partir du moment où ils sont bien réglés, et il existe des fermes de serveurs en chine/russie avec des centaines de milliers d'ip, il est complètement illusoire d'espérer bloquer ce genre d'ip.

varnish, squid et compagnie faut voir comment est foutu le forum, en général les pages dynamiques envoient un pragma nocache dans les entêtes ça ne cache en général pas grand chose.

Si apc ou xcache n'est pas installé par contre y a intéret à l'installer, le gain est évident sur du php (si tant est que le forum est en php)

Pascal

 

[David]

Merci pour vos infos