{"id":232463,"date":"2023-01-20T16:43:00","date_gmt":"2023-01-20T13:43:00","guid":{"rendered":"https:\/\/wordpress.mediadoma.com\/?p=232463"},"modified":"2023-02-08T18:38:26","modified_gmt":"2023-02-08T15:38:26","slug":"arretez-les-robots-en-colere-tels-que-360spider-pour-explorer-mon-site","status":"publish","type":"post","link":"https:\/\/wordpress.mediadoma.com\/fr\/arretez-les-robots-en-colere-tels-que-360spider-pour-explorer-mon-site\/","title":{"rendered":"Arr\u00eatez les robots en col\u00e8re tels que 360Spider pour explorer mon site"},"content":{"rendered":"\n

Mon site Web steakovercooked.com<\/a> a \u00e9t\u00e9 sur l’un des serveurs d’h\u00e9bergement partag\u00e9 fasthosts. R\u00e9cemment, mon site a \u00e9t\u00e9 d\u00e9sactiv\u00e9 plusieurs fois en raison d’un grand nombre de demandes sur mon site. Celles-ci proviennent principalement de robots explorant le site. L’ing\u00e9nieur des op\u00e9rations informatiques de Fasthosts, Ewan MacDonald, m’a envoy\u00e9 un e-mail et m’a dit\u00a0:<\/p>\n

Cher justyy<\/p>\n

Je ne sais pas exactement ce que vous faites avec votre site, mais vous avez consomm\u00e9 plus de 75\u00a0% des processus Apache disponibles. Cela a caus\u00e9 d’\u00e9normes probl\u00e8mes \u00e0 tous les autres clients du serveur Web.<\/p>\n

J’ex\u00e9cute actuellement une analyse de s\u00e9curit\u00e9 sur votre site.<\/p>\n

Veuillez noter que votre site en contient 85 000, soit 8,6 Go. Nos conditions stipulent que tous les fichiers de votre espace Web doivent faire partie du site Web. Par cons\u00e9quent, les 85 000 fichiers font-ils tous partie du site et sont-ils accessibles via le site\u00a0? Si ce n’est pas le cas, ils doivent \u00eatre supprim\u00e9s s’il vous pla\u00eet.<\/p>\n

Je vais \u00e9galement supprimer les 2 dossiers htdocs renomm\u00e9s, sauf si vous vous y opposez\u00a0?<\/p>\n

Si votre site pose le m\u00eame probl\u00e8me de performances pendant l’ex\u00e9cution de l’analyse, je le mettrai \u00e0 nouveau hors ligne jusqu’\u00e0 ce que vous puissiez expliquer pourquoi il bloque environ 200 processus Apache.<\/p>\n

Meilleures salutations,<\/p>\n

Ensuite, j’ai v\u00e9rifi\u00e9 le journal apache2<\/strong>, et j’en trouve beaucoup :<\/p>\n

[Wed Jul 23 21:40:21 2014] [warn] mod_fcgid\u00a0: impossible d’appliquer l’emplacement de processus pour \/var\/www\/fcgi\/php54-cgi
\n[Wed Jul 23 21:40:22 2014] [warn] mod_fcgid\u00a0: peut ‘t apply process slot for \/var\/www\/fcgi\/php54-cgi
\n[Wed Jul 23 21:40:30 2014] [warn] mod_fcgid: can’t apply process slot for \/var\/www\/fcgi\/php54-cgi
\n[ Mer 23 juillet 21:40:31 2014] [warn] mod_fcgid\u00a0: impossible d’appliquer l’emplacement de processus pour \/var\/www\/fcgi\/php54-cgi
\n[Mer 23 juillet 21:40:31 2014] [warn] mod_fcgid\u00a0: can’t t apply process slot for \/var\/www\/fcgi\/php54-cgi
\n[Wed Jul 23 21:40:31 2014] [warn] mod_fcgid: can’t apply process slot for \/var\/www\/fcgi\/php54-cgi<\/p>\n

Apparemment, il semble que 360spider frappe assez lourdement le site et cela affecte \u00e9videmment d’autres sites Web sur le m\u00eame h\u00f4te partag\u00e9, et c’est pourquoi les fasthosts doivent supprimer mon site.<\/p>\n

Le probl\u00e8me de 360spider est revenu plus tard, ils ont donc d\u00fb d\u00e9sactiver \u00e0 nouveau mon site jusqu’\u00e0 ce que j’aie un script pr\u00eat \u00e0 bloquer son acc\u00e8s car cela cause des probl\u00e8mes aux autres utilisateurs du serveur.<\/p>\n

Je suis d\u00e9sol\u00e9 que cela cause des probl\u00e8mes aux autres h\u00e9bergeurs de partage, mais \u00e0 mon avis, il serait peut-\u00eatre pr\u00e9f\u00e9rable de les bloquer en utilisant un niveau sup\u00e9rieur (par exemple, les param\u00e8tres apache). Imaginez, tout autre site Web peut rencontrer le m\u00eame probl\u00e8me. J’ai d\u00e9j\u00e0 optimis\u00e9 mon site Web afin de r\u00e9duire l’utilisation du processeur en les mettant en cache dans des HTML statiques. mais en raison d’un certain nombre de pages (environ 5000 signal\u00e9es dans google webmaster), certaines araign\u00e9es peuvent ne pas \u00eatre assez intelligentes pour comprendre le doublon. Les araign\u00e9es de Google vont bien car je peux configurer les param\u00e8tres et elles ob\u00e9issent au fichier robots.txt. Mais pour ces araign\u00e9es en col\u00e8re (par exemple 360, youdao), elles n’ob\u00e9issent pas tout \u00e0 fait aux r\u00e8gles d’exploration. La seule fa\u00e7on de les bannir est de les marquer dans la liste noire (je peux le faire \u00e0 coup s\u00fbr). mais pour d’autres utilisateurs, ils peuvent rencontrer le m\u00eame probl\u00e8me.<\/p>\n

robots.txt<\/h2>\n

Le robots.txt est un fichier texte sous la racine du site Web qui dirige les robots de recherche vers les r\u00e9pertoires \u00e0 indexer et ceux qui ne sont pas autoris\u00e9s. Mais tous les bots ne suivent pas les "instructions". Voici les r\u00e8gles que j’ajoute pour dire \u00e0 ces mauvais bots de dispara\u00eetre.<\/p>\n

# root\nUser-agent: *\nCrawl-Delay: 1\n\nUser-agent: *\nDisallow: \/cgi-bin\/\nDisallow: \/tmp\/\n\nUser-agent: 360Spider\nDisallow: \/\n\nUser-agent: YoudaoBot\nDisallow: \/\n\nUser-agent: sogou spider\nDisallow: \/\n\nUser-agent: YisouSpider\nDisallow: \/\n\nUser-agent: LinksCrawler\nDisallow: \/\n\nUser-agent: EasouSpider\nDisallow: \/<\/code><\/pre>\n
.htaccess<\/h2>\n
Le fichier .htaccess<\/strong> est un fichier texte et cach\u00e9 dans chaque r\u00e9pertoire de site Web. Il est utilis\u00e9 par le module de r\u00e9\u00e9criture apache mod_rewrite<\/strong> pour rendre les URL plus belles. Il peut \u00e9galement \u00eatre utilis\u00e9 pour contr\u00f4ler ces bots.<\/p>\n
<IfModule mod_rewrite.c>\n    RewriteEngine On\n    RewriteBase \/\n\n    RewriteCond %{REQUEST_URI} !^\/robots.txt$\n    RewriteCond %{REQUEST_URI} !^\/error.html$\n\n    RewriteCond %{HTTP_USER_AGENT} EasouSpider [NC,OR]\n    RewriteCond %{HTTP_USER_AGENT} YisouSpider [NC,OR]\n    RewriteCond %{HTTP_USER_AGENT} Sogou web spider [NC]\n    RewriteCond %{HTTP_USER_AGENT} 360Spider [NC,OR]\n    RewriteCond %{HTTP_USER_AGENT} LinksCrawler [NC,OR]    \n    RewriteRule ^.*$ - [F,L]\n<\/IfModule>\n\n<IfModule mod_setenvif.c>\n    SetEnvIfNoCase User-Agent \"EasouSpider\" bad_bot\n    SetEnvIfNoCase User-Agent \"YisouSpider\" bad_bot\n    SetEnvIfNoCase User-Agent \"LinksCrawler\" bad_bot\n    SetEnvIfNoCase User-Agent \"360Spider\" bad_bot\n    SetEnvIfNoCase User-Agent \"Sogou\" bad_bot        \n    Order Allow,Deny\n    Allow from All\n    Deny from env=bad_bot\n<\/IfModule><\/code><\/pre>\n
Code PHP<\/h2>\n
Par mesure de s\u00e9curit\u00e9, j’ai \u00e9galement mis le code suivant \u00e0 l’ index.php<\/strong> qui est utilis\u00e9 pour g\u00e9n\u00e9rer diff\u00e9rentes pages en fonction des param\u00e8tres d’URL. 99% des pages du site Web sont g\u00e9n\u00e9r\u00e9es \u00e0 l’aide de ce fichier d’index.<\/p>\n
  $agent='';\n  if (isset($_SERVER['HTTP_USER_AGENT']))\n  {\n    $agent = $_SERVER['HTTP_USER_AGENT'];\n  } \n\n  define('BADBOTS','\/(yisouspider|easouspider|yisou|youdaobot|yodao|360|linkscrawler|soguo)\/i');\n\n  if (preg_match(BADBOTS, $agent)) {\n    die();\n  }  <\/code><\/pre>\n
Fondamentalement, ce que fait le PHP ci-dessus est de v\u00e9rifier la cha\u00eene HTTP_USER_AGENT<\/strong> par rapport \u00e0 ces mauvais bots. Le preg_match<\/strong> utilise une expression r\u00e9guli\u00e8re et l’option \/i<\/strong> sp\u00e9cifie des comparaisons insensibles \u00e0 la casse.<\/p>\n
J’ai \u00e9galement remarqu\u00e9 dans le fichier journal, il y a pas mal d’entr\u00e9es comme celle-ci :
\n119.188.91.121 \u2013 \u2013 [24\/Jul\/2014:22:39:51 +0100] \u00abGET \/?charset=big5&do=System.Online&lang=ch&page =25&per=10&skin=2011anniversary HTTP\/1.0" 200 3919 " https:\/\/steakovercooked.com\/<\/a> \u2026 \u2026" "~Mozilla\/5.0 (compatible ; MSIE 9.0 ; Windows NT 6.1 ; Trident\/5.0)~"<\/p>\n
\u00c0 partir de HTTP_USER_AGENT, vous pensez normalement que ce n’est pas un bot, mais je pense qu’ils le sont. Ces bots sont donc tr\u00e8s mauvais. Ils donneront en fait n’importe quel USER_AGENT (ils peuvent changer cette valeur) et ils proviennent g\u00e9n\u00e9ralement de plusieurs adresses IP (il n’est donc pas facile de les identifier toutes \u00e0 l’aide de plages d’adresses IP sp\u00e9cifiques).<\/p>\n
\"Arr\u00eatez<\/a><\/p>\n
Cela semble fonctionner apr\u00e8s les m\u00e9thodes ci-dessus.<\/p>\n
cela semble fonctionner, car dans le journal apache, j’en trouve beaucoup
\n[Jeu 24 juillet 23:01:02 2014] [erreur] [client 61.135.189.186] client refus\u00e9 par la configuration du serveur: \/home\/linweb09\/z\/steakovercooked. com-1048918357\/user\/htdocs\/
\n[Jeu 24 juillet 23:01:02 2014] [erreur] [client 61.135.189.186] client refus\u00e9 par la configuration du serveur: \/home\/linweb09\/z\/steakovercooked.com-1048918357\/user\/htdocs \/error
\n[Thu Jul 24 23:01:08 2014] [error] [client 61.135.189.186] client refus\u00e9 par la configuration du serveur\u00a0: \/home\/linweb09\/z\/steakovercooked.com-1048918357\/user\/htdocs\/<\/p>\n
Et le fasthosts est \u00e9galement ravi: \u00abOuaip, \u00e7a va beaucoup mieux maintenant. donc je ferme ce ticket. Un grand merci pour votre action."<\/p>\n
Cependant, ce n’est peut-\u00eatre pas une solution d\u00e9finitive\u2026 A terme, je d\u00e9placerai \u00e9galement ce site vers des VPS<\/a>, des serveurs de r\u00e9partition de charge ou un serveur d\u00e9di\u00e9 afin qu’il ne soit pas supprim\u00e9 \u00e0 cause de cette raison stupide.<\/p>\n
L’autre jour, j’ai lu le paragraphe suivant et je ne pouvais pas \u00eatre plus d’accord \u00e0 ce sujet\u00a0: la soci\u00e9t\u00e9 d’h\u00e9bergement Web ne devrait rien<\/strong> faire pour nuire \u00e0 la r\u00e9putation de r\u00e9f\u00e9rencement<\/a> de vos sites Web, sans parler de supprimer l’int\u00e9gralit\u00e9 de votre site sans vos autorisations. Les fasthosts sont juste au-dessus de la limite et c’est pourquoi les fasthosts ont re\u00e7u tant de mauvaises critiques (quelque chose comme des ordures, de la merde, s’\u00e9vader toute la vie).<\/p>\n
\"Arr\u00eatez<\/a><\/p>\n
Au fait, j’utilise QuickHostUK<\/a>, qui est tout simplement le meilleur. Le VPS fonctionne tr\u00e8s bien et j’ai d\u00e9j\u00e0 d\u00e9plac\u00e9 quelques sites.<\/p>\n
\"Arr\u00eatez<\/a><\/p>\n
Source d’enregistrement:  helloacm.com<\/a><\/div><\/p>\n","protected":false},"excerpt":{"rendered":"
Arr\u00eatez les robots en col\u00e8re tels que 360Spider pour explorer mon site<\/p>\n","protected":false},"author":1,"featured_media":224493,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":"","_wp_rev_ctl_limit":""},"categories":[717,1028,841,862],"tags":[1167],"class_list":["post-232463","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-developpeur","category-securite","category-tutoriels","category-wordpress-3","tag-affiai-fr"],"_links":{"self":[{"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/posts\/232463","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/comments?post=232463"}],"version-history":[{"count":0,"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/posts\/232463\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/media\/224493"}],"wp:attachment":[{"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/media?parent=232463"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/categories?post=232463"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/wordpress.mediadoma.com\/fr\/wp-json\/wp\/v2\/tags?post=232463"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}