Le 16 janvier dernier, Funio prenait en charge la gestion des systèmes, des infrastructures et du service à la clientèle. Encore aujourd’hui, cette transition qui n’est pas de toujours simple, se poursuit. Nous avons fait face à plusieurs défis durant le dernier mois, mais notre équipe s’est acharnée à reprendre le dessus sur le retard accumulée dû à un niveau de demande très élevé et nous voyons aujourd’hui que nos efforts portent fruits.
Voici donc le 2ième article d’une série de 3 articles qui comprend un post mortem des activités du dernier mois ainsi qu’une description sommaire de certains projets sur lesquels nous continuerons de travailler dans les prochaines semaines. Vos commentaires sont appréciés et nous aideront à prendre les bonnes décisions.
Nos infrastructures
1. Post-Mortem sur la stabilité des infrastructures
Depuis les derniers mois, nous avons vécu quelques situations problématiques sur nos infrastructures. Dans un premier temps, de nouveaux exploits des failles de sécurité sur les CMS (WordPress, Joomla et autres) ont été la cible de pirates sur nos serveurs. La première conséquence est que plusieurs sites de client ont donc été affectés et de nombreuses restaurations de copie de sauvegarde ont été nécessaire pour remettre le contenu des sites correctement. Cette opération nécessite souvent la restauration d’une grande quantité de données et il n’est alors pas possible de restaurer le contenu de plusieurs sites en même temps sur le serveur de sauvegarde. C’est ce qui explique des délais de restauration plus long qu’à l’habitude.
Une deuxième conséquence est que la majorité des pirates utilisent l’exploitation de ces failles de sécurité pour envoyer du pourrie via des scripts, ce qui nous mène à la deuxième situation problématique. Lorsque du “spam” est envoyé, les serveurs sont identifiés par les organismes anti-spam comme comportant des activités malveillantes, ce qui cause de nombreux problèmes. Entre autre, les organismes anti-spam en question “blacklistent” automatiquement les adresses IPs utilisées pour l’envoi de ces pourriels ce qui se traduit, pour certains clients sur le serveur en question, par l’incapacité occasionnelle d’envoyer certains emails à certains destinataires. Nous intervenons toujours rapidement sur ces problèmes et avons une bonnes collaboration avec ces organismes qui savent très bien que nous dénonçons les activités de spam, mais le processus prend parfois quelques jours avant que l’adresse IP soit “délistée”.
Une troisième conséquence de ce ces épisodes de “piratage” est une grande utilisation de l’espace disque. Les pirates utilisent les espaces du compte piraté pour y mettre une multitude de fichiers qui peuvent ensuite être téléchargés de plusieurs sources différentes. Une très grande quantité de fichiers est alors téléversé en très peu de temps et l’espace disponible sur les disques est alors rempli très rapidement, ce qui empêche nos clients légitimes de téléverser/télécharger leur fichier correctement le temps que le pirate soit ciblé et que les fichiers en question soient effacés.
Finalement, une quatrième conséquence est une dégradation des performances des serveurs. Habituellement, lorsqu’un client abuse des ressources du serveur, nous intervenons rapidement et cette intervention passe inaperçu la majorité du temps. Dans ces cas-ci, lorsqu’un client utilise trop de ressource, le serveur a plus de difficulté a l’assumer car il est sollicité à plusieurs niveaux et les interventions de l’équipe sont plus nombreuse. Lorsque les ressources d’un serveur sont très sollicitées, le premier service qui en écope est le service de courriels. C’est la raison pour laquelle, durant les dernières semaines, le chargement sur les serveurs a connu des ralentissement et que les services de courriels ont rencontrés des interruptions intermittentes durant les périodes les plus achalandées de la journée.
2. Projets de stabilité des infrastructures:
Outre les interventions habituelles, 3 projets d’amélioration et stabilisation sont en cours pour prévenir ce genre de situation.
En premier lieu, notre équipe a installé “mod-security” sur certains serveurs. Ce logiciel permet de prévenir certains problèmes mentionnés ci-dessus en bloquant une grande partie des attaques de pirates sur nos serveur, même sur les CMS (WordPress, Joomla et autres) des clients qui ne sont pas à jour. Nous savons que cette installation aura un impact très positif sur la diminution des tentatives de piratage et nous gagnerons à coup sûr en stabilité des serveurs et en performance. Par contre, nous savons aussi que cette installation pourrait bloquer certains scripts légitimes de nos clients et nous tentons toujours d’intervenir rapidement pour corriger ces cas, l’objectif n’étant évidemment pas de couper des fonctionnalités, mais bien d’améliorer la stabilité des infrastructures pour tous les clients sur le serveur.
Ensuite, nous prévoyons habituellement une certaine quantité de ressource “libre” sur le serveur (espace disque, RAM, CPU), pour être en mesure d’assumer les période de pointes qui ne doivent pas consommées plus d’une certaine quantité des ressources totales. Nous allons augmenté cette quantité de ressource libre en ajoutant des serveurs et en migrant certains clients vers ces nouveaux serveurs. Des serveurs sont ajoutés régulièrement à notre infrastructure, mais ces nouveaux serveurs seront utilisé uniquement pour diminuer la charge sur les autres serveurs de notre parc. De plus, nous avons identifié que le i/o des disques étaient à l’origine de certains problèmes de performance, donc ces nouveaux serveurs seront équipées d’une carte RAID et de disque plus rapide ce qui devrait, selon les tests effectués, nous permettre de gagner en performance.
Finalement, nous utilisons présentement “CloudLinux” sur nos serveurs. Cette plateforme a un grand potentiel qui n’avait pas été exploité jusqu’à aujourd’hui. Nous travaillons donc présentement en étroite collaboration avec les spécialistes de CloudLinux pour mettre en place des configurations qui nous permettrons d’avoir plus de contrôle sur la sur-utilisation des ressources par certains clients ainsi que de mettre en place des processus de prévention pour améliorer notre pro-activité dans la résolution de problème.
L’objectif est de mettre en place ces modifications et ajouts d’ici le début du mois d’avril. Déja, depuis la dernière semaine, nous constatons une nette amélioration des performances avec le début de l’implantation de certaines de ces mesures. Nous sommes confiant que la stabilité des infrastructures atteindra de nouveau sommet une fois ces projets complétés.
Le prochain article paraitra dans les prochains jours au sujet de: Post-mortem et amélioration de notre service à la clientèle
Vous pouvez aussi consulter l’article précédent au sujet de nos système et la nouvelle interface de gestion des noms de domaines.
