Ma vision de l’expert judiciaire en informatique, c’est qu’il s’agit d’un généraliste de l’informatique, qui doit connaître un peu de tout, plutôt qu’un spécialiste qui connait tout d’un domaine particulier.
Un peu comme médecin généraliste vs médecin spécialiste.
Et finalement, professionnellement, c’est ce que je suis un peu: je dois gérer un réseau informatique de 300 PC, des serveurs de fichiers, des serveurs d’impression, des serveurs d’applications, des serveurs de sécurité, des serveurs d’accès à internet, des serveurs internet, des achats informatiques, des switchs réseaux, etc. Sans pour autant être spécialiste de chaque question.
Bien entendu, je suis aidé par une équipe de deux techniciens (plus) compétents, mais ils ont également à gérer le même éparpillement des connaissances.
C’est pourquoi quand j’ai commencé à m’intéresser de près au remplacement de notre « vieux » système de stockage des données de l’entreprise/école, il m’a fallu aborder de front le monde inconnu du stockage.
Dès le début, j’ai rencontré quelques difficultés de vocabulaire, mais comme je les ai déjà évoquées dans ce billet, je n’en reparlerai pas ici.
Je vais essayer de faire un billet « retour d’expérience » pour les responsables informatiques qui pourraient se retrouver dans le même cas que moi.
1) Définition du problème:
Faire évoluer un système de stockage qui concentre toutes les données des utilisateurs. Ce système consiste en une baie de disques SCSI d’une capacité totale maximale de 320 Go. Cette baie est gérée par un serveur dédié fonctionnant sous Novell Netware.
2) Premières décisions:
Si possible, le nouveau système doit permettre de continuer à faire fonctionner notre organisation basée autour de nos serveurs Novell, avec annuaire EDirectory, sans hypothéquer une éventuelle migration vers du « full Microsoft ».
Après réflexion, et quelques mois de tests, je prends la décision de virtualiser tous mes serveurs pour m’affranchir du matériel et minimiser le nombre de machines physiques. Quatre acteurs dominent le marché de la virtualisation: VMware, Xen, VirtualBox et HyperV de Microsoft. A un moment, il faut trancher et prendre une décision stratégique, et c’est ma responsabilité. Après plusieurs tests et quelques hésitations, je choisis VMware pour sa fiabilité, ses parts de marché et son interface clic&play.
3) Etudes documentaires:
Choisir une solution de stockage demande de connaitre l’état de l’art. Curieusement, grâce à mon blog et suite à ce billet, plusieurs responsables informatiques m’ont contacté et, dans les discussions par emails qui ont suivi, ils m’ont fait part de beaucoup de trucs et astuces qui ont pu faire avancer ma réflexion.
Le plus utile dans mon cas a été l’outil open source « OpenFiler » qui avait échappé à mes recherches googlesques et qui s’est révélé très utile pour comprendre et tester CIFS, NFS et surtout iSCSI grandeur nature. Bref, si vous voulez mettre en place un NAS ou un SAN gratuit…
Merci en tout cas à tous les RSI qui m’ont aidé via mon pseudonyme Zythom!
4) Les fournisseurs:
La chance que j’ai de travailler dans le privé est de ne pas être contraint aux lourdeurs des appels d’offres publics. J’ai mis en place en fait une procédure qui s’appuie sur les avantages des deux systèmes (mise en concurrence, transparence) tout en évitant les inconvénients (lourdeurs des commissions d’ouverture des appels d’offres, rédaction des CCTP et CCAP, etc).
Je rencontre donc plusieurs fournisseurs (j’en parle un peu ici) et plusieurs utilisateurs. Je parle de mon projet et chacun me vante les mérites de son système.
Peu à peu, je me rends compte que les prix des SAN d’entrée de gamme ont baissé et que la meilleure solution pour moi est vraiment de remplacer mon système de stockage par un SAN sur lequel pourront s’appuyer les machines physiques qui hébergeront mes machines virtuelles.
Mais chaque fournisseur met en avant plusieurs solutions avec des caractéristiques techniques très différentes. Comment comparer?
5) SAS ou SATA?
Les disques durs SAS sont très rapides, mais très chers avec peu de capacité.
Les disques durs SATA offrent de très grandes capacités à des prix très abordables, mais un temps d’accès long.
Après plusieurs hésitations, et une visite chez mon voisin universitaire, j’ai choisi de prendre une baie SAN avec beaucoup de disques SATA. J’ai ainsi le beurre (coût intéressant, grosse capacité), l’argent du beurre (nombre d’I/O suffisant car 10 disques) et le sourire de la crémière: j’ai pu acheter deux SAN identiques.
6) Le choix final:
J’ai retenu la solution « deux SAN Dell MD3000i ».
J’ai ainsi un SAN pour le stockage des datastores VMware sur des LUN de 2To basés sur un disque virtuel de 8 disques SATA d’1To en RAID5 avec 2 disques hot spare.
Le deuxième SAN (identique) me permet de disposer d’un matériel de secours en cas de panne majeure sur le premier, et me sert pour entreposer les copies de sauvegardes des machines virtuelles, ainsi que les backups sur disques (qui sont quand même beaucoup plus rapides que les backups sur bandes).
C’est « ceinture et bretelles ».
7) Et maintenant?
J’assume les choix effectués, même s’ils sont évidemment critiquables par des spécialistes. Mais quand on est généraliste, il faut s’appuyer sur les conseils du réseau et sauter à l’eau.
J’ai fini de faire joujou avec les outils de configuration des deux SAN. J’ai créé les LUN. Je suis en train de migrer mes machines virtuelles et de virtualiser les machines physiques. J’en profite pour passer de la version gratuite de VMware ESXi3.5 vers la version commerciale intitulée vSphere Enterprise 4.0. Du coup, je commence à découvrir et à jouer avec VMotion.
Mais cela, c’est une autre histoire.
"Ceinture et bretelles" c'est bien, mais "Ceinture, bretelles et parachute" c'est encore mieux 🙂
Dans votre cas, tout en gardant la même capacité utile j'aurai opté pour du RAID6 avec un seul hotspare (c'est à priori supporté par la MD3000i).
En effet, avec 2 hotspares et du RAID5 la baie ne survivra à une double panne qui si la deuxième intervient après la reconstruction consécutive à la première, ce qui peut durer très longtemps (de 24 à 48h selon la charge de la baie). Même topo si une troisième panne intervient.
En RAID6, le système pourrait encaisser une double panne simultanée sans perte de données et conserver sa capacité à survivre à une troisième à l'issue de la reconstruction.
En passant de RAID5 à RAID6, vous pourriez vous affranchir de la durée d'exposition au risque sur une double panne, en gardant la même capacité de stockage et la possibilité d'une triple panne…
De quoi passer ses week-end l'esprit tranquille, non? 😉
"Ceinture et Bretelles", ça dépend. Le deuxième SAN, il est dans le même bâtiment ? 🙂
Les bandes, ça a quand même l'avantage de pouvoir être stockée à l'extérieur par roulement.
"Trois acteurs dominent le marché de la virtualisation: VMware, Xen, VirtualBox et HyperV"
1,2,3…4 ? (sauf si on considère que l'un des 4 ne domine pas le marché 😉 )
(y'a pas à dire, le fond noir, ca fait mal aux yeux :p )
C'est la bataille !
C'est la bataille !!
Ceintures et Bretelles… mais si les coutures ont été faites mar le même couturier, gare :-S
Si tous les disque sont de la même série, le risque qu'ils aient tous la même durée de vie est élevé.
C'est ce qui nous est arrivé : 5 serveurs identiques commandés en même temps. 4 disques dur morts sur 1 mois.
Le plus drôle fut quand le technicien du constructeur est venu pour la premiere fois et a essayé de faire du hotplug de controleur RAID sur carte mère (au lieu de hotplug de disque), et a grillé le controleur, et aussi le disque encore en vie ;-(
Même si vous faites des backup sur disque, j'espère que vous ne négligez pas des sauvegardes sur bande, ne serait ce que pour les stocker sur un autre site, à l'abri du feu et de l'eau.
Openfiler est un bon choix pour se familiariser avec les SAN et les NAS, et je me permet de signaler un ouvrage que j'ai écrit, publié initialement chez la défunte O'Reilly France, et maintenant chez Digit Book : "Mise en œuvre de stockage réseau NAS ou SAN avec Openfiler ", sous format électronique (et sans DRM !), à cette adresse : https://www.digitbooks.fr/catalogue/9782815001656.html
@Zythom: Dans votre cas il n'y aurait aucune perte de performance en lecture entre RAID5 et RAID6 car vous conserveriez le même nombre de disques "utiles".
Pour ce qui est des écritures, la perte était systématique avec du RAID6 logiciel, et encore notable avec certains contrôleurs. Bien que nous fassions de la sauvegarde sur disques (écritures intensives mais faussement linéaires du fait de la parallélisation), nous n'avons noté aucune différence significative (ces tests n'ont toutefois pas été menés sur des baies Dell, dont la documentation elle-même est plutôt pessimiste quant au RAID6). Les pertes estimées sont donc a tempérer en fonction du matériel disponible et du mix réel écritures/lectures, mais je reconnais qu'il est extrêmement chronophage de mener des tests réalistes…
@Thierry: méfiez-vous aussi du technicien qui enlève un bon disque, ça s'est déjà vu 🙂 Je réclame une minute de recueillement pour le RAID5 qui vient de décéder dans la force de l'âge!
PS: ne dit-on pas 'après coup' au lieu de 'après coût'? (notre hôte semble obsédé par une bonne gestion et c'est tout à son honneur!)
@Lionel: En faisant le choix du SATA, j'ai fait le pari du bas prix et de la vitesse moindre. J'ai lu que le RAID6 était moins performant (en vitesse) que le RAID5. C'est pourquoi j'ai préféré le RAID5 pour ne pas dégrader encore les perfs.
@julien: Pour l'instant, les deux SANS sont superposés en salle serveur, mais le 2e est prévu pour aller dans un autre bâtiment relié par une fibre optique.
@1234: J'ai ajouté VirtualBox après coup sans corriger le début de phrase. Corrigé, merci. Pour le fond noir, je ne cèderai pas!
@Gérard: Je n'ai pas osé. Hu hu hu!
@Thierry: Diable… J'ai 10 disques de 1To actuellement dans mes serveurs ESXi3.5 en cours de migration vers ESXi4.0. Dès que toutes les VM sont migrées vers le SAN, je vais pouvoir récupérer les disques durs et faire quelques échanges avec ceux des SAN. Merci du conseil!
@Lionel: Corrigé, après coup…
dans SAN, c'est Network qui me laisse songeur…
Brancher des câbles fibre channel ça crée des fabriques pas des réseaux…
Une erreur commune (a mon gout) c'est de faire passer les détails techniques Hardware avant le management de ladite solution.
Mais je suis biaisé la dans mon commentaire, car je crois que je ne pourrais pas/plus me passer de Virtual Instrument… Après chacun …
euh … ch'tite remarque …
Vous êtes content d'avoir aussi la crémière grace à un deuxième SAN … mais vous l'utilisez aussitôt !
Donc …
Au cas où la première baie casse …
Vous avez l'option : j'écrase mes sauvegardes par mon secours !!!
C'est quand qu'on parlait du maillon faible ? ouais … je sais … je sors :-p
@rbawbpx7: Heu, en fait, j'ai choisi des SAN iSCSI avec des cartes Ethernet. Je n'ai donc pas de Fibre Channel (a priori?). Et entre les 2 réseaux de stockage, le réseau de management et le réseau réservé à VMotion, le "N" de SAN est bien mérité, non?
@eThor: Je n'ai pas été très clair: sur le 1er SAN, j'ai mes VM et parmi elle une VM spécialisée dans la sauvegarde classique (avec agents). Cette dernière VM stocke ses fichiers sur le 2e SAN. Sur le 2e SAN, j'ai une copie des VM (y compris la VM spécialisée dans les sauvegardes).
Si le 1er SAN lache, j'ai les VM qui peuvent démarrer illico. Et si quelqu'un perd une donnée, je peux la récupérer via ma VM de sauvegarde.
N'oubliez pas que je suis passé de 320 Go à 2x10To. Cela laisse de la marge pour répartir les données 😉
@Zythom,
Hum, oui quoique iSCSI SAN qui généralement utilisent IP, c'est une application pas un réseau a proprement parlé, si on doit appeler SAN tout ce qui utilise un tuyau réseau CIFS et NFS sont des SAN aussi alors non ?
Juste pour info, au cas ou … Le passage à une licence supportant vmotion peut se faire en conservant la version ESX4i, il n'est pas nécessaire d'installer une version lourde.
Et concernant les MD3000i, j'espère que vous avez pris les doubles contrôleurs. Cela permet d'éviter la bascule entre les baies pour une simple question réseau …
@rbawbpx7: par définition iSCSI s'appuie sur TCP/IP (pas d'UDP pour des raisons évidentes de cohérence des données) et c'est un protocole d'encapsulation, pas une application.
L'appellation SAN ne concerne que la mise en réseau de périphériques de stockage (et pas seulement de disques), qui – via les BIOS et/ou drivers appropriés – sont vus par les machines les utilisant comme si ils y étaient directement attachés (DAS) et en mode bloc.
On dira par contre d'un serveur ou d'un matériel dédié fournissant les services CIFS et/ou NFS qu'il est un NAS.
@lionel
Problème de terminologie sans doute,
Quand je dis application, je veux dire couche d'application (on dit comme ça en Français ?)(application layer).
Application Layer qui est palace au-dessus de TCP.
On top of TCP comme le définit RFC3720
https://www.isi.edu/in-notes/rfc3720.txt
Mon commentaire était plus sur:
a quand un SAN ?
Sans doute que je suis fatigué d'entendre le markéting dicter la terminologie technique …
"On dira par contre d'un serveur ou d'un matériel dédié fournissant les services CIFS et/ou NFS qu'il est un NAS."
C'est precisement mon point, oui.
Bonsoir
Si vous faites du VMotion, ça veut dire que vous avez également un deuxième serveur esxi4 ? Vous pensez également l'installer avec le deuxième SAN dans un autre local ? Je réfléchis à faire le même genre d'opération pour notre salle info qui compte une quinzaine de serveurs.
Avez vous envisagé d'utliser la solution VMWare pour les sauvegardes par snapshot, ou fonctionnerez vous uniquement par agent sur chaque machine virtuelle ?
Merci de votre réponse.
Damien
@Anonyme: J'ai quatre serveurs ESXi reliés à deux SAN dont un est situé dans un autre bâtiment.
J'ai retenu VMware car c'était pour moi la solution la plus fiable et, oui, j'utilise les fonctionnalités de snapshot pour sauvegarder les VM (j'effectue également des clones à chaud).