Esx 3 Tips, Bière et Muse

Q : Vous avez un auditeur de sécurité plus que pénible et vous devez couper le HTTP ( port 80 ) et le HTTPS ( 443 ) de votre console ....là ou se trouve ce qu'on appelait avant MUI et qui maintenant est plus touffus et comporte le web Access le script de déployment une tétrachiez de petit services etc.. bref pas simple de couper le site ( 28/11/07)

R : Bin, certes Mr Vmware s'est fendu d'un joli script qui permet d'ouvrir et fermer des ports aisément, sauf que cet infame espece de porc de Mr Vmware a encodé en DUR dans la commande esxcfg-firewall que les port 80 443 22 et 903 seraient ouvert..... du coup impossible avec toutes les peines du monde de pouvoir fermer ces ports avec la dite commande... donc nous aussi on va faire les porcs.... Esxcfg-firewall est un script shell qui a pour but de faire faire utiliser rapidement au commun des mortel l'iptable du kernel de la console ( le firewall du noyo d'un linux de base) ... rien d'extraordinaire donc.

BLABALBAL. attention... c'est la que ca commence...

my %defaultChains = (
   'INPUT' => [
      # allow all loopback traffic
      '-i lo -j ACCEPT',

      # check for valid tcp flags
      '-p tcp -j valid-tcp-flags',

BLABLABLA

      # port 902 server
      '-p tcp --dport 902 -m state --state NEW -j ACCEPT',

ICI on commente les 2 lignes -p quelque chose.

      # http/https server
      #'-p tcp --dport http -m state --state NEW -j ACCEPT',
      #'-p tcp --dport https -m state --state NEW -j ACCEPT',

      # Allow dhcp responses
      '-p udp --dport 67:68 --sport 67:68 -j ACCEPT',

ETC ETC ETC

[root@monesx rc3.d]# ls /usr/sbin/esxcfg-firewall -l
-r-x------ 1 root root 30053 Nov 28 16:47 /usr/sbin/esxcfg-firewall

Et voilou... mais attention, au prochain update qui touchera ce fichier ça peut potentiellement voler...

R: bin non... .c'est eux.. avant l'interfaçage ( on va dire ) entre le vmkernel et linux kernel se faisait par la.. maintenant c'est de la tambouille interne... mais joie on a un tools... en fait on retrouve tout derrière une longue commande qu'il suffit donc de grépper.... ( oui cochon moi aussi je le pense, mais l'accès par le SDK je ne maitrise pas. )

|----Product Name.............................................ProLiant ML370 G4

Mais c'est très cochon a parser maintenant... rapport a ce qu'il on mis une arborescence en fichier texte... faites esxcfg-info | less vous allez comprendre

mais bon pour les greppeur fous il ont ajouté des bornes a grep...

[root@monesx root]# esxcfg-info -help
Usage: esxcfg-info mode
-a, --all           Print all information
-w, --hardware      Print hardware information
-r, --resource      Print resource information
-s, --storage       Print storage information

On avait le débit HDD, le débit CPU, le débit lan par carte ( ou réseau interne nic ou net quoi) et ensuite les vm fallais se battre dans /proc pour retrouver qui est qui ( si on est trop fainéeant pour ouvrir le mui.. ).

Maintenant c'est ca :

Alors effectivement vi comme ca .... on est décu... on a en fait une vue qui ne s'intéresse qu'au CPU... mais on est déja content.... on a les vrai nom des machine virtuelles....

ensuite on tape négligeament sur D on a les ressources disques

On tape sur M, les infos sur la mémoire...

Appartée : Notez COSMEM c'est la mémoire de la console ( et oui de nos jours tout le monde s'en fout... mais dans certain cas faut encore la tuner... ) ici c'est border line... Ma console à 272mo ( 2eme ligne au milieu, 272 c'est le bon gros défaut sur ESX3 ) ... elle dispose de 8 mo de Ram libre ( COSMEM a gauche, ca craint ) , elle a un Swap de 768 Mo ( swap_t) dont 605 sont déja bouloté.... swap_f... bref ici je suis désolé c'est pas le top ( dieu merci ca swappe pas encore, mais 17 vm ca commence a se faire sentir sur un ESX au niveau de la console... ), et si j'ai un agent de backup sur l'esx qui démarre au autre chose....je rapelle que c'est toujours la console qui s'occupe de vous faire accéder à la console des VM... donc glup...

Pour jouer avec la taille de la mémoire console... c'est dans le VI Client -> Onglet Configuration / Memory... et faut rebooter. ( ici 768 lui ferais pas de mal )

Maintenant c'est pas tout si on Tape N on tombe sur le détail des I/O réseau....

Sympas mais c'est pas tout... d'un coup d'un seul.... si vous tapez F ( pour choisir les champs affichés ) et C ( pour les info physique des cartes ) On peut alors d'un coup d'oeuil connaitre les vitesses des lan..

Me dite pas que la vous avez pas un début de demie molle qui monte ... en 2 secondes on sait qui est connecté ou et a quelle vitesse pour l'uplink.

Bon les puriste dirons que c'est un peut redonndant de la commande esxcfg-nics ... a cela je répondrais que par rapport a la dite commande, ici d'un coup d'oeuil on sait sur quel vswitch c'est et quelles sont les vm dessus.

Un peut comme virtual center le fait quoi... sauf que la , en ligne de commandes... et que nous on à le débit.

Conseil Gratos :

Ici tant qu'on y est, moi j'aurais pas attaché le Vmotion sur la même carte que les lan des VM, je l'aurait attaché a la carte console qui fout rien.

Plus la carte est dispo, plus le transfert de la ram va vite, moins on peut avoir d'emmerdes avec le Vmotion ;)

Mais bon ....revenons a ESXTOP v3.. Avouez que quand même .... c'est vachement mieux que le vieux ESXTOP v2.... si vous voulez explorer toutes les possibilitées...

'f' 'o' et '?' c'est vos touches amies

Q: Sur mon ESX 3 .. Installer tout les patchs en une seule ligne ( certes une belle )

Downloader tout vos patches dans /var/updates, Assurez vous d'avoir aucun VM qui tourne, allez dans ce répertoire et lancer :

Et voila le tour est joué...
    Ça décompresse les Tar qui sont là
    ça installe les patches par ordre chronologiques sans rebooter.
    Supprime les tar et vous garde les répertoires d'install...
et ça reboote le host...

La classe....

   ------ Name ------ --- Install Date --- --- Summary ---
          3.0.2-52542    12:02:30 09/07/07 Full 3.0.2 release of VMware ESX Server
          ESX-1001725    16:35:24 09/07/07 Security update for the bind package.
          ESX-1001726    16:40:49 09/07/07 Security update for shadow-utils package
          ESX-1001727    16:41:14 09/07/07 Security update for openldap packages.
          ESX-1001728    16:41:30 09/07/07 Security update for pam packages.
          ESX-1001729    16:41:55 09/07/07 Security update for gcc packages.
          ESX-1001730    16:42:09 09/07/07 Security update for gdb packages.
          ESX-1001731    16:42:25 09/07/07 Security update for krb5 packages.
          ESX-1001732    16:42:50 09/07/07 Fix multicast extra packets in NIC Team.
          ESX-1001735    16:43:15 09/07/07 To update tzdata rpm.
          ESX-1001902    10:53:35 11/29/07 CCISS Driver 2.4.66; 16+ Logical Drives
          ESX-1001903    10:54:11 11/29/07 Support BNX2 5709 Based NIC
          ESX-1001904    10:54:45 11/29/07 nVidia Forcedeth Interrupt Storm Fix
          ESX-1001906    10:55:19 11/29/07 MegaRAID 3.0.9 driver; LSI 1078 Support
          ESX-1001908    10:55:53 11/29/07 SUN X7284A-Z PCI GB Ethernet
          ESX-1002086    10:56:19 11/29/07 Support Linux guest SLES 10 SP1.
          ESX-1002087    10:56:38 11/29/07 Fix time gain issues with Window OS.
          ESX-1002089    10:57:07 11/29/07 Slow ping response from service console.
          ESX-1002090    10:57:23 11/29/07 vcbResAll -b prompt fills up log space.
          ESX-1002424    10:57:54 11/29/07 VMotion RARP broadcast to multiple vmnic
          ESX-1002429    10:58:35 11/29/07 Path failback issue with EMC iSCSI array

Q: Damned la machine Vmware refuse de se déplacer, via vmotion, cold motion ou autre...

R: un classique, le plus drole c'est que ca arrive généralement à 99% de la copie quand il se rend compte après 3h de transfert ..

Alors dans l'ordre on vérifie qu'on a pas laisser trainer un CDROM attaché ou autre pour le cold motion. Ensuite si cela ne veut toujours pas, vmware-cmd -s unregister du vmx, déplacement manu military de tous les fichier sauf les disque...ne les déplacez pas avec "cp" sous peine d'y passer des heure. en fait Ne faites jamais la copie de disques avec la commande CP de la console ... pour cette partie prenez vmkfstool et ça ca droppera le djebel, cela va plus vite généralement de déplacer un disque de LOCALA -> SAN commun -> LOCALB que faire SCP de LOCALA -> LOCALB .. évidement faut déja un SAN, pour ce qui on que des disque locaux...ftp c'est plus rapide que scp. et donc cela vas aussi beaucoup plus vite d'utiliser vmkfstools de disque a disque plutot que d'utiliser le cp, car ce dernier qui a des performances bien bridée ( console oblige )

vmkfstools -i /vmfs/volumes/monstorage/avant/source.vmdk -d vmfs /vmfs/volumes/monstorage/apres/target.vmdk

et après votre copie un vmware-cmd -s register..

On peut aussi essayer avec unregister, on ne garde que les HD,recréation de la vm à la main depuis zéro avec VI Client. ca évite encore plus les crasses dans le fichier de config. et généralement après cela le déplacement marche.. on gardes souvent des merde d'une upgrade de VM de 2x

Q: Comment schéduler un Cold Motion de nuit alors que la VM tourne.

R : Vous n'avez pas la 3.5 et son magique ( que j'ai pas vu encore ) Storage Motion.. et bien sur vous aussi vous avez constaté que on peut schéduler un power off, un clone... mais pas un 'migrate' sans vmotion si la machine tourne.. c'est très con hein, alors qu'on sait scheduler le power off avant... bravo Mr Vmware, bien pensé, et ce truc ca nous pourris depuis la 1ere version de virtual Center... voila la solution que j'utilise.

J'ai une VM nommé vm-amoi sur mon ESX serveur A, et je veut la mettre sur mon serveur ESX B

1) je renomme la VM-amoi en VM-old sur ESXA avec VI Client
2) je schédule le power off de VM-old sur ESXA avec VI Client
3) je schédule le "clone" sans modif de vm-old vers vm-amoi ou je veut...schéduler bien sur après le power off sur ESXA avec VI Client
est c'est la que c'est exceptionnel... cloner....si la VM tourne CA il veut bien le schéduler...
4) j'estime le temps de copie .. et a la main avec mes doigt sur l'esx de destination je schédule avec le cron un vmware-cmd start de mon VM-amoi flambant neuf sur ESX B
5) le lendemain je détruit VM-old et je nettoye le cron de ESX B

Donc Mr Vmware.. SVP ... laissez nous schéduler les cold motion..., allez pour 2009... ne soyons pas trop exigeant, vmware à des fois du mal a implémenter des truc connus, en 2006 on a rédécouvert le concept du "folder" avec la VMFS version 3, c'est bete ca me rapellais mon Amstrad CPC. En 2008 on va découvrir le Windows Update à ESX.... ..alors on veut bien patienter jusqu'en 2009 pour cela.

Q: Comment creer une partition VMFS a la main quand le VI Client ne veut pas (10/12/07)

R: Défois ( souvent quand c'est un disque local, et que les autres partoche son loquée ) la Gui ne daigne pas creer de partitions VMFS. et défois simplement on veut faire le Kaid et se faire les partitions VMFS a la main...

Qu'a cela ne tienne... etape 1 créer la partition

Il faut donc partitionner le disque ... pour cela fdisk est votre amis. le soucis c'est de retrouver le nom utilisé par la console linux du disque. ex : /dev/sda ( le cas le plus simple dans le cas d'un disque local par exemple ) mais ca peut etre un nom beaucoup plus exotique genre /dev/cciss/c0d0 dans le cas d'un controleur Raid HP et j'en passe.

Pour cela, le plus simple c'est de labourer /var/log/message

[root@monesx root]# cat /var/log/messages | grep sd
Dec 10 09:41:00 mother kernel: sda : MODE SENSE failed.
Dec 10 09:41:00 mother kernel: SCSI device sda: 37287936 512-byte hdwr sectors (18206 MB)
Dec 10 09:41:00 mother kernel: sda: sda1 sda2 sda3 sda4 < sda5 sda6 sda7 sda8 sda9 >
Dec 10 09:41:00 mother kernel: SCSI device sdb: 392828928 512-byte hdwr sectors (191810 MB)
Dec 10 09:41:00 mother kernel: sdb: sdb1 sdb2

Ici donc on a semble t'il 2 disques sda et sdb

Mais on peut aussi tenter sa chance avec la commandes vmware vmkpcidivy. ce qui est rigolos c'est qu'on nous informe que cette commande est has been et je ne sais pas encore comment faire "ESX 3" proprement sans celle la... bref

[root@monesx root]# vmkpcidivy -q vmhba_devs
vmhba0:0:0 /dev/sda
vmhba0:1:0 /dev/sdb

Une fois qu'on connais le disque, et bien on utilise donc un bete fdisk... option n pour nouvelle partition

[root@monesx root]# fdisk /dev/sdb

The number of cylinders for this disk is set to 24548.
There is nothing wrong with that, but this is larger than 1024,
and could in certain setups cause problems with:
1) software that runs at boot time (e.g., old versions of LILO)
2) booting and partitioning software from other OSs
   (e.g., DOS FDISK, OS/2 FDISK)

Command (m for help): n
Command action
   e   extended
   p   primary partition (1-4)
p
Partition number (1-4): 1
No free sectors available

Donc dans l'ordre ca demande si on veut une primaire ou etendue ( on revient pas dessus 4 primaire max ) et son Nr.. secteur du début, secteur de fin ( en cylindre ou taille ex : +3GB = 3 GigaOctet )

Ensuite il faut changer le type de la partition, le type c'est juste un Byte qui permet sans analyser le contenu de savoir a quel type de file system on doit s'attendre... par défaut ca enmanche un ext3 (type 0x83) et nous on veut un vmfs3.. le type 0xFB, a notez vmfs 2 c'est le meme type, par contre la partition core elle c'est 0xFC.

Donc sous fdisk on fait t pour type et on choisis sa partoche et on met fb

Command (m for help): t
Partition number (1-4): 2
Hex code (type L to list codes): FB

Command (m for help):

voila pour le Fdisk c'est bon... on fait Write ( w )

Command (m for help): w
The partition table has been altered!

Calling ioctl() to re-read partition table.

WARNING: Re-reading the partition table failed with error 16: Device or resource busy.
The kernel still uses the old table.
The new table will be used at the next reboot.
Syncing disks.

Alors si le disque est déja utilisé par la console vous allez vous taper le message ci dessus... pas de stress il suffit de rebooter pour que l'os relise correctement la table des partitions.. oui je sais c'est chiant.... vous n'aviez qu'a vous payer un san.

Après le boot, il suffit de formater le volume en vmfs avec la commande vmware vmkfstools option C ( notez c'est un GRAND c ), alors il faut maintenant retrouver le nom Vmware du disque on se rapelle :

Vmhba + adapter : SP : LUN : Partition

Ex : Vmhba1 :1 :12 :1 , HBA1 sur un San SP 1, lun 12 partition 1
Ex : Vmhba0 :0 :0:9 sur un carte SCSI locale ( hba0) , partition 9
Ex : vmhba0 :1 :0 :1 sur une carte SCSI locale (hba0) , deuxième array, 1ere partition

On retrouve cela dans le fameux "vmkpcidivy -q vmhba_devs" et la vous remarquez qu'il manque la partition.. normal on demande le disque juste... mais nous on va se servir de ca... donc sur un HD local avec une seule carte et que ca serais la partition 7 cela ferais vmhba0:0:0:7 on part sur cet exemple..et on tape :

vmkfstools -C vmfs3 -b 1m -S mesdata vmhba0:0:0:7

-C ( majuscule !! ) pour créér un volume ( formater quoi )
vmfs3 dis qu'on veut un volume en.... vmfs3.... bravo ca suit
-b ( minuscule !! ) donne la taille des blocs ( ici 1mo... )
-S ( majuscule !! ) nomme notre partition, ici on aura un storage nommé "mesdata"
et la partition incriminée en derniere options.

Et voila.. finis, faites un "ls /vmfs/volumes" ou un "vdh -f" votre disque est là.

v 0.2 rev 10/12/07 - Update howto VMFS create
v 0.1 rev 30/11/07 - Edition Originale

Alors pour patienter...

Quelques tips sous ESX 3 pour les ptis gars du système en péril virtualisant à tour de bras... v 0.2

Sinon je suis déçus déçus.... avec les mots clef ESX et BIERE je n'arrive pas 1er chez google.... je suis le 4ème lien sur google.fr et seulement le 7ème sur google.com..... va falloir se reprendre... bookmarquez moi les enfants...

Index