Installer et utiliser s3cmd pour gérer Amazon S3 en ligne de commande

Ce week end, je vous ai expliqué comment balancer vos backups automatiquement sur Amazon S3, mais si voulez faire certaines choses manuellement, il existe l'outil parfait pour ça : S3cmd.

S3cmd, c'est tout simplement une interface en ligne de commande pour piloter son Amazon S3.

Pour l'installer (ubuntu / debian), faites (sinon, les binaires sont là) :

Ensuite, il faut le configurer :

Suivez les instructions. En gros, vous avez besoin de votre clé d'accès et de votre clé secrète S3. Pour savoir comment les récupérer, je vous invite à lire la partie sur IAM dans ce tuto.

http://korben.info/wp-content/uploads/2016/11/s3config.jpg

Le processus de config vous demandera aussi un mot de passe pour chiffrer les fichiers envoyés vers le S3. Ce n'est pas obligatoire, à vous de voir. Par contre, je vous recommande vivement d'accepter l'utilisation du protocole HTTPS ("Use HTTPS protocol : Yes") pour que les fichiers soient transmis au serveur S3 avec un minimum de sécurité. Si ce sont des fichiers publics, vous pouvez passer en HTTP, ce sera un peu plus rapide.

Voilà, maintenant que c'est configuré, on va pouvoir jouer. Première étape, lister les buckets présents sur Amazon S3 :

Ensuite, pour créer un nouveau bucket :

Maintenant on va mettre des trucs dedans avec le paramètre put :

Pour y balancer carrément un répertoire, il faut utiliser le paramètre -r

Attention, petite subtilité, si vous voulez uploader uniquement le contenu de ce répertoire (et pas le répertoire lui-même), pensez à mettre un / après le nom :

Maintenant pour vérifier que tout est bien en place sur le bucket, il suffit de faire un petit ls

Pour connaitre la taille de votre bucket, faites un

Pour récupérer l'un de ces fichiers, utilisons maintenant get

Pour copier un fichier d'un endroit à un autre du bucket (ou de 2 buckets différents), faites :

Pour déplacer un fichier, même principe :

Voilà, maintenant vous maitrisez S3cmd. Maintenant si vous voulez supprimer un truc (fichier ou dossier), il faut faire :

Vous pouvez aussi utiliser l'alias "rm" à la place de "del".

Sachez enfin que pour supprimer totalement un bucket il faut que ce dernier soit vide. Pensez donc bien à en supprimer tout le contenu avant de supprimer le bucket en lui-même. Voici comment supprimer un bucket vide :

Si vous placez des choses dans Glacier comme je vous ai expliqué sur mon tuto précédent, vous pouvez aussi restaurer des fichiers à partir de celui-ci avec la commande

      s3cmd restore s3://monbucket/fichier.jpg

Si vous avez besoin de synchroniser un répertoire local avec un répertoire S3, utilisez la commande sync. Elle utilisera les MD5 des fichiers pour savoir quoi envoyer et quoi mettre à jour sur votre S3 ou en local sur votre disque dur.

Et voilà.. Rien de plus simple à utiliser en fait, alors pourquoi s'en passer ?

S3cmd propose aussi des choses un peu plus évoluées pour gérer les droits d'accès, jouer avec les archives splittées, régler le cycle de vie des buckets, ou encore publier sur le web mais je n'ai pas encore testé toute cette partie, donc je vous invite à vous pencher sur la doc ;-).

Cet article merveilleux et sans aucun égal intitulé : Installer et utiliser s3cmd pour gérer Amazon S3 en ligne de commande ; a été publié sur Korben, le seul site qui t'aime plus fort que tes parents.

Voir l'article complet