Mon absence de la toile pendant 19 jours - commentaires

Mon absence de la toile pendant 19 jours

Je crois que je me suis mal exprimé.

En gros ce que fait mon script c'est :
– La première fois il récupère tous les fichiers et les mots dans un dossier local
– Les fois suivante il ne récupère que les dossiers ajoutés ou modifiés et les rapatrie en local. Si des fichiers distant ont été supprimés, ils les supprime aussi en local.

Résultat : après chaque execution, j'ai en local une copie conforme du fichier distant
Pour savoir si un fichier a changé, l'outils se base sur la date et la taille (on peut aussi le basé sur md5, mais c'est plus lourd).

Et pour conserver un historique des vieilles versions, je me base sur mon outils de sauvegarde local (time machine).

Mon absence de la toile pendant 19 jours

Hum… J'ai du mal à voir comment tu gère le diff et que tu t'en sers pour reconstruire ta sauvegarde...
Tu fais en fait un changelog ?

Tu encodes en base64 les documents ? ;-)

Mon absence de la toile pendant 19 jours

je viens de coder mon module. Cela marche globalement.

Pour le moment cela ne fait pas dans l'autre sens, et il y a deux limites :
– bug si on essaie de récuperer un dossier qui n'existe pas (ftp)
– pas d'interface pour changer le mdp ftp (il faut le faire dans le trousseau d'accès)

bon je document cela demain soir.

Mon absence de la toile pendant 19 jours

pour le coup avec ce genre d'outils mes_fichiers devient inutile, et même contre productif, puisque générant un zip à chaque fois, et donc impliquant un rapatriement d'un gros fichier a la place de rapatrier juste les diff.

Mon absence de la toile pendant 19 jours

Disons que là on va fonctionner dans un sens pour le moment. Pour l'autre sens, ce sera pour plus tard.

On part du postulat que la sauvegarde n'a normalement pas à être utiliser, et que si elle est utiliser, elle peut être restauré manuellement plus facilement.

Normalement cela ne devrait pas être trop long à coder : faut juste que :
– je gère un formalisme d'encodage pour sauvegarde plusieurs sites d'un coup en fonction des divers paramètres
– je gère l'interaction avec le trousseau d'accès, histoire de ne pas écrire en dur.

Mon absence de la toile pendant 19 jours

Si tu fais une sauvegarde de ce genre, il faudra permettre une restauration a partir de tous ces fichiers et ainsi reconstituer le site.

Pour ma part, j'avais pensé regarder l'API de Dropbox. Plusieurs possibilités seraient offertes cette API mais ce qui nous intéresse pour le sujet de la sauvegarde, est le transféré sur son compte Dropbox des fichiers issus des plugins "Mes fichiers" et "Sauvegarde automatique"…
mais bon, j'ai une todolist longue comme le bras écrite en corps 5…

Mon absence de la toile pendant 19 jours

quand je parle d'une sauvegarde incrémentel, je pense à une sauvegarde qui ne fasse que les données modifier depuis la dernière sauvegarde.

Mon absence de la toile pendant 19 jours

Après regard sur lftp et rsync, je pense pouvoir faire un script générique qui permette facilement de sauvagrder plein de fichier spip soit via ftp, soi via ssh.

J'essaie de coder cela demain soir.

Mon absence de la toile pendant 19 jours

La semaine dernière, entre les différentes attentes et animation des communautés qui se sont créées spontanément autour de cet événement, j'ai fait quelques recherches et voici ce que j'ai trouvé :
– http://www.coolestguidesontheplanet.com/backup-website-cpanel-manual-automatically-script-cron/
– http://www.coolestguidesontheplanet.com/script-an-ftp-connection-to-login-and-download-your-cpanel-backup/
– http://www.coolestguidesontheplanet.com/scripting-os-x-launchd-agent-to-run-a-backup-command/

Je n'ai pas encore "compris" la mécanique des bash n'étant pas "formé" à ce sujet. Je me renseigne encore un peu pour que cela soit plus naturel et moins hésitant (pour ne pas avoir ça un jour)
Quand ça sera fait, je mettrai une routine pour télécharger les différents zip vers mon serveur local.

Pour l'hébergeur, je préfère aussi avoir un accès SSH. Quand on a assimilé les lignes de commandes, on ne peut plus s'en passer ! Le ftp, c'est cool, mais surtout pour dépanner.

L'incrément à quel niveau ? Sauveauto et mesfichiers font l'incrément des fichiers (YYYYMMDD-HHSS).

Mon absence de la toile pendant 19 jours

Oui, c'est clair que c'est pas glop ! °_°

En fait, plusieurs solutions. La toute première qu'à la base j'applique sur tous mes sites SPIP : plugin Sauvegarde Automatique et mes fichiers.
Malheureusement, sur mes 2 domaines principaux (http://www.teddypayet.com et http://www.ma-vie-en-chocolat.fr), le mécanisme de sauvegarde automatique s'est arrêté il y a un an... Pourquoi ? Aucune idée !!
Je règle aussi pour ce plugin l'envoie par e-mail du fichier sql.gz (On gonfle un peu le chiffre des Mo pour que ça passe). Comme ça, pas de soucis.
Configuration : seuil des zips à 75Mo, activer la sauvegarde régulière, fréquence des sauvegardes, structure et données de toutes les tables, activer le nettoyage journalier des archives, conservation des sauvegardes 15 jours, activer les notifications et seuil d'envoi du mail à 100Mo (oui c'est gros mais faut que ça passe).

"Mes fichiers" a le mérite de sauvegarder et compresser tous les fichiers importants. Le hic, c'est que ça reste sur le serveur. Et si tu ne mets pas en place une mécanique de téléchargement automatique (ou de copie vers un autre serveur), ça perd un avantage.

Mon absence de la toile pendant 19 jours

C'est pas glop tout cela.

Tu compte faire comment pour les sauvegardes de BDD et de fichiers ?

pour ma part j'ai la politique suivante :
– un script qui récupère TOUT les fichiers importants de chaque projet (donc le dossier IMG en fait) tout les n jours, soit via ftp soit via ssh, selon l'hébergeur (ma tendance étant de quitter de plus en plus les hébergeur avec juste ftp pour aller vers les hébergeur avec ssh).
– saveauto qui tout les 24 me sauve dans le dossier dump du site.

Mais j'ai une grosse limite : je n'ai pas encore de sauvegarde incrémentel, du coup je ne peux pas faire une sauvegarde tous les jours, sinon cela prendrait trop de temps...