Re: [Duplicity-talk] Duplicity fails to make incremental backups

[edgar . soldin]

hi Dominik,

can you

1. 
 post/attach/pastebin a file listing of your backend folder, so we can compare 
what duplicity detects vs. what is there?

2.
 try using an alternative backend, you are probably using paramiko+scp:// right 
now (see http://duplicity.nongnu.org/duplicity.1.html#sect7 'SCP Access'). try 
the legacy pexpect backend via 'pexpect+scp://'.

3.
 send the output of 'python --version'?

as long as listings are unreliable i would suggest not to remove or cleanup 
anything on the backend.

..ede/duply.net

On 25.10.2016 10:17, Dominik Reusser via Duplicity-talk wrote:
> Hi Kenneth,
> 
> It seems that the problem persists.
> 
> The script states on its first line:
> 
> export LANG=C
> 
> The log from yesterday shows the output of the following command sequence:
> 
> backup -> remove-older-than -> collection-status
> 
> I'm puzzled that each single call shows different full backups.
> 
> Anything else I can do to help debugging the issue?
> 
> Greetings
> 
> Dominik
> 
> #######################################################
> Duplicity service Mon Oct 24 12:45:01 CEST 2016
> #######################################################
> Local and Remote metadata are synchronized, no sync needed.
> Last full backup date: Wed Oct 19 12:45:02 2016
> No signatures found, switching to full backup.
> Error accessing possibly locked file /home/reusser/.smbcredentials
> --------------[ Backup Statistics ]--------------
> StartTime 1477305905.29 (Mon Oct 24 12:45:05 2016)
> EndTime 1477311790.12 (Mon Oct 24 14:23:10 2016)
> ElapsedTime 5884.83 (1 hour 38 minutes 4.83 seconds)
> SourceFiles 115684
> SourceFileSize 9005984079 (8.39 GB)
> NewFiles 115684
> NewFileSize 9005979983 (8.39 GB)
> DeletedFiles 0
> ChangedFiles 0
> ChangedFileSize 0 (0 bytes)
> ChangedDeltaSize 0 (0 bytes)
> DeltaEntries 115684
> RawDeltaSize 8934318415 (8.32 GB)
> TotalDestinationSizeChange 6082030973 (5.66 GB)
> Errors 1
> -------------------------------------------------
> 
> Synchronizing remote metadata to local cache...
> Deleting local 
> /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a/duplicity-full-signatures.20161024T104503Z.sigtar.gz
>  (not authoritative at backend).
> Deleting local 
> /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a/duplicity-full.20161024T104503Z.manifest
>  (not authoritative at backend).
> Last full backup date: Fri Oct 14 12:45:02 2016
> No old backup sets found, nothing deleted.
> --- check of status ---
> Local and Remote metadata are synchronized, no sync needed.
> Last full backup date: Thu Oct 13 14:41:18 2016
> Collection Status
> -----------------
> Connecting with backend: BackendWrapper
> Archive dir: /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a
> 
> Found 2 secondary backup chains.
> Secondary chain 1 of 2:
> -------------------------
> Chain start time: Tue Oct 11 12:45:02 2016
> Chain end time: Tue Oct 11 12:45:02 2016
> Number of contained backup sets: 1
> Total number of contained volumes: 228
>  Type of backup set:                            Time:      Num volumes:
>                 Full         Tue Oct 11 12:45:02 2016               228
> -------------------------
> 
> Secondary chain 2 of 2:
> -------------------------
> Chain start time: Thu Oct 13 14:41:18 2016
> Chain end time: Thu Oct 13 14:41:18 2016
> Number of contained backup sets: 1
> Total number of contained volumes: 93
>  Type of backup set:                            Time:      Num volumes:
>                 Full         Thu Oct 13 14:41:18 2016                93
> -------------------------
> 
> No backup chains with active signatures found
> No orphaned or incomplete backup sets found.
> 
> 
> Am 21.10.2016 um 13:55 schrieb Kenneth Loafman:
>> Yes, try that on all commands and let me know if it helps.  This is just a 
>> workaround for now.
>>
>>
>> 2016-10-20 1:48 GMT-05:00 Dominik Reusser <address@hidden 
>> <mailto:address@hidden>>:
>>
>>     Hi Kenneth,
>>
>>     thanks for the feedback. Responses are below. Should I go ahead and add 
>> the LANG=C setting to my script?
>>
>>     Greetings
>>
>>     Dominik
>>
>>
>>     Am 19.10.2016 um 23:00 schrieb Kenneth Loafman:
>>>     What OS are you running?
>>     duplicity 0.7.06 on ubuntu 16.04
>>>
>>>     Are the commands being run under the same environment?
>>     The output I reported was from the same environment.
>>>
>>>     What is the output of '$ echo $LANG'?
>>     de_DE.UTF-8
>>
>>>
>>>     I'm thinking this may be a localization or translation issue at this 
>>> point.  I cannot reproduce it here.
>>>
>>>     Could you try the same commands with 'LANG=C' prepended, 
>>>     '$ LANG=C duplicity collection-status scp://address@hidden/backup-home'
>>     Lokale und entfernte Metadaten sind bereits synchron, keine 
>> Synchronisierung benötigt.
>>     Letzte vollständige Sicherung: Wed Oct 19 12:45:02 2016
>>     Sammlungszustand
>>     -----------------
>>     Mit Hintergrundprogramm wird verbunden: BackendWrapper
>>     Archivverzeichnis: 
>> /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a
>>
>>     5 zusätzliche Sicherungsketten gefunden.
>>     Zusätzliche Kette 1 von 5:
>>     -------------------------
>>     Erste Sicherung in dieser Kette: Tue Oct 11 12:45:02 2016
>>     Letzte Sicherung in dieser Kette: Tue Oct 11 12:45:02 2016
>>     Anzahl der enthaltenen Sicherungssätze: 1
>>     Gesamtanzahl der enthaltenen Datenträger: 228
>>     Typ des Sicherungssatzes:                            Zeit:   
>> Datenträgeranz.:
>>              Vollständig         Tue Oct 11 12:45:02 2016               228
>>     -------------------------
>>
>>     Zusätzliche Kette 2 von 5:
>>     -------------------------
>>     Erste Sicherung in dieser Kette: Thu Oct 13 14:41:18 2016
>>     Letzte Sicherung in dieser Kette: Thu Oct 13 14:41:18 2016
>>     Anzahl der enthaltenen Sicherungssätze: 1
>>     Gesamtanzahl der enthaltenen Datenträger: 231
>>     Typ des Sicherungssatzes:                            Zeit:   
>> Datenträgeranz.:
>>              Vollständig         Thu Oct 13 14:41:18 2016               231
>>     -------------------------
>>
>>     Zusätzliche Kette 3 von 5:
>>     -------------------------
>>     Erste Sicherung in dieser Kette: Fri Oct 14 12:45:02 2016
>>     Letzte Sicherung in dieser Kette: Fri Oct 14 12:45:02 2016
>>     Anzahl der enthaltenen Sicherungssätze: 1
>>     Gesamtanzahl der enthaltenen Datenträger: 230
>>     Typ des Sicherungssatzes:                            Zeit:   
>> Datenträgeranz.:
>>              Vollständig         Fri Oct 14 12:45:02 2016               230
>>     -------------------------
>>
>>     Zusätzliche Kette 4 von 5:
>>     -------------------------
>>     Erste Sicherung in dieser Kette: Mon Oct 17 12:45:02 2016
>>     Letzte Sicherung in dieser Kette: Tue Oct 18 12:45:02 2016
>>     Anzahl der enthaltenen Sicherungssätze: 2
>>     Gesamtanzahl der enthaltenen Datenträger: 231
>>     Typ des Sicherungssatzes:                            Zeit:   
>> Datenträgeranz.:
>>              Vollständig         Mon Oct 17 12:45:02 2016               226
>>             Schrittweise         Tue Oct 18 12:45:02 2016                 5
>>     -------------------------
>>
>>     Zusätzliche Kette 5 von 5:
>>     -------------------------
>>     Erste Sicherung in dieser Kette: Tue Oct 18 13:17:14 2016
>>     Letzte Sicherung in dieser Kette: Tue Oct 18 13:17:14 2016
>>     Anzahl der enthaltenen Sicherungssätze: 1
>>     Gesamtanzahl der enthaltenen Datenträger: 225
>>     Typ des Sicherungssatzes:                            Zeit:   
>> Datenträgeranz.:
>>              Vollständig         Tue Oct 18 13:17:14 2016               225
>>     -------------------------
>>
>>
>>     Primäre Sicherungskette mit passender Signaturkette gefunden:
>>     -------------------------
>>     Erste Sicherung in dieser Kette: Wed Oct 19 12:45:02 2016
>>     Letzte Sicherung in dieser Kette: Wed Oct 19 12:45:02 2016
>>     Anzahl der enthaltenen Sicherungssätze: 1
>>     Gesamtanzahl der enthaltenen Datenträger: 226
>>     Typ des Sicherungssatzes:                            Zeit:   
>> Datenträgeranz.:
>>              Vollständig         Wed Oct 19 12:45:02 2016               226
>>     -------------------------
>>
>>     Keine verwaisten oder unvollständigen Sicherungssätze gefunden.
>>
>>>
>>>     2016-10-19 8:14 GMT-05:00 Dominik Reusser via Duplicity-talk 
>>> <address@hidden <mailto:address@hidden>>:
>>>
>>>         Hello,
>>>         I'm experimenting with duplicity. It seems that duplicity sometimes
>>>         recognizes previous full backups, other times it reports that no
>>>         signatures were found, even though previous full and incremental 
>>> backups
>>>         are available in the target directory.
>>>
>>>         I wrote a small script that is normally called by cron, sometimes 
>>> also
>>>         manually. The lines calling duplicity are something like (some 
>>> exculdes
>>>         removed for readability):
>>>
>>>          duplicity --full-if-older-than 1M  --exclude /home/reusser/Videos
>>>         --exclude-other-filesystems --exclude '**.vmdk' --exclude '**.iso'
>>>         --exclude /home/reusser/.local/share/gnome-boxes/images/  ~
>>>         scp://address@hidden/backup-home >> ~/log/duplicity_home.log
>>>
>>>
>>>         duplicity remove-older-than 3M scp://address@hidden/backup-home >>
>>>         ~/log/duplicity_home.log
>>>
>>>
>>>         The corresponding outputs are (german -sorry) shown below. It shows 
>>> that
>>>         the backup knows a full backup from Oct 11, while the 
>>> remove-older-than
>>>         identifies a backup from Oct 17; but not the fresh backup.
>>>
>>>         #######################################################
>>>         Duplicity service Mi 19. Okt 12:45:01 CEST 2016
>>>         #######################################################
>>>         Lokale und entfernte Metadaten sind bereits synchron, keine
>>>         Synchronisierung benötigt.
>>>         Letzte vollständige Sicherung: Tue Oct 11 12:45:02 2016
>>>         Keine Signaturen gefunden, zu vollständiger Sicherung wird 
>>> gewechselt.
>>>         Fehler beim Zugriff auf möglicherweise reservierte Datei
>>>         /home/reusser/.smbcredentials
>>>         --------------[ Sicherungsstatistiken ]--------------
>>>         StartTime 1476873904.36 (Wed Oct 19 12:45:04 2016)
>>>         EndTime 1476879656.92 (Wed Oct 19 14:20:56 2016)
>>>         ElapsedTime 5752.56 (1 hour 35 minutes 52.56 seconds)
>>>         SourceFiles 111285
>>>         SourceFileSize 8781995933 (8.18 GB)
>>>         NewFiles 111285
>>>         NewFileSize 8781995933 (8.18 GB)
>>>         DeletedFiles 0
>>>         ChangedFiles 0
>>>         ChangedFileSize 0 (0 bytes)
>>>         ChangedDeltaSize 0 (0 bytes)
>>>         DeltaEntries 111285
>>>         RawDeltaSize 8710842256 (8.11 GB)
>>>         TotalDestinationSizeChange 5910026367 (5.50 GB)
>>>         Errors 1
>>>         -----------------------------------------------------
>>>
>>>         Entfernte Metadaten werden zum lokalen Puffer synchronisiert …
>>>         Lokal
>>>         
>>> /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a/duplicity-full-signatures.20161019T104502Z.sigtar.gz
>>>         wird gelöscht (keine Auswirkungen am Hintergrundprogramm).
>>>         Lokal
>>>         
>>> /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a/duplicity-full.20161019T104502Z.manifest
>>>         wird gelöscht (keine Auswirkungen am Hintergrundprogramm).
>>>         Letzte vollständige Sicherung: Mon Oct 17 12:45:02 2016
>>>         Keine alten Sicherungssätze gefunden, nichts gelöscht.
>>>
>>>
>>>         The collection-status reports multiple full backups
>>>
>>>         duplicity collection-status scp://address@hidden/backup-home
>>>         Lokale und entfernte Metadaten sind bereits synchron, keine
>>>         Synchronisierung benötigt.
>>>         Letzte vollständige Sicherung: Wed Oct 19 12:45:02 2016
>>>         Sammlungszustand
>>>         -----------------
>>>         Mit Hintergrundprogramm wird verbunden: BackendWrapper
>>>         Archivverzeichnis:
>>>         /home/reusser/.cache/duplicity/e5642fdda6a10876dbb8c4e5edc6532a
>>>
>>>         6 zusätzliche Sicherungsketten gefunden.
>>>         Zusätzliche Kette 1 von 6:
>>>         -------------------------
>>>         Erste Sicherung in dieser Kette: Tue Oct 11 12:45:02 2016
>>>         Letzte Sicherung in dieser Kette: Tue Oct 11 12:45:02 2016
>>>         Anzahl der enthaltenen Sicherungssätze: 1
>>>         Gesamtanzahl der enthaltenen Datenträger: 228
>>>         Typ des Sicherungssatzes:                            Zeit:
>>>         Datenträgeranz.:
>>>                  Vollständig         Tue Oct 11 12:45:02 2016               
>>> 228
>>>         -------------------------
>>>
>>>         Zusätzliche Kette 2 von 6:
>>>         -------------------------
>>>         Erste Sicherung in dieser Kette: Thu Oct 13 14:41:18 2016
>>>         Letzte Sicherung in dieser Kette: Thu Oct 13 14:41:18 2016
>>>         Anzahl der enthaltenen Sicherungssätze: 1
>>>         Gesamtanzahl der enthaltenen Datenträger: 231
>>>         Typ des Sicherungssatzes:                            Zeit:
>>>         Datenträgeranz.:
>>>                  Vollständig         Thu Oct 13 14:41:18 2016               
>>> 231
>>>         -------------------------
>>>
>>>         Zusätzliche Kette 3 von 6:
>>>         -------------------------
>>>         Erste Sicherung in dieser Kette: Fri Oct 14 12:45:02 2016
>>>         Letzte Sicherung in dieser Kette: Fri Oct 14 12:45:02 2016
>>>         Anzahl der enthaltenen Sicherungssätze: 1
>>>         Gesamtanzahl der enthaltenen Datenträger: 230
>>>         Typ des Sicherungssatzes:                            Zeit:
>>>         Datenträgeranz.:
>>>                  Vollständig         Fri Oct 14 12:45:02 2016               
>>> 230
>>>         -------------------------
>>>
>>>         Zusätzliche Kette 4 von 6:
>>>         -------------------------
>>>         Erste Sicherung in dieser Kette: Mon Oct 17 12:45:02 2016
>>>         Letzte Sicherung in dieser Kette: Mon Oct 17 12:45:02 2016
>>>         Anzahl der enthaltenen Sicherungssätze: 1
>>>         Gesamtanzahl der enthaltenen Datenträger: 226
>>>         Typ des Sicherungssatzes:                            Zeit:
>>>         Datenträgeranz.:
>>>                  Vollständig         Mon Oct 17 12:45:02 2016               
>>> 226
>>>         -------------------------
>>>
>>>         Zusätzliche Kette 5 von 6:
>>>         -------------------------
>>>         Erste Sicherung in dieser Kette: Tue Oct 18 13:17:14 2016
>>>         Letzte Sicherung in dieser Kette: Tue Oct 18 13:17:14 2016
>>>         Anzahl der enthaltenen Sicherungssätze: 1
>>>         Gesamtanzahl der enthaltenen Datenträger: 225
>>>         Typ des Sicherungssatzes:                            Zeit:
>>>         Datenträgeranz.:
>>>                  Vollständig         Tue Oct 18 13:17:14 2016               
>>> 225
>>>         -------------------------
>>>
>>>         Zusätzliche Kette 6 von 6:
>>>         -------------------------
>>>         Erste Sicherung in dieser Kette: Wed Oct 19 12:45:02 2016
>>>         Letzte Sicherung in dieser Kette: Wed Oct 19 12:45:02 2016
>>>         Anzahl der enthaltenen Sicherungssätze: 1
>>>         Gesamtanzahl der enthaltenen Datenträger: 150
>>>         Typ des Sicherungssatzes:                            Zeit:
>>>         Datenträgeranz.:
>>>                  Vollständig         Wed Oct 19 12:45:02 2016               
>>> 150
>>>         -------------------------
>>>
>>>         Keine Sicherungsketten mit aktiven Signaturen gefunden
>>>         Keine verwaisten oder unvollständigen Sicherungssätze gefunden.
>>>
>>>
>>>
>>>         I'm working with duplicity 0.7.06 on ubuntu
>>>
>>>         address@hidden:~$ duplicity --version
>>>         duplicity 0.7.06
>>>
>>>         I would expect incremental backups and consistent reporting of 
>>> available
>>>         backups.
>>>
>>>         What could be possible reasons for such an unexpected behaviour.
>>>
>>>         Kind regards
>>>         Dominik
>>>
>>>
>>>
>>>         _______________________________________________
>>>         Duplicity-talk mailing list
>>>         address@hidden <mailto:address@hidden>
>>>         https://lists.nongnu.org/mailman/listinfo/duplicity-talk 
>>> <https://lists.nongnu.org/mailman/listinfo/duplicity-talk>
>>>
>>>
>>
>>     -- 
>>     Dr. Dominik Reusser
>>
>>     Systemarchitekt
>>
>>     Tel 0331-95135395
>>     Email address@hidden <mailto:address@hidden>
>>
>>
>>
>>     Teleseo GmbH
>>     Smart Metering und Schalten in den Versorgungsnetzen
>>
>>     Sitz: Hessestraße 19, 14469 Potsdam
>>
>>     Tel.: 0331-95135394
>>     Web.: www.teleseo.eu <http://www.teleseo.eu>
>>     Fax.: 0331-95135396
>>
>>
> 
> -- 
> Dr. Dominik Reusser
> 
> Systemarchitekt
> 
> Tel 0331-95135395
> Email address@hidden
> 
> 
> 
> Teleseo GmbH
> Smart Metering und Schalten in den Versorgungsnetzen
> 
> Sitz: Hessestraße 19, 14469 Potsdam
> 
> Tel.: 0331-95135394
> Web.: www.teleseo.eu
> Fax.: 0331-95135396
> 
> 
> 
> _______________________________________________
> Duplicity-talk mailing list
> address@hidden
> https://lists.nongnu.org/mailman/listinfo/duplicity-talk
>