Full backup is always partially done

[Bessam]

Hello,

I have an issue with a full backup wich is always partially done, the daily incremental backup is correctly done.

I have a specific line that I suspect is the cause of the problem: Read error at byte 509952 reading 524288 bytes in file /home/sadam/bamboo-agent-home/xml-data/build-dir/RMS-ALL648-JOB1/code_debug/BuildOut/cid_antlr/grammar/formulae/cid/cid.o. Errno = 2: No such file or directory

Below, all the detailed status:

Jun 23, 2020 11:10:58 PM - Info nbjm (pid=323536) starting backup job (jobid=6826191) for client ls406335, policy EIT_PHM_LS406335_FIL_NS-SLV-L1-PS, schedule FULL_WEEKLY
Jun 23, 2020 11:10:58 PM - Info nbjm (pid=323536) requesting STANDARD_RESOURCE resources from RB for backup job (jobid=6826191, request id:{08D4DCFE-B596-11EA-98F7-0BE15936DF3B})
Jun 23, 2020 11:10:58 PM - requesting resource  ms03-h0001164
Jun 23, 2020 11:10:58 PM - requesting resource  h0001169.dc.infra.com.NBU_CLIENT.MAXJOBS.ls406335
Jun 23, 2020 11:10:58 PM - granted resource  h0001169.dc.infra.com.NBU_CLIENT.MAXJOBS.ls406335
Jun 23, 2020 11:10:58 PM - granted resource  MediaID=@aaaaf;DiskVolume=PureDiskVolume;DiskPool=ms03_h0001164;Path=PureDiskVolume;StorageServer=h0001164;MediaServer=h0001164
Jun 23, 2020 11:10:58 PM - granted resource  ms03-h0001164
Jun 23, 2020 11:11:16 PM - estimated 2289082872 kbytes needed
Jun 23, 2020 11:11:16 PM - Info nbjm (pid=323536) started backup (backupid=ls406335_1592946676) job for client ls406335, policy EIT_PHM_LS406335_FIL_NS-SLV-L1-PS, schedule FULL_WEEKLY on storage unit ms03-h0001164
Jun 23, 2020 11:11:17 PM - started process bpbrm (pid=174992)
Jun 23, 2020 11:11:17 PM - connecting
Jun 23, 2020 11:11:18 PM - connected; connect time: 0:00:00
Jun 23, 2020 11:11:24 PM - begin writing
Jun 23, 2020 11:59:27 PM - Info bpbrm (pid=174992) ls406335 is the host to backup data from
Jun 23, 2020 11:59:27 PM - Info bpbrm (pid=174992) reading file list for client
Jun 23, 2020 11:59:27 PM - Info bpbrm (pid=174992) starting bpbkar on client
Jun 23, 2020 11:59:27 PM - Info bpbkar (pid=7827) Backup started
Jun 23, 2020 11:59:27 PM - Info bpbrm (pid=174992) bptm pid: 175003
Jun 23, 2020 11:59:28 PM - Info bptm (pid=175003) start
Jun 23, 2020 11:59:28 PM - Info bptm (pid=175003) using 262144 data buffer size
Jun 23, 2020 11:59:28 PM - Info bptm (pid=175003) using 30 data buffers
Jun 23, 2020 11:59:28 PM - Info bptm (pid=175003) start backup
Jun 23, 2020 11:59:34 PM - Info bptm (pid=175003) backup child process is pid 175101
Jun 24, 2020 2:25:19 AM - end writing; write time: 3:13:55
Jun 24, 2020 2:43:23 AM - Error bpbrm (pid=174992) from client ls406335: ERR - Read error at byte 509952 reading 524288 bytes in file /home/sadam/bamboo-agent-home/xml-data/build-dir/RMS-ALL648-JOB1/code_debug/BuildOut/cid_antlr/grammar/formulae/cid/cid.o. Errno = 2: No such file or directory
Jun 24, 2020 2:46:48 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/home/CLV500A] is on file system type NFS. Skipping
Jun 24, 2020 2:58:26 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/home/RMS_SHARE] is on file system type NFS. Skipping
Jun 24, 2020 3:00:39 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/home/aspadm/exch] is on file system type NFS. Skipping
Jun 24, 2020 3:09:57 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/usr/openv/var/vnetd/terminate_vnetd.uds] is a socket special file. Skipping
Jun 24, 2020 3:09:57 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/usr/openv/var/vnetd/bpcd.uds] is a socket special file. Skipping
Jun 24, 2020 3:09:57 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/usr/openv/var/vnetd/terminate_bpcd.uds] is a socket special file. Skipping
Jun 24, 2020 3:12:04 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/usr/openv] is in a different file system from [/usr]. Skipping
Jun 24, 2020 3:12:49 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/tmp/.oracle/s#19899.1] is a socket special file. Skipping
Jun 24, 2020 3:12:49 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/tmp/.oracle/s#19899.2] is a socket special file. Skipping
Jun 24, 2020 3:12:49 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/tmp/.oracle/sEXTPROC_FOR_XE] is a socket special file. Skipping
Jun 24, 2020 3:12:49 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/tmp/.oracle/s#25349.2] is a socket special file. Skipping
Jun 24, 2020 3:12:49 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/tmp/.oracle/s#25349.1] is a socket special file. Skipping
Jun 24, 2020 3:12:50 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/opt/quest/vas/vasd/.vasd_ipc_sock] is a socket special file. Skipping
Jun 24, 2020 3:12:50 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/lib/nfs/rpc_pipefs] is in a different file system from [/var]. Skipping
Jun 24, 2020 3:12:52 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/run/audispd_events] is a socket special file. Skipping
Jun 24, 2020 3:12:52 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/run/sdp] is a socket special file. Skipping
Jun 24, 2020 3:12:52 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/run/pcscd.comm] is a socket special file. Skipping
Jun 24, 2020 3:12:52 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/run/acpid.socket] is a socket special file. Skipping
Jun 24, 2020 3:12:52 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/run/setrans/.setrans-unix] is a socket special file. Skipping
Jun 24, 2020 3:12:52 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var/run/dbus/system_bus_socket] is a socket special file. Skipping
Jun 24, 2020 3:13:03 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/opt/CA/SharedComponents/Csam/SockAdapter/.csam_broker] is a socket special file. Skipping
Jun 24, 2020 3:13:12 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/opt/hp/vcagent/etc/sm/cache/cgi/socket0] is a socket special file. Skipping
Jun 24, 2020 3:13:12 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/opt/CA] is in a different file system from [/opt]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/home] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/opt] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/sys] is on file system type sysfs. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/usr] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/dev] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/tmp] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/selinux] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:35 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/boot] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:37 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/var] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:38 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/proc] is on file system type PROC. Skipping
Jun 24, 2020 3:13:39 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/net] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:39 AM - Info bpbrm (pid=174992) from client ls406335: TRV - [/misc] is in a different file system from [/]. Skipping
Jun 24, 2020 3:13:40 AM - Info bptm (pid=175003) waited for full buffer 624649 times, delayed 718799 times
Jun 24, 2020 3:13:55 AM - Info bptm (pid=175003) EXITING with status 0 <----------
Jun 24, 2020 3:13:55 AM - Info h0001164 (pid=175003) StorageServer=PureDisk:h0001164; Report=PDDO Stats (multi-threaded stream used) for (h0001164): scanned: 1061074601 KB, CR sent: 31462846 KB, CR sent over FC: 0 KB, dedup: 97.0%, cache hits: 623794 (6.8%), rebased: 14273 (0.2%)
Jun 24, 2020 3:13:56 AM - Info bpbrm (pid=174992) validating image for client ls406335
Jun 24, 2020 3:13:56 AM - Info bpbkar (pid=7827) done. status: 1: the requested operation was partially successful
The requested operation was partially successful  (1)

It's a linux both client server and master server.

Netbackup 8.1.2 for master, and 8.0 for client server.

Thanks in advance for your help.

[MustafaAogluGT]

I would try exclude file which i got error for test purpose first.

Regards.

[Marianne]

Have you actually tried to locate this particular file on clients ls406335?

'No such file or directory' error message is coming from the client OS.
NBU is merely reporting the error. 

Discuss this with the server owner -
what kind of file is this? 
What file types are stored in the folder?
Why would it disappear during the backup?
Can you exclude this folder from backups? 

[Bessam]

Hello @MustafaAogluGT,

I've requested the customer to add the file in the exclude list, I want to know if there is another solution.

I'm still waiting for feedback from the responsible of the server, I'll let you informed.

[davidmoline]

I'd also be asking the owner of the system if they are running some kind of automated build when the backup is running. The error seems to indicate that the file disappeared after the start of the backup. 

Does the partial error alwyas occur with the same file - if so go with the suggestions from @MustafaAogluGT and @Marianne .

If the file changes each full, then something else is occurring (such as a code build) and you may need to exclude a larger portion of the directory structure. Understanding what creates and removes the file will help you determine where to start the exclude - you will need to check with the owner on this (and it is possible they can suggest what does and does not require backup).

Happy hunting

[Bessam · Accepted solution]

Hello,

There was an issue with a disk, the customer changed it and since then, full backup is successfully done.