cancel
Showing results for 
Search instead for 
Did you mean: 
Highlighted

Vmware Backup Failling with Status Code 50

Activity Monitor Jobs:

2129614 Backup Done 50  vm_vip_edcw-bo1-19_3_f3_fri c0004495.prod.cloud.fedex.com Inc Apr 1, 2020 1:05:17 AM nbpedcmed03-bo.inf.fedex.com Apr 1, 2020 1:20:08 AM  00:14:51 NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU 2  2742  100% 288937 root  2129338  Apr 1, 2020 1:18:14 AM 00:01:54      Instant Recovery Disk Standard nbpedcmaster-bo.inf.fedex.com 0     
2129338 Snapshot Done 50  vm_vip_edcw-bo1-19_3_f3_fri c0004495.prod.cloud.fedex.com - Apr 1, 2020 1:01:37 AM nbpedcmed03-bo.inf.fedex.com Apr 1, 2020 1:20:18 AM  00:18:41 NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU 1    100%  root  2129256  Apr 1, 2020 1:05:08 AM 00:15:10      Instant Recovery Disk Standard nbpedcmaster-bo.inf.fedex.com 0     

Backup Job:

Apr 1, 2020 1:17:21 AM - Info nbjm (pid=232004) starting backup job (jobid=2129614) for client c0004495.prod.cloud.fedex.com, policy vm_vip_edcw-bo1-19_3_f3_fri, schedule Inc
Apr 1, 2020 1:17:21 AM - Info nbjm (pid=232004) requesting STANDARD_RESOURCE resources from RB for backup job (jobid=2129614, request id:{71F68090-73E0-11EA-B080-3E31AB6298B2})
Apr 1, 2020 1:17:21 AM - requesting resource  NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU
Apr 1, 2020 1:17:21 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.NBU_CLIENT.MAXJOBS.c0004495.prod.cloud.fedex.com
Apr 1, 2020 1:17:21 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.VMware.ESXserver.pex03662.vprod.fedex.com
Apr 1, 2020 1:17:21 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.VMware.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:17:21 AM - Info nbrb (pid=231870) Limit has been reached for the logical resource nbpedcmaster-bo.inf.fedex.com.VMware.ESXserver.pex03662.vprod.fedex.com
Apr 1, 2020 1:18:14 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.NBU_CLIENT.MAXJOBS.c0004495.prod.cloud.fedex.com
Apr 1, 2020 1:18:14 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.VMware.ESXserver.pex03662.vprod.fedex.com
Apr 1, 2020 1:18:14 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.VMware.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:18:14 AM - granted resource  MediaID=@aaaaK;DiskVolume=NBUVM-BO-FL3-EDCW2605-WTC7274-AIR;DiskPool=NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_DP;Path=NBUVM-BO-FL3-EDCW2605-WTC7274-AIR;StorageServer=ddedcw2605-bo-ost.inf.fedex.com;MediaServer=nbpedcmed03-bo.inf.fedex.com
Apr 1, 2020 1:18:14 AM - granted resource  NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU
Apr 1, 2020 1:18:14 AM - estimated 197348434 kbytes needed
Apr 1, 2020 1:18:14 AM - Info nbjm (pid=232004) started backup (backupid=c0004495.prod.cloud.fedex.com_1585721894) job for client c0004495.prod.cloud.fedex.com, policy vm_vip_edcw-bo1-19_3_f3_fri, schedule Inc on storage unit NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU using backup host nbpedcmed03-bo.inf.fedex.com
Apr 1, 2020 1:18:14 AM - started process bpbrm (pid=288937)
Apr 1, 2020 1:18:15 AM - Info bpbrm (pid=288937) c0004495.prod.cloud.fedex.com is the host to backup data from
Apr 1, 2020 1:18:15 AM - Info bpbrm (pid=288937) reading file list for client
Apr 1, 2020 1:18:15 AM - Info bpbrm (pid=288937) accelerator enabled
Apr 1, 2020 1:18:17 AM - Info bpbrm (pid=288937) starting bpbkar on client
Apr 1, 2020 1:18:17 AM - Info bpbkar (pid=288973) Backup started
Apr 1, 2020 1:18:17 AM - Info bpbrm (pid=288937) bptm pid: 288989
Apr 1, 2020 1:18:17 AM - Info bptm (pid=288989) start
Apr 1, 2020 1:18:17 AM - connecting
Apr 1, 2020 1:18:17 AM - connected; connect time: 0:00:00
Apr 1, 2020 1:18:18 AM - Info bptm (pid=288989) using 262144 data buffer size
Apr 1, 2020 1:18:18 AM - Info bptm (pid=288989) using 30 data buffers
Apr 1, 2020 1:18:19 AM - Info bptm (pid=288989) start backup
Apr 1, 2020 1:18:19 AM - Info bpbkar (pid=288973) INF - Backing up vCenter server vcedcwbo1.vprod.fedex.com, ESX host pex03662.vprod.fedex.com, BIOS UUID 422f46a6-ce15-099c-2e75-dd3f53ed8689, Instance UUID 502f9f4a-179a-cdb4-a7dd-2bd389707fa2, Display Name c0004495.prod.cloud.fedex.com, Hostname c0004495.corp.ds.fedex.com
Apr 1, 2020 1:18:19 AM - begin writing
Apr 1, 2020 1:19:29 AM - Info bpbkar (pid=288973) 0 entries sent to bpdbm
Apr 1, 2020 1:19:38 AM - Info bpbkar (pid=288973) 5351 entries sent to bpdbm
Apr 1, 2020 1:19:38 AM - Info bpbkar (pid=288973) 5352 entries sent to bpdbm
Apr 1, 2020 1:19:56 AM - Info bpbkar (pid=288973) 5479 entries sent to bpdbm
Apr 1, 2020 1:19:57 AM - Info bpbkar (pid=288973) INF - Transport Type =  nbd
Apr 1, 2020 1:19:59 AM - Critical bpbrm (pid=288937) unexpected termination of client c0004495.prod.cloud.fedex.com
Apr 1, 2020 1:20:01 AM - Error bptm (pid=288989) media manager terminated by parent process
Apr 1, 2020 1:20:06 AM - Critical bpbrm (pid=288937) unexpected termination of client c0004495.prod.cloud.fedex.com
Apr 1, 2020 1:20:06 AM - Info bpbkar (pid=0) done. status: 50: client process aborted
Apr 1, 2020 1:20:06 AM - end writing; write time: 0:01:47
client process aborted  (50)

Snapshot Job:

Apr 1, 2020 1:01:37 AM - Info nbjm (pid=232004) starting backup job (jobid=2129338) for client c0004495.prod.cloud.fedex.com, policy vm_vip_edcw-bo1-19_3_f3_fri, schedule Inc
Apr 1, 2020 1:01:37 AM - Info nbjm (pid=232004) requesting STANDARD_RESOURCE resources from RB for backup job (jobid=2129338, request id:{3F9A6B72-73DE-11EA-A2BA-A0CDC0335A3C})
Apr 1, 2020 1:01:37 AM - requesting resource  NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU
Apr 1, 2020 1:01:37 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.NBU_CLIENT.MAXJOBS.c0004495.prod.cloud.fedex.com
Apr 1, 2020 1:01:37 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.VMware.ESXserver.pex03662.vprod.fedex.com
Apr 1, 2020 1:01:37 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.VMware.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:01:37 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.VMware.snapshot.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:01:38 AM - Info nbrb (pid=231870) Limit has been reached for the logical resource nbpedcmaster-bo.inf.fedex.com.VMware.ESXserver.pex03662.vprod.fedex.com
Apr 1, 2020 1:04:53 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.NBU_CLIENT.MAXJOBS.c0004495.prod.cloud.fedex.com
Apr 1, 2020 1:04:53 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.VMware.ESXserver.pex03662.vprod.fedex.com
Apr 1, 2020 1:04:53 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.VMware.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:04:53 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.VMware.snapshot.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:04:53 AM - granted resource  MediaID=@aaaaK;DiskVolume=NBUVM-BO-FL3-EDCW2605-WTC7274-AIR;DiskPool=NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_DP;Path=NBUVM-BO-FL3-EDCW2605-WTC7274-AIR;StorageServer=ddedcw2605-bo-ost.inf.fedex.com;MediaServer=nbpedcmed03-bo.inf.fedex.com
Apr 1, 2020 1:04:53 AM - granted resource  NBUVM-BO-FL3-EDCW2605-WTC7274-AIR_SU
Apr 1, 2020 1:05:08 AM - estimated 197348434 kbytes needed
Apr 1, 2020 1:05:08 AM - begin Child Job
Apr 1, 2020 1:05:08 AM - begin Application Snapshot: Step By Condition
Operation Status: 0
Apr 1, 2020 1:05:08 AM - end Application Snapshot: Step By Condition; elapsed time 0:00:00
Apr 1, 2020 1:05:08 AM - begin Application Snapshot: Read File List
Operation Status: 0
Apr 1, 2020 1:05:08 AM - end Application Snapshot: Read File List; elapsed time 0:00:00
Apr 1, 2020 1:05:08 AM - begin Application Snapshot: Create Snapshot
Apr 1, 2020 1:05:08 AM - started process bpbrm (pid=277278)
Apr 1, 2020 1:05:09 AM - Info bpbrm (pid=277278) c0004495.prod.cloud.fedex.com is the host to backup data from
Apr 1, 2020 1:05:09 AM - Info bpbrm (pid=277278) reading file list for client
Apr 1, 2020 1:05:09 AM - Info bpbrm (pid=277278) start bpfis on client
Apr 1, 2020 1:05:09 AM - Info bpbrm (pid=277278) Starting create snapshot processing
Apr 1, 2020 1:05:10 AM - Info bpfis (pid=277294) Backup started
Apr 1, 2020 1:05:10 AM - snapshot backup of client c0004495.prod.cloud.fedex.com using method VMware_v2
Apr 1, 2020 1:05:11 AM - Info bpbrm (pid=277278) INF - vmwareLogger:  Creating snapshot for vCenter server vcedcwbo1.vprod.fedex.com, ESX host pex03662.vprod.fedex.com, BIOS UUID 422f46a6-ce15-099c-2e75-dd3f53ed8689, Instance UUID 502f9f4a-179a-cdb4-a7dd-2bd389707fa2, Display Name c0004495.prod.cloud.fedex.com, Hostname c0004495.corp.ds.fedex.com 
Apr 1, 2020 1:05:11 AM - Info bpbrm (pid=277278) INF - vmwareLogger:  Connection state of virtual machine: connected.
Apr 1, 2020 1:05:16 AM - Info bpbrm (pid=277278) INF - vmwareLogger:  VMware tag associations added to backup.
Apr 1, 2020 1:05:17 AM - end Application Snapshot: Create Snapshot; elapsed time 0:00:09
Apr 1, 2020 1:05:17 AM - Info bpfis (pid=277294) done. status: 0
Apr 1, 2020 1:05:17 AM - Info bpfis (pid=277294) done. status: 0: the requested operation was successfully completed
Apr 1, 2020 1:05:17 AM - end writing
Operation Status: 0
Apr 1, 2020 1:05:17 AM - end Child Job; elapsed time 0:00:09
Apr 1, 2020 1:05:17 AM - Info nbjm (pid=232004) snapshotid=c0004495.prod.cloud.fedex.com_1585721108
Apr 1, 2020 1:05:17 AM - begin Application Snapshot: Policy Execution Manager Preprocessed
Apr 1, 2020 1:20:06 AM - end Application Snapshot: Policy Execution Manager Preprocessed; elapsed time 0:14:49
Apr 1, 2020 1:20:06 AM - begin Application Snapshot: Stop On Error
Operation Status: 0
Apr 1, 2020 1:20:06 AM - end Application Snapshot: Stop On Error; elapsed time 0:00:00
Apr 1, 2020 1:20:06 AM - begin Application Snapshot: Cleanup Resources
Apr 1, 2020 1:20:06 AM - requesting resource  nbpedcmaster-bo.inf.fedex.com.VMware.snapshot.vCenter.vcedcwbo1.vprod.fedex.com
Apr 1, 2020 1:20:07 AM - granted resource  nbpedcmaster-bo.inf.fedex.com.VMware.snapshot.vCenter.vcedcwbo1.vprod.fedex.com
Operation Status: 0
Apr 1, 2020 1:20:07 AM - end Application Snapshot: Cleanup Resources; elapsed time 0:00:01
Apr 1, 2020 1:20:07 AM - begin Application Snapshot: Delete Snapshot
Apr 1, 2020 1:20:07 AM - started process bpbrm (pid=291311)
Apr 1, 2020 1:20:08 AM - Info bpbrm (pid=291311) Starting delete snapshot processing
Operation Status: 50
Apr 1, 2020 1:20:08 AM - Info bpfis (pid=291323) Backup started
Apr 1, 2020 1:20:09 AM - Info bpbrm (pid=291311) INF - vmwareLogger: PostExtendedEventAPI: SYM_VMC_ERROR:  SOAP_ERROR
Apr 1, 2020 1:20:09 AM - Info bpbrm (pid=291311) INF - vmwareLogger: SOAP 1.1 fault ""Smiley FrustratederverFaultCode [no subcode]
Apr 1, 2020 1:20:16 AM - Info bpfis (pid=291323) done. status: 0
Apr 1, 2020 1:20:16 AM - end Application Snapshot: Delete Snapshot; elapsed time 0:00:09
Apr 1, 2020 1:20:16 AM - Info bpfis (pid=291323) done. status: 0: the requested operation was successfully completed
Apr 1, 2020 1:20:16 AM - end writing
Operation Status: 0
Operation Status: 50
client process aborted  (50)

Tags (2)
20 Replies
Highlighted

Re: Vmware Backup Failling with Status Code 50

Hi,

Has this worked before?

please specify Vm's Os & filesystems

is there any LVM or Dynamic Volumes, where one or more disk in the LVM configuration is an independent persistent disk?

have you looked at theses Tns:

https://www.veritas.com/support/en_US/article.100047252

https://www.veritas.com/support/en_US/article.100032460

Is file-level recovery enabled? 

You can enable vxms logs to get more information..

 

Good luck

Highlighted

Re: Vmware Backup Failling with Status Code 50

Hello hha,

Yes, it was working till 26th March.

VM OS -: MS Windows Server 2016 (64 bit)

Disk Mode : Dependent

If any things else is required. Please let me know

Tags (1)
Highlighted

Re: Vmware Backup Failling with Status Code 50

Hi

Enable vxms logging -> https://www.veritas.com/support/en_US/doc/21902280-127283730-0/v23649764-127283730

Was any LUN on VMWARE end resized recently? Maybe you need to rescan the backup host for LUN changes...

Highlighted

Re: Vmware Backup Failling with Status Code 50

We have created vxms_logs:

How will read ?

Capture.PNG

Highlighted

Re: Vmware Backup Failling with Status Code 50

review two last files - search for errors, warnings, failures etc... use common sense

what level did you set for this vxms? 

Highlighted

Re: Vmware Backup Failling with Status Code 50

we used vxms_verbose = 5

When we checked vxms_provider.log from tail 1000.

its showing like : insufficient buffer size, Error 24

vxmsproviderlogs.PNG

Highlighted

Re: Vmware Backup Failling with Status Code 50

Better change vxms verbo by editing bp.conf on the backup host, add this line :
VXMS_VERBOSE=5 (it should be enough)
Re-run the backup job and search in the vxms logs for any errors, failing, critical and maybe warning.. ..
Just take note of the exact time you get the error in detailled status and search in the logs during this exact time frame..
Highlighted

Re: Vmware Backup Failling with Status Code 50

Hi
This can be ignored per this tn
https://kb.vmware.com/s/article/2084027

Search for other errors Focus on time stamp +/- 60 second from error u See in activity monitor
Highlighted

Re: Vmware Backup Failling with Status Code 50

We found some ddb entry was not foundvxmsproviderlogs_1.PNG

Highlighted

Re: Vmware Backup Failling with Status Code 50

Hello hha,

 

we found this.please lookvxmsproviderlogs.PNGvxmsproviderlogs_1.PNG

Highlighted

Re: Vmware Backup Failling with Status Code 50

Hi, search for <ERROR> and put all the lines before and after that..
Some of what you mentionned are normal, we can see it in backups that works too, so you need to look at the same minute and second of the error from the detailled status..
Also please check the snapshot’s job for any warning or error(soap..)
How many disks this vm has? And what is the size ?
Because sometimes its an inodes problem...
I will try to find a KB\vox that I opened my self regarding some missing folders from a vm backup and the cause was inodes that was too high..

Just check on what has changed just before 26th march.. Vstorage,vmotion,disk type change.. anything that could mess with it.. and also if you can check VM’s event logs on 26th march..

Good luck
Highlighted

Re: Vmware Backup Failling with Status Code 50

One more thing, is accelerator enabled in the policy?
Which type of backups do you do? Full,incr?
Highlighted

Re: Vmware Backup Failling with Status Code 50

Highlighted

Re: Vmware Backup Failling with Status Code 50

Yes, acceleratre is enabled and both type of backup failed Full and INC.

Highlighted

Re: Vmware Backup Failling with Status Code 50

Hi @AS03 did you go through the 2 ohter posts I posted?

try to disable accelerator and run a test.

Highlighted

Re: Vmware Backup Failling with Status Code 50

Is the VM Linux?

Do you have file level recovery enabled? Try running a backup of that VM without it, I would check your VXMS logs for any inode errors.

Highlighted

Re: Vmware Backup Failling with Status Code 50

If bpbkar32.exe or bpbkarv is crashing, please share the stack info in the crash dump. The EEBs the posts from @hha_mea reference ETracks with EEBs. I think we have an 8.1.2 version. Please tell me the operating system and NetBackup version on the backup host.

Highlighted

Re: Vmware Backup Failling with Status Code 50

we have tested, but no success. issue remain same

Highlighted

Re: Vmware Backup Failling with Status Code 50

vm os : ms windows server 2016

nbu host : 8.1.2