activity monitor failed because of connection to bpjobd daemon on the server failed

[chakravarthy_vs]

activity monitor failed because of connection to bpjobd daemon on the  master server failed . Master server is running on Oracle Solaris 10 8/11 s10x_u10wos_17b X86 , Netbackup version is 7.6.0.4

[Marianne]

Check output of 'bpps -x' on the master.

This may be a symptom of something else that is wrong on the server -  bpjobd normally does not terminate or exit unless someone has done it or something else causing it.

See if restart of the daemon or NBU restart fixes it.

[chakravarthy_vs]

bpjobd is running...here is the o/p of bpjobd  and o/p of bpjobd log ..

05:07:23-root@wtc2e3ombs-bu:/$ /usr/openv/netbackup/bin/bpps -x

NB Processes

------------

　　　 root 16656　　　　 1　　 0 04:34:46 ?　　　　　　　　　　 0:04 /usr/openv/db//bin/NB_dbsrv @/usr/openv/var/global/server.conf @/usr/openv/var/

　　　 root 15688 15683　　 0 01:25:38 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 16892　　　　 1　　 0 04:34:50 ?　　　　　　　　　　 0:01 /usr/openv/netbackup/bin/nbim

　　　 root 16835　　　　 1　　 0 04:34:49 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpdbm

　　　 root 16796　　　　 1　　 0 04:34:48 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbrb

　　　 root 20603 16889　　 0 04:56:34 ?　　　　　　　　　　 0:00 sh -c "/usr/openv/netbackup/bin/nbproxy" dblib -mgrIORFile -PolicyManager-1.ior

　　　 root 20641 17636　　 0 04:56:51 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 20899 17636　　 0 04:59:19 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 16847 　　　　1　　 0 04:34:49 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbpem

　　　 root 15683　　　　 1　　 0 01:25:37 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 16832　　　　 1　　 0 04:34:49 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpcompatd

　　　 root 18022 17636　　 0 04:39:40 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 17641 17636　　 0 04:35:44 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 16933　　　　 1　　 0 04:34:51 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbsvcmon

　　　 root 16826　　　　 1　　 0 04:34:49 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bprd

　　　 root 16905　　　　 1　　 0 04:34:50 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bmrd

　　　 root 19009 16847　　 0 04:46:47 ?　　　　　　　　　　 0:01 /usr/openv/netbackup/bin/nbproxy dblib nbpem

　　　 root 16693　　　　 1　　 0 04:34:48 ?　　　　　　　　　　 0:01 /usr/openv/netbackup/bin/nbdisco

　　　 root 16925　　　　 1　　 0 04:34:51 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbvault

　　　 root 17638 17636　　 0 04:35:43 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 20604 20603　　 0 04:56:34 ?　　　　　　 　　　　0:00 /usr/openv/netbackup/bin/nbproxy dblib -mgrIORFile -PolicyManager-1.ior.mgr -pr

　　　 root 17636　　　　 1　　 0 04:35:43 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 20804 16847　　 0 04:58:28 ?　 　　　　　　　　　0:00 /usr/openv/netbackup/bin/nbproxy dblib nbpem_cleanup

　　　 root 16845 16835　　 0 04:34:49 ?　　　　　　　　　　 0:01 /usr/openv/netbackup/bin/bpjobd

　　　 root 20610 20607　　 0 04:56:35 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbproxy dblib -mgrIORFile -StorageService-1.ior.mgr -p

　　　 root 16755　　　　 1　　 0 04:34:48 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbaudit

　　　 root 15685 15683　　 0 01:25:37 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 16674　　 　　1　　 0 04:34:47 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/vnetd -standalone

　　　 root 17048 16843　　 0 04:34:51 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbproxy dblib nbjm

　　　 root 16854 15683　　 0 01:33:56 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 22785　　　　 1　　 0 05:09:54 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/admincmd/bpstsinfo -UPDATE

　　　 root 20607 16889　　 0 04:56:35 ?　　　　　　　　　　 0:00 sh -c "/usr/openv/netbackup/bin/nbproxy" dblib -mgrIORFile -StorageService-1.io

　　　 root 16843　　　　 1　　 0 04:34:49 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbjm

　　　 root 16678　　　　 1　　 0 04:34:47 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpcd -standalone

　　　 root 17619 17585　　 0 04:35:39 pts/5　　　　　　 0:11 /usr/openv/java/jre/bin/amd64/java -Dvrts.NBJAVA_CONF=/usr/openv/java/nbj.conf

　　　 root 22538 22537　　 0 05:07:57 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/admincmd/nbemmcmd -listhosts -masterServer wtc2e3ombs-

　　　 root 16943　　　　 1　　 0 04:34:51 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bmrbd

　　　 root 16895　　　　 1　　 0 04:34:50 ?　　　　　　　　　　 0:01 /usr/openv/netbackup/bin/nbars

　　　 root 15674 15640　　 0 01:25:35 pts/2　　　　　　 0:16 /usr/openv/java/jre/bin/amd64/java -Dvrts.NBJAVA_CONF=/usr/openv/java/nbj.conf

　　　 root 16889 　　　　1　　 0 04:34:50 ?　　　　　　　　　　 0:52 /usr/openv/netbackup/bin/nbsl

　　　 root 20878 17636　　 0 04:59:01 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/bpjava-susvc root -1 -1 C /usr/openv/java/auth.conf 1

　　　 root 16866　　　　 1　　 0 04:34:49 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbrmms

　　　 root 16752　　　　 1　　 0 04:34:48 ?　　　　　　　　　　 0:00 /usr/openv/netbackup/bin/nbevtmgr

　

MM Processes

------------

　　　 root 16808　　　　 1　　 0 04:34:48 ?　　　　　　　　　　 0:01 /usr/openv/volmgr/bin/ltid

　　　 root 16814　　　　 1　　 0 04:34:49 ?　　　　　　　　　　 0:01 vmd

　

Shared Symantec Processes

-------------------------

　　　 root 13130　　　　 1　　 0 01:19:24 ?　　　　　　　　　　 0:10 /opt/VRTSpbx/bin/pbx_exchange

05:10:24-root@wtc2e3ombs-bu:/$

　

04:34:51-root@wtc2e3ombs-bu:/ericsson/ombss/bin$ cat /usr/openv/netbackup/bp.conf

SERVER = wtc2e3ombs-bu

CLIENT_NAME = wtc2e3ombs-bu

CONNECT_OPTIONS = localhost 1 0 2

USE_VXSS = PROHIBITED

VXSS_SERVICE_TYPE = INTEGRITYANDCONFIDENTIALITY

EMMSERVER = wtc2e3ombs-bu

HOST_CACHE_TTL = 3600

VXDBMS_NB_DATA = /usr/openv/db/data

ALLOW_MEDIA_OVERWRITE = TAR

ALLOW_MEDIA_OVERWRITE = MTF1

ALLOW_MEDIA_OVERWRITE = RS-MTF1

ALLOW_MEDIA_OVERWRITE = BE-MTF1

SERVER = wtc2e3ombs-bu-1

SERVER = wtc2e3ombs-bu-2

SERVER = wtc2e3ombs

SERVER = wtc2e3ombs-stor1

SERVER = wtc2e3ombs-stor2

Buffer_Size = 128

BPBRM_VERBOSE = 0

TELEMETRY_UPLOAD = NO

BPEND_TIMEOUT = 1440

BPSTART_TIMEOUT = 8400

CLIENT_READ_TIMEOUT = 1440

MEDIA_UMOUNT_DELAY = 480

DEVICE_HOST = wtc2e3ombs-bu

SCRATCH_POOL = ScratchPool

05:14:14-root@wtc2e3ombs-bu:/ericsson/ombss/bin$

05:14:14-root@wtc2e3ombs-bu:/ericsson/ombss/bin$ netstat -a |grep vnetd

fffffec351f69d50 stream-ord fffffec34c437cc0 00000000　　　 /usr/openv/var/vnetd/terminate_vnetd.uds

fffffec351f70268 stream-ord fffffec2e60e4080 00000000　　　 /usr/openv/var/vnetd/vmd.uds

fffffec2e1fe45e8 stream-ord fffffec2bf3df500 00000000　　　 /usr/openv/var/vnetd/bprd.uds

fffffec2e1fe4b58 stream-ord fffffec34b62e080 00000000　　　 /usr/openv/var/vnetd/bpdbm.uds

fffffec2e0355070 stream-ord fffffec2c88436c0 00000000　　　 /usr/openv/var/vnetd/bpcd.uds

fffffec2dfe60238 stream-ord fffffec2e0ecd8c0 00000000　　　 /usr/openv/var/vnetd/bpcompatd.uds

fffffec2dfe60d18 stream-ord fffffec2e58ac000 00000000　　　 /usr/openv/var/vnetd/bmrbd.uds

fffffec2d9369b30 stream-ord fffffec2e49494c0 00000000　　　 /usr/openv/var/vnetd/terminate_bpcd.uds

fffffec2d7e66778 stream-ord fffffec34e7f9a40 00000000　　　 /usr/openv/var/vnetd/bmrd.uds

fffffec2d7327cd8 stream-ord fffffec2bf25eac0 00000000　　　 /usr/openv/var/vnetd/bpjobd.uds

05:14:36-root@wtc2e3ombs-bu:/ericsson/ombss/bin$

　

[chakravarthy_vs]

Restarted the Netbackup services ..checked to see bpjobd running....but the issue still persists...system is idle...

[revarooo]

Can you run the java console directly on the Master server?

Perhaps you have a firewall blocking the requests?

[chakravarthy_vs]

Opening console as background job from the master server  -- using jnbSA &

bpjobd log file attached

[Marianne · Accepted solution]

The problem is not actually with bpjobd - nbemm is not running.

NBU will terminate EMM if disk fills up.
Please check disk space and check EMM log.

[revarooo]

Spot on.

[chakravarthy_vs]

We have again did a restore of server(bmr restore+ recover the catalog) the issue is now fixed.

Thankyou

[Marianne]

Bmr restore of a master server is not possible. Unless master is client of another master but even that is not advisable. Why was catalog recovery needed?