Skip to main content

Hi All ,

Greetings !!! 
Single node cluster run very good and works like charm .Now i wanted to create an 3 node cluster .
 

LAB Environment:
 

Host Hardware Specs:

  • CPU:

    • Logical Processors: 24

    • Processor: Intel(R) Xeon(R) CPU E5-2640 0 @ 2.50GHz

    • Sockets: 2

    • Cores per Socket: 6

    • Hyperthreading: Enabled

  • Memory: 159.94 GB

  • Hypervisor: VMware vSphere ESXi-8.0U3e-24677879-standard(Free Edition)

  • Setup: 3-node cluster with Nutanix Community Edition

vSwitch Configuration (on all ESXi hosts):

  • Port Group > Security Settings:

    • Promiscuous Mode: Accept

    • MAC Address Changes: Accept

    • Forged Transmits: Accept

VM Configuration (per node):

  • CPU: 8 vCPUs (Hardware Virtualization Enabled)

  • Memory: 36 GB

  • Disks:

    • Disk 1: 128 GB (Thin)

    • Disk 2: 500 GB (Thin)

    • Disk 3: 800 GB (Thin)

  • SCSI Controller: VMware Paravirtual

  • Boot Options: Changed from UEFI to BIOS

  • Advanced VM Configuration:

    • disk.EnableUUID = TRUE

IP Configuration:

Node AHV IP CVM IP
1 192.168.4.94 192.168.4.95
2 192.168.4.96 192.168.4.97
3 192.168.4.98 192.168.4.99

 

  • Cluster IP: 192.168.4.100

  • Subnet: 255.255.255.0

  • Gateway: 192.168.4.1

Installation Status:

  • Installation completed successfully on all 3 nodes.

  • Multiple reboots performed to ensure services started cleanly.

  • Verified genesis status on each CVM:

 

 

$ genesis status Services running on this node: foundation: d4900, 4962, 4963] genesis: e3940, 4126, 4164, 4165]

  • Cluster not yet created:

 

 

$ cluster status CRITICAL MainThread cluster:3241 Cluster is currently unconfigured. Please create the cluster

Issue: Duplicate Ping Responses Between CVMs

  • From CVM on Node 1 (192.168.4.95), when pinging CVM on Node 3 (192.168.4.99):

 

$ ping 192.168.4.99 64 bytes from 192.168.4.99: icmp_seq=11 ttl=64 time=1.53 ms

64 bytes from 192.168.4.99: icmp_seq=11 ttl=64 time=1.53 ms (DUP!)

64 bytes from 192.168.4.99: icmp_seq=11 ttl=64 time=1.53 ms (DUP!)

64 bytes from 192.168.4.99: icmp_seq=11 ttl=64 time=1.53 ms (DUP!)

  • All AHV and CVMs are reachable over the network. Only 1 CVM give (DUP!)

Request:

Please help me 

What could be causing the duplicate ICMP replies between CVMs?
Have I missed any step or misconfigured any setting in ESXi or the VM network setup?

Looking for guidance to resolve this before proceeding to create the cluster.

Thankyou in Advance 

Shutdown all CE nodes and ping all ip-addresses. Is there a reply? there you go. 

Turn on 1 node at the time, ping again. Find the root cause. 

There must be something on the network with a duplicated ip. 

​@JeroenTielen  
Thank you i will try and update . 

Hi ​@JeroenTielen 


Cluster created . After 30 mins , i am trying to trach prism portal, its not opening . Service status below.  

What do i need to check next . 


nutanix@NTNX-fe3674b0-A-CVM:192.168.4.95:~$ cluster status
2025-05-05 05:49:06,366Z INFO MainThread zookeeper_session.py:136 Using multithreaded Zookeeper client library: 1
2025-05-05 05:49:06,371Z INFO MainThread zookeeper_session.py:248 Parsed cluster id: 1622984767944996414, cluster incarnation id: 1746420633881023
2025-05-05 05:49:06,371Z INFO MainThread zookeeper_session.py:270 cluster is attempting to connect to Zookeeper, host port list zk1:9876,zk2:9876,zk3:9876
2025-05-05 05:49:06,392Z INFO Dummy-1 zookeeper_session.py:840 ZK session establishment complete, sessionId=0x1969edcd23e021f, negotiated timeout=20 secs
2025-05-05 05:49:06,397Z INFO MainThread cluster:3302 Executing action status on SVMs 192.168.4.95,192.168.4.97,192.168.4.99
2025-05-05 05:49:06,398Z INFO Dummy-2 zookeeper_session.py:941 Calling zookeeper_close and invalidating zhandle
The state of the cluster: start
Lockdown mode: Disabled

        CVM: 192.168.4.95 Up
                              Xmount   UP       175271, 175323, 175324, 177527]
                           IkatProxy   UP        68038, 68182, 68183, 68184]
                                Zeus   UP        62595, 62654, 62655, 175955, 175971, 175988]
                           Scavenger   UP       568329, 68557, 68558, 68560]
                    SysStatCollector   UP       Â181838, 181905, 181906, 181907]
                    IkatControlPlane   UP       181847, 181952, 181953, 181954]
                       SSLTerminator   UP       o181927, 182079, 182080]
                      SecureFileSync   UP        181964, 182109, 182110, 182111]
                              Medusa   UP       184380, 184864, 184865, 185138, 187022]
                  DynamicRingChanger   UP       /187517, 188065, 188066, 188230]
                              Pithos   UP       1187686, 188460, 188461, 188516]
                          InsightsDB   UP       187878, 188512, 188513, 188689]
                              Athena   UP       187983, 188668, 188669, 188670]
                             Mercury   UP        217664, 217977, 217978, 218311]
                              Mantle   UP       188202, 188879, 188880, 189066]
                          VipMonitor   UP       893964, 93970, 93972, 93973, 93984]
                            Stargate   UP       7189471, 189856, 189857, 189876, 189878]
                InsightsDataTransfer   UP       [190481, 190805, 190806, 190830, 190832, 190833, 190834, 190835, 190836]
                             GoErgon   UP       3190561, 190912, 190913, 190947]
                             Cerebro   UP       8190782, 191620, 191621, 192158]
                             Chronos   UP       e190868, 191819, 191820, 191931]
                             Curator   UP       8191164, 192022, 192023, 192591]
                               Prism   UP       1191791, 192401, 192402, 192551]
                                Hera   UP       191968, 192474, 192475, 192476]
                        AlertManager   UP       192113, 192779, 192780, 193074]
                            Arithmos   UP        192403, 193042, 193043, 193220]
                             Catalog   UP       Â192649, 193408, 193409, 193411]
                           Acropolis   UP       9195680, 196337, 196338, 196341]
                              Castor   UP        195805, 196548, 196549]
                               Uhura   UP       e195908, 196762, 196763, 196764]
                   NutanixGuestTools   UP        196520, 197205, 197206, 197290, 197378]
                          MinervaCVM   UP       Â199499, 199600, 199601, 199603]
                       ClusterConfig   UP       ]199509, 199772, 199774, 199775]
                         APLOSEngine   UP       3199517, 199951, 199952, 199953]
                               APLOS   UP       Â201281, 202018, 202019, 202020]
                     PlacementSolver   UP       r201586, 202206, 202207, 202208]
                               Lazan   UP       u201873, 202623, 202626, 202627]
                             Polaris   UP       202124, 202804, 202805, 202909]
                              Delphi   UP       0202413, 202988, 202989, 202990]
                            Security   UP       7202717, 203233, 203234, 203235]
                                Flow   UP       202906, 203518, 203519, 203523]
                             Anduril   UP       203167, 203785, 203786, 203787, 203844]
                              Narsil   UP       P203595, 204170, 204171, 204172]
                               XTrim   UP       203715, 204411, 204412, 204414]
                       ClusterHealth   UP       203947, 204832, 205595, 205599, 205611, 205646, 205796, 205798, 205805, 205812, 205813, 205819, 205820, 205823, 205836, 205837, 205845, 205888, 205889, 205895, 206031, 206032, 206083, 206084, 206089, 206090, 206096, 206097, 207164, 207165, 207207, 207208, 207211, 207212, 207216, 207224, 207226, 207228, 207230, 207232, 207247, 207253, 210599, 210600]

        CVM: 192.168.4.97 Up
                              Xmount   UP       Â218834, 218886, 218887, 218888]
                           IkatProxy   UP       468289, 68387, 68388, 68389]
                                Zeus   UP       562457, 62516, 62517, 207822, 207860, 207877]
                           Scavenger   UP       68542, 68745, 68746, 68747]
                    SysStatCollector   UP       e222130, 222227, 222228, 222229]
                    IkatControlPlane   UP       2222139, 222285, 222286, 222287]
                       SSLTerminator   UP       ,222144, 222343, 222344]
                      SecureFileSync   UP       6222155, 222387, 222388, 222389]
                              Medusa   UP       7225887, 226391, 226392, 227342, 227702]
                  DynamicRingChanger   UP       Â229078, 229131, 229132, 229228]
                              Pithos   UP       ]229145, 229543, 229544, 229587]
                          InsightsDB   UP       ,229300, 229753, 229755, 229996]
                              Athena   UP       Â229372, 229808, 229810, 229811]
                             Mercury   UP       229387, 229892, 229893, 230042]
                              Mantle   UP       Â229622, 230422, 230423, 230697]
                          VipMonitor   UP        92444, 92445, 92446, 92447, 92449]
                            Stargate   UP       ]231331, 231668, 231669, 231715, 231718]
                InsightsDataTransfer   UP       ]232420, 233005, 233006, 233057, 233059, 233060, 233061, 233064, 233065]
                             GoErgon   UP       Â232617, 233442, 233443, 233453]
                             Cerebro   UP       0232768, 233653, 233654, 233901]
                             Chronos   UP       232877, 233562, 233563, 233679]
                             Curator   UP       Â233072, 233781, 233782, 234226]
                               Prism   UP       2233703, 234079, 234080, 234189]
                                Hera   UP       Â233767, 233999, 234000, 234002]
                        AlertManager   UP       e233821, 234375, 234376, 234460]
                            Arithmos   UP       233931, 234767, 234768, 235236]
                             Catalog   UP        234151, 235144, 235145, 235146]
                           Acropolis   UP       236636, 236996, 236997, 236999]
                              Castor   UP       ,236690, 237197, 237199, 237270, 237890]
                               Uhura   UP        236778, 237416, 237417, 237418]
                   NutanixGuestTools   UP       Â237043, 237582, 237583, 237763, 237918]
                          MinervaCVM   UP       3242673, 243135, 243136, 243138]
                       ClusterConfig   UP       3242772, 243283, 243284, 243285]
                         APLOSEngine   UP        243061, 243496, 243497, 243498]
                               APLOS   UP        245977, 246673, 246674, 246676]
                     PlacementSolver   UP       Â246156, 246813, 246814, 246816]
                               Lazan   UP       3246332, 247163, 247164, 247165]
                             Polaris   UP       a246607, 247187, 247188, 247411]
                              Delphi   UP        246828, 247575, 247576, 247578]
                            Security   UP       Â247393, 248418, 248419, 248421]
                                Flow   UP       247710, 248682, 248683, 248685]
                             Anduril   UP       263620, 263946, 263947, 263948]
                              Narsil   UP        248528, 249127, 249128, 249129]
                               XTrim   UP       a248825, 249408, 249409, 249410]
                       ClusterHealth   UP        249000, 249750, 250740, 250745, 250754, 250764, 250880, 250881, 250882, 250910, 250911, 250921, 250922, 250923, 250926, 250927, 250933, 250955, 250956, 250958, 251088, 251089, 251171, 251172, 251193, 251194, 251279, 251280, 251937, 251938, 251972, 251973, 251987, 251988, 251992, 251994, 252009, 252010, 252181, 252182, 252185, 252204, 253743, 253744]

        CVM: 192.168.4.99 Up, ZeusLeader
                              Xmount   UP       U69695, 69939, 69940, 215063]
                           IkatProxy   UP       Â69449, 69636, 69637, 69638]
                                Zeus   UP       Â62945, 63004, 63005, 219198, 219344, 219367]
                           Scavenger   UP        69706, 69895, 69896, 69897]
                    SysStatCollector   UP       673446, 73525, 73526, 73527]
                    IkatControlPlane   UP        73535, 73611, 73612, 218611]
                       SSLTerminator   UP        73551, 73672, 73673]
                      SecureFileSync   UP        73712, 73816, 73817, 73818]
                              Medusa   UP       277599, 77784, 77785, 267366, 268088]
                  DynamicRingChanger   UP       282154, 82266, 82267, 215121]
                              Pithos   UP        82199, 82426, 82427, 250733]
                          InsightsDB   UP        82219, 82507, 82508, 218060]
                              Athena   UP       Â82327, 82572, 82573, 82574]
                             Mercury   UP       1290934, 291237, 291238, 291300]
                              Mantle   UP       582763, 82935, 82936, 216809]
                          VipMonitor   UP       92564, 92565, 92567, 92568, 92637]
                            Stargate   UP       283473, 83551, 83552, 260930, 264705]
                InsightsDataTransfer   UP       985400, 85745, 85746, 85842, 85843, 216726, 216727, 219393, 219394]
                             GoErgon   UP       L85983, 86931, 86932, 255897]
                             Cerebro   UP       986786, 87727, 87728, 250587]
                             Chronos   UP        87140, 87774, 87775, 217865]
                             Curator   UP       87361, 87891, 87892, 250494]
                               Prism   UP       >87952, 88052, 88053, 215050, 225961, 226088]
                                Hera   UP       /87986, 88176, 88177, 215136]
                        AlertManager   UP       688228, 88343, 88344, 254109]
                            Arithmos   UP       ,88364, 88516, 88517, 216803]
                             Catalog   UP       88475, 89191, 89193, 253546, 253706]
                           Acropolis   UP       Â91492, 93036, 93037, 241940]
                              Castor   UP        266391, 266805, 266806]
                               Uhura   UP       92967, 93580, 93581, 217286]
                   NutanixGuestTools   UP       b93602, 94202, 94203, 215164, 220166]
                          MinervaCVM   UP       799184, 100091, 100092, 124869]
                       ClusterConfig   UP       1100078, 100564, 100565, 219568, 223588]
                         APLOSEngine   UP       100958, 101881, 101882, 215113]
                               APLOS   UP       u103350, 103900, 103901, 215076]
                     PlacementSolver   UP       103746, 104392, 104393, 219340, 223586]
                               Lazan   UP       Â104415, 105267, 105268, 244731]
                             Polaris   UP        105066, 106015, 106016, 248374]
                              Delphi   UP       106105, 107393, 107394, 253355, 253566]
                            Security   UP       5106496, 107886, 107888, 220053]
                                Flow   UP        108301, 109589, 109590, 251111, 251146]
                             Anduril   UP       285214, 285538, 285539, 285540]
                              Narsil   UP        110319, 110863, 110864, 219978]
                               XTrim   UP       ,111127, 111730, 111731, 111732]
                       ClusterHealth   UP       6111819, 112849, 114121, 114135, 114163, 114170, 114297, 114298, 114361, 114362, 114363, 114364, 114415, 114416, 204585, 204623, 204624, 215504, 215690, 215691, 225143, 225144, 225145, 225327, 225328, 236270, 236271, 236273, 236274, 236280, 236281, 236282, 236289, 236290, 236300, 236715, 236716, 248787, 248792, 256585, 256703, 256704, 264488, 264489]
2025-05-05 05:49:17,817Z INFO MainThread cluster:3465 Success!
nutanix@NTNX-fe3674b0-A-CVM:192.168.4.95:~$


Thank You for your kind support .

Ping response for cluster ipaddress 

 

nutanix@NTNX-fe3674b0-A-CVM:192.168.4.95:~$ ping -c 25 192.168.4.101
PING 192.168.4.101 (192.168.4.101) 56(84) bytes of data.
64 bytes from 192.168.4.101: icmp_seq=1 ttl=64 time=0.618 ms
64 bytes from 192.168.4.101: icmp_seq=2 ttl=64 time=1.07 ms
64 bytes from 192.168.4.101: icmp_seq=3 ttl=64 time=1.68 ms
64 bytes from 192.168.4.101: icmp_seq=4 ttl=64 time=1.18 ms
64 bytes from 192.168.4.101: icmp_seq=5 ttl=64 time=1.25 ms
64 bytes from 192.168.4.101: icmp_seq=6 ttl=64 time=2.55 ms
64 bytes from 192.168.4.101: icmp_seq=7 ttl=64 time=1.21 ms
64 bytes from 192.168.4.101: icmp_seq=8 ttl=64 time=2.02 ms
64 bytes from 192.168.4.101: icmp_seq=9 ttl=64 time=0.792 ms
64 bytes from 192.168.4.101: icmp_seq=10 ttl=64 time=0.685 ms
64 bytes from 192.168.4.101: icmp_seq=11 ttl=64 time=0.829 ms
64 bytes from 192.168.4.101: icmp_seq=12 ttl=64 time=0.835 ms
64 bytes from 192.168.4.101: icmp_seq=13 ttl=64 time=0.908 ms
64 bytes from 192.168.4.101: icmp_seq=14 ttl=64 time=1.68 ms
64 bytes from 192.168.4.101: icmp_seq=15 ttl=64 time=0.433 ms
64 bytes from 192.168.4.101: icmp_seq=16 ttl=64 time=1.18 ms
64 bytes from 192.168.4.101: icmp_seq=17 ttl=64 time=1.14 ms
64 bytes from 192.168.4.101: icmp_seq=18 ttl=64 time=3.69 ms
64 bytes from 192.168.4.101: icmp_seq=19 ttl=64 time=0.816 ms
64 bytes from 192.168.4.101: icmp_seq=20 ttl=64 time=0.675 ms
64 bytes from 192.168.4.101: icmp_seq=21 ttl=64 time=0.782 ms
64 bytes from 192.168.4.101: icmp_seq=22 ttl=64 time=0.790 ms
64 bytes from 192.168.4.101: icmp_seq=23 ttl=64 time=0.715 ms
64 bytes from 192.168.4.101: icmp_seq=25 ttl=64 time=6.19 ms

--- 192.168.4.101 ping statistics ---
25 packets transmitted, 24 received, 4% packet loss, time 24172ms
rtt min/avg/max/mdev = 0.433/1.404/6.194/1.222 ms
nutanix@NTNX-fe3674b0-A-CVM:192.168.4.95:~$

After reboot .Everything resolved .

Thank you 

Terms & Conditions