3.2 KiB
3.2 KiB
title, category, tags, created, modified
| title | category | tags | created | modified | |||||
|---|---|---|---|---|---|---|---|---|---|
| Proxmox VE Cluster | systems |
|
2026-04-28 | 2026-09-26 |
Proxmox VE Cluster
Cluster-Konfiguration
- Version: PVE 9.2.20, Kernel 7.0.14-19-pve (upgraded 2026-09-25)
- Nodes: 8 (Quorum OK, proxmox2 dauerhaft entfernt)
- Hypervisoren: 10.0.20.x
- Guests: ~30 LXC + ~10 QEMU VMs
Storage
- vm_disks: Primärer Storage für alle VMs/CTs (SSD)
- hdd_templates: CT Templates
- Ceph RBD: ceph-flash, ceph-hdd Pools (über K8s CSI)
Netzwerk
- VLAN-basiert, Bridge vmbr0
- IP-Schema: 10.0.X.Y — siehe concepts/network-architecture
Fluent Bit (Logging)
- Alle 9 Hosts haben Fluent Bit aktiv
- Inputs: systemd journal (pve*, corosync, pacemaker, ceph, zfs, smartd), auth.log, pveproxy/access.log, pvedaemon.log, cluster.log
- PVE Tasks (
/var/log/pve/tasks/index): UPID-Format (Node, PID, Task-Type, VMID, User, Status) - Ceph Audit (
/var/log/ceph/ceph.audit.log): OSD/Pool/RBD Operationen - Output → Loki (10.0.30.207:3100)
- Siehe systems/loki-fluentbit
Wichtige Befehle
pvecm status # Cluster-Quorum
pct status <vmid> # Container-Status
pct start/stop <vmid> # Container starten/stoppen
qm status <vmid> # VM-Status
pvesh get /cluster/resources --type vm # Alle VMs/CTs
SSH-Zugriff
- Key:
id_ed25519_proxmox(funktioniert für 10.0.20.x Hosts) - Siehe reference/ssh-keys
GPU Passthrough (AMD 1002:13c0)
- ms-a2-1 (10.0.20.92): VFIO config gefixt 2026-07-24 — siehe Solution Doc
- ms-a2-2 (10.0.20.93): Funktioniert seit Initialisierung
- Benötigte modprobe.d Config:
blacklist amdgpu+blacklist drm+blacklist drm_kms_helperoptions vfio-pci ids=1002:13c0+softdep amdgpu pre: vfio-pci
- Worker-05 (VM 102) läuft auf ms-a2-2 mit funktionierendem GPU-Passthrough
Bekannte Probleme
- CT110 kaputte libc — Reparatur ausstehend (still stopped)
- osd.5 reweight 0.30 (kleine SSD, 150GB) — entlasten oder austauschen
- osd.4 reweight 0.30 (kleine SSD, 227GB auf proxmox3) — gleiche Situation
- worker-04 (VM 139) NotReady im K8s Cluster — Node offline
HA Rules (PVE 9.2 Rules System)
Seit 2026-09-28: HA Groups → Rules migriert. Anti-Collocation + Node-Affinity.
Resource-Affinity (negative = anti-collocation):
galera-anti-300-301: vm:300 ↔ vm:301 — nie auf gleichem Hostgalera-anti-300-302: vm:300 ↔ vm:302 — nie auf gleichem Hostgalera-anti-301-302: vm:301 ↔ vm:302 — nie auf gleichem Hostmaxscale-anti-310-311: vm:310 ↔ vm:311 — nie auf gleichem Host
Node-Affinity (non-strict, failover allowed):
na-vm300: vm:300 → n5pro, proxmox3, proxmox4na-vm301: vm:301 → proxmox6, proxmox5, proxmox7na-vm302: vm:302 → ms-a2-2, ms-a2-1na-vm310: vm:310 → proxmox7, proxmox5, proxmox4na-vm311: vm:311 → ms-a2-1, ms-a2-2
⚠️ PVE 9.2 Constraint: Resources in resource-affinity rules dürfen keine multi-priority node-affinity haben (gleiche Priorität für alle Nodes erforderlich).