리눅스 커널 기반(데비안)에 KVM 과 OpenVZ를 얹고 웹 콘솔을 붙여 놓은 솔루션. Docker 까지 구성하면 삼위일체 가상머신 완성!

VM 뿐 아니라 LxD 컨테이너를 지원하므로 VM만 지원하는 ESXi에 비해 램소모가 적은 장점이 있다¹⁾

프로젝트홈 다운로드 페이지 (Proxmox VE)

1. Debian 11 "Bullseye" and a Linux kernel 5.11
2. LXC 4, Ceph 16.2, QEMU 6.0, and OpenZFS 2.0
3. Reworked installer with Btrfs
4. New panel for managing 'Repositories' via GUI
5. Download ISO images from URL
6. Single Sign-On (SSO) with OpenID Connect
7. Markdown in "Notes"
8. Ceph 16.2 Pacific

1. 부팅 USB 제작 proxmox-ve_7.x.iso를 Rufus로 USB에 기록 (주의. 대화창 옵션에서 꼭 DD쓰기 선택해야 함)
2. USB로 부팅 후 proxomox 설치 (HDD권장)²⁾
3. webui Https 로 본인서버주소의 8006포트로 접속 ³⁾

• 설치 및 패스쓰로 방법
• 간단 장점 및 설치 방법
• 설치 요약 및 XPE 붙이기
• 단계별 과정및 스샷
• Proxmox에 시놀로지 DS3617xs with DSM 6.2 구성
• 도커설치 (Eng) https://www.reddit.com/r/Proxmox/comments/g3wozs/best_way_to_run_docker_in_proxmox/

Proxmox는 유료 라이센스 없이도 잘 작동함. 라이선스가 없는 버전은 테스트 된 "엔터프라이즈"업데이트 저장소에 대한 액세스 권한이 없다는 점을 제외하고는 유료 버전과 동일한 기능을 함. Update를 하려면 기본 설정된 subsription Repository를 다른 저장소로 변경한다.

node - update - repository 

엔터프라이즈 소스는 disable 사용안함으로 하고 ADD 하여 no-subscrition 추가

컨테이너 템플릿 업데이트

pveam update
pveupgrade
pveam available

Web 접속시 계속 Subscription 하라고 알림이 뜨는데,

 /usr/share/pve-manager/js/pvemanagerlib.js
"if (data.status !== 'Active') {" 를 "if (false) {"로 바꿉니다.

https://johnscs.com/remove-proxmox51-subscription-notice/

VM 서버에 TV 서버가 있는 경우 UDP Multicasting이 되어야하는데 ProxMox의 경우 Bridge로 동작하여 Multicasting을 하려면 추가로 설정해야함.

 /etc/network/interfaces 의 iface vmbr0 inet static 끝에 다음을 추가함.
      post-up echo 0 > /sys/devices/virtual/net/vmbr0/bridge/multicast_snooping

1. proxmox에 다른 사용자 추가 - 리눅스 사용자 admin을 추가한다. ⁴⁾

Proxmox with docker (Eng)

1. proxmox에 Docker 와 webui 설치
2. Portainer 설치 ⁵⁾

https://ok-data.github.io/2020/04/10/proxmox-windows/

클릭 한두번이면 가능하다. ⁶⁾

• local 영역은 설치디스크의 일부 용량을 사용하며 설치디스크인 ISO 파일등을 업로드 가능함. 공용으로 사용가능한 용량임 리눅스의 root영역과 비슷한 영역임.
• local-lvm 백업이나 스냅샷을 지원하는 포맷임.

Centos 설치해보기

로컬 > Contents > Upload

1. Goto server view from drop down on left hand side.
2. Expand datacenter menu until you see local then click it.
3. Right hand side select Contents tab.
4. click upload button.
5. Click select file, find your ISO, click upload.

• No cache(Default): 안전함
• Writeback: 성능. 유사시 자료 손상의 위험이 있으므로 듀얼파워, UPS가 있어 안정적인 동작이 가능한 경우 사용한다. (cache=writeback)

• Bridged: 기본. 각각의 VM이 각각의 네트워크 카드를 갖고 있는 것처럼 작동됨. 별도의 MAC이 있고, DHCP에서 (공유기) 각자 IP를 받게 됨.
• Route: Proxmox노드가 공유기처럼 작동함. VM은 별도 내부 IP를 갖게됨.
• Masquerading: 노드와 VM이 같은 IP하나만 쓴다. VM을 외부에 노출 시키려면, portforwarding을 해야함.

Proxmox SSD/하드 마운트 총 정리

• raw format: dd로 만든다 ⁷⁾
• qcow2: 만들고⁸⁾, 압축가능 ⁹⁾
• vmdk

https://pve.proxmox.com/wiki/Passthrough_Physical_Disk_to_Virtual_Machine_(VM)

가상머신 (VM)에 물리하드 (Physical hdd)를 통채로 붙이는 방법이다. 컨테이너(CT)에는 안된다? 컨테이너에 물리하드 붙이기

시작하기 전에 반드시 해당 하드의 제품명, 시리얼번호를 다른 곳에 적어 놓는다. 중간에 헷갈리지 않도록한다.

ls -l /dev/disk/by-id

확인

# ls -l /dev/disk/by-id | grep PURZ
lrwxrwxrwx 1 root root  9 Sep 18 22:33 ata-WDC_WD20PURZ-85GU6Y0_WD-WCC4M2TTJU88 -> ../../sde

이제 qm 명령어로 해당 가상머신에 하드디스크를 할당한다. VM 번호를 알아야함.

qm set 105 -sata0 /dev/disk/by-id/ata-SAMSUNG_HD203WI_S27KJ1LZ202590
qm set 106 -sata0 /dev/disk/by-id/ata-Samsung_SSD_840_PRO_Series_S12TNEAD203401D
qm set 106 -sata1 /dev/disk/by-id/ata-TOSHIBA_DT01ACA300_46H2H8NGS
qm set 105 -sata0 /dev/disk/by-id/ata-WDC_WD20EZRX-00D8PB0_WD-WMC4M2791725
qm set 112 -sata1 /dev/disk/by-id/ata-WDC_WD20PURZ-85GU6Y0_WD-WCC4M2TTJU88
qm set 112 -sata2 /dev/disk/by-id/ata-WDC_WD20PURZ-85GU6Y0_WD-WCC4M6TZJK2N
qm set 112 -sata3 /dev/disk/by-id/ata-Hitachi_HDS722020ALA330_JK11A8B9HWKUPF 
qm set 112 -sata4 /dev/disk/by-id/ata-TOSHIBA_HDWG440_24A0A02AFZ0G
qm set 112 -sata3 /dev/disk/by-id/ata-TOSHIBA_HDWG740UZSVC_84R0A1PEFX3J

해당 가상머신 재시작.

UUID로 물리하드 붙이기

• Web interface: 8006 (TCP, HTTP/1.1 over TLS)
• VNC Web console: 5900-5999 (TCP, WebSocket)
• SPICE proxy: 3128 (TCP)
• sshd (used for cluster actions): 22 (TCP)
• rpcbind: 111 (UDP)
• sendmail: 25 (TCP, outgoing)
• corosync cluster traffic: 5404, 5405 UDP
• live migration (VM memory and local-disk data): 60000-60050 (TCP)

물리디스크를 이미지로 변환해서 가상머신 돌리는 방법

Proxmox p2v

컨테이너는 크게 두 종류가 있다. Privileged와 Unprivileged인데 전자는 컨테이너의 root 계정이 Proxmox의 root 계정이고, 후자는 컨테이너 내의 root이 Proxmox 가면 듣보잡인 뭐 그런 개념이다. 아무래도 컨테이너에서 계정이 탈출하는 상황을 가정하면 후자가 안전하다. 다만 듣보잡 계정을 쓰면 상대적으로 안전한 만큼 불편함도 있다. 예를 들어 외부 스토리지를 연결해줘도 unprivileged 컨테이너는 그 스토리지에 쓰기를 할 수가 없다. ¹⁰⁾

로컬 > Contents > Templates

상용 서비스 아니면 no subscription repository 쓰면 된다. 안정화 패키지 말고 다른 특별한 제한은 없다. 가끔씩 최신 업데이트해보면 버그로 일부 패키지들이 동작이 안되었던 경험이 있다. (docker-ce등)

subscription alert 무력화 스크립트임.. (업데이트 할때마다 실행 필요함)

sed -i.bak 's/NotFound/Active/g' /usr/share/perl5/PVE/API2/Subscription.pm && systemctl restart pveproxy.service

lspci #하드웨어 정보


dmesg

• /etc/pve 설정
• /etc/pve/qemu-server VC 설정
• /etc/pve/lxc 컨테이너 설정
• /var/lib/vz/template/iso 각종 OS 설치 시 사용되는 Cd ISO

메인이 아무래도 리눅스인만큼 로그, 하드웨어 모니터 등등 관리를 위한 데몬들의 디스크 I/O 가 상당히 많다. SSD 같은 경우 메인드라이브로 사용하기에는 OS구동만으로도 수명에 무리가 있다. 간단하게 USB등에 설치하는 Vmware의 ESXi 와는 다르게 Proxmox는 반드시 하드디스크에 설치해서 사용하는게 유리함.

속도가 필요한 가상머신(VM) 자체는, 따로 SSD를 설치해서 구동하도록 한다. ¹¹⁾

HA(High availablity)같은 경우 SSD는 클러스터를 사용하지 않는 경우 수명보호를 위해 아예 끄는 것이 좋다 (주의가 필요)

systemctl stop pve-ha-lrm
systemctl stop pve-ha-crm
systemctl disable pve-ha-crm
systemctl disable pve-ha-lrm

systemctl edit --full pvesr.timer
change to OnCalendar=monthly
systemctl daemon-reload

컨테이너를 다른 HDD로 이동하는 기능은 웹UI에는 없다.

1. 정지시킨다
2. 일단 백업을 하고
3. 백업한 것을 다른 하드에서 같은 ID로 복원

백업할 공간이 충분해야한다.

자동화 스크립트

LVM추가

Proxmox VE Hostname 변경하기

서버에서 해당 컨테이너의 설정 파일 (eg. /etc/pve/lxc/103.conf)에 다름과 같이 추가한다.

mp0: /mnt/backup,mp=/shared,replicate=0

서버의 /mnt/backup 폴더를 해당 컨테이너의 /shared 로 연결하게 된다.

1. 클러스터 생성
2. 가입정보 확인
3. 다른 노드로 가서 '클러스터 가입' 누르고 정보 복붙.
4. 엄마쪽 루트 패스워드 입력

this host already contains virtual guests

클러스터에 VT 가 있는 경우 가입이 안된다. 일단 백업 & 삭제 한 후 다시 복구해야 한다.

클러스터 삭제는 커맨드라인 명령 필요함 ¹²⁾

클러스터를 만든 서버를 켜지 않았을 경우 웹로그인 안되는 경우 자식 서버에서 클러스터 삭제하면 로그인 됨.

systemctl stop pve-cluster corosync
pmxcfs -l
rm /etc/corosync/*
rm /etc/pve/corosync.conf
killall pmxcfs
systemctl start pve-cluster