AMD BC-250

AMD BC-250은 AMD가 만든 특수 목적 x86-64 컴퓨팅 보드다. 원래 용도는 가상화폐 채굴로, PS5용으로 생산된 보드 중 불량품을 선별해 재생해서 만든 것으로 알려져 있다. CPU와 GPU가 하나의 SoC에 통합돼 있고, 16GB GDDR6 메모리를 CPU/GPU가 공유하는 통합 메모리 구조를 쓴다.

  • 코드명: Cyan Skillfish
  • CPU: Zen 2 기반, 6코어 12스레드 (언락 시 8코어 16스레드)
  • GPU: GFX1013, 기본 24 CU (언락 시 40 CU)
  • 메모리: 16GB GDDR6, 256bit, CPU/GPU 통합
  • 저장장치: M.2 2280 슬롯 1개 (PCIe 2.0 x2 또는 SATA III)

중고/병행 유통 시장에서 저렴하게(대략 130~150달러 수준) 풀리면서 하드웨어 개조 및 로컬 AI 추론용으로 커뮤니티에서 인기를 끌고 있다.

USB 및 확장 포트

보드에는 기본으로 다음 포트가 달려 있다.

  • DisplayPort 1개
  • 기가비트 이더넷 1개
  • USB 2.0 2개
  • USB 3.0 2개

추가로 배선이 필요한 부분들:

  • 전원 버튼 헤더가 없어서, 외부 전원 버튼을 달려면 온보드 전원 버튼 양쪽에 직접 납땜해야 한다.
  • 오버클럭 같은 고전력 용도에는 기본 커넥터(J1000) 외에 J2000, J2001에도 추가 배선이 권장된다.
  • 보드 하단에는 JTAG 디버깅용 AMD HDT+ 디버그 커넥터(20핀, 비어있음)가 있다.

운영체제 설치

Linux가 사실상 필수다. GPU 지원을 위해 Linux가 필요하고, Windows는 공식 드라이버가 아예 없다. 커뮤니티에서는 Arch Linux, CachyOS, Fedora(특히 Bazzite) 사용 사례가 많이 보고된다.

우분투도 설치 가능하다. 다만 관련 가이드/문서가 Arch 계열과 Fedora 계열에 집중돼 있어서 상대적으로 직접 손볼 부분이 많다.

  • 최신 커널 + Mesa 필요 (40 CU 언락 등은 최신 AMDGPU 커널 모듈 패치가 필요하며, 문서상 Linux 6.18.40에서 테스트됨. Mesa 25.1+ 권장). 우분투 LTS 기본 리포는 오래된 경우가 많아 HWE 커널이나 Mesa PPA 필요할 수 있음.
  • 보드 자체에 무선랜이 없어서 설치용 USB 외에 유선 이더넷이나 USB 와이파이 동글이 필요.
  • 설치 전 모디드 BIOS 플래시, VRAM 512MB 설정이 일반적으로 선행됨.
  • 드라이버 정상 작동 후 GRUB에서 nomodeset 옵션 제거 필요.

AI 추론 (단일 보드)

추론용으로 활발히 쓰이고 있다. 핵심은 ROCm이 아니라 Vulkan(RADV) 백엔드로 llama.cpp/Ollama를 돌리는 것.

  • GPU가 gfx1013이라 이걸 공식 타겟팅하는 ROCm 빌드가 없어서 대부분 Vulkan 경로를 쓴다. Ollama도 ROCm을 시도했다가 GFX1013에서 실패하고 Vulkan으로 넘어가는 걸 확인할 수 있다.
  • VRAM에 맞는 MoE 모델(gpt-oss-20b, Qwen3.5-35B-A3B, Gemma-4-26B-A3B 등) 기준 초당 30~40토큰 정도.
  • 35B 파라미터 MoE 모델을 초당 37.5토큰으로, 16GB 통합 메모리에서 오프로딩 없이 64K 컨텍스트까지 돌린 벤치마크 사례도 있음.
  • 16GB가 CPU/GPU 공유 메모리라 큰 모델은 한계선에 바로 걸리고 OOM이 가장 흔한 실패 원인. BIOS VRAM 설정, 커널 TTM pages_limit 상향, MoE 모델 위주 운용이 핵심.
  • 학습(training)용으로는 부적합, 추론 전용 저가 박스로 평가됨.
  • 국내 커뮤니티(아카라이브)에서는 드라이버 미성숙으로 유휴 상태 전력 소비가 꽤 높다는 지적도 있음. 상시 가동 용도라면 고려 필요.

Qwen3.5-35B-A3B 단일 보드에서 가능한가

가능하다. A3B는 MoE(Mixture of Experts) 구조로, 전체 파라미터는 35B지만 토큰 하나 생성할 때 실제 활성화되는 건 약 3B뿐이다. 그래서 연산량은 3B급인데 메모리는 35B 전체를 올려야 해서, 메모리는 넉넉하고 연산력은 약한 BC-250 구조에 잘 맞는다.

  • Q4 정도의 양자화가 사실상 필수 (FP16 원본은 그대로 안 들어감).
  • 기본 컨텍스트가 크면 KV 캐시가 메모리를 많이 잡아먹어서 OOM 위험. num_ctx를 16K 정도로 줄이는 튜닝이 필요할 수 있음.
  • TTM pages_limit 등 커널 튜닝이 선행돼야 안정적으로 로드됨.

여러 보드 클러스터링

llama.cpp의 RPC 백엔드로 여러 보드를 묶을 수 있다. 각 보드에서 rpc-server를 띄우고, 오케스트레이터에서 --rpc node1:50052,node2:50052,... 형태로 붙여서 한 모델을 여러 보드에 걸쳐 돌리는 방식. 한 노드의 메모리 한계를 넘는 모델도 결합된 메모리로 돌릴 수 있다.

방식은 레이어 병렬화(layer parallelism)로 동작한다. 모델을 모든 노드에 복제하는 게 아니라 레이어를 나눠서 각 노드가 일부 레이어씩 담당하고, 토큰 생성 매 스텝마다 노드 간 데이터를 교환한다.

2대 vs 3대 실측 (Ciro Lucio Tecce 블로그, BC-250 3~4대 클러스터 구축기)

2노드 구성이 3노드 구성보다 모든 비교 항목(16개)에서 더 빨랐다. 3번째 노드는 연산 병렬성을 늘려주지만 동시에 더 많은 RPC 트래픽과 동기화 비용을 가져오기 때문. 3노드로 늘렸을 때 프롬프트 처리 평균 -7.5%, 생성 속도 평균 -20.2% 하락했고, 최악의 경우(Gemma 26B-A4B 생성, 풀 컨텍스트) -41.6%까지 떨어졌다.

2대(32GB) 조합 실측 벤치마크

1대당 16GB이므로 2대면 이론상 32GB 통합 메모리 확보 가능 (실제로는 BIOS에서 GPU에 일부 할당하고 나머지를 GTT로 쓰는 방식이라 조금 덜 나옴).

모델크기특징풀 컨텍스트에서 생성 속도 변화
Gemma 4 12B12B양호+22.6%
Gemma 4 26B-A4B (MoE)26B양호+13.0%
Qwen 3.6 35B-A3B (MoE)35B가장 빠름+28.9% (최고)
Qwen 3.6 27B (dense)27B프롬프트 처리 느림+12.4%

실사용 결론:

  • Qwen3.6 35B-A3B는 2노드에서 일상적인 코딩 작업에 쓸 만한 성능이 나온다. 특히 프롬프트 처리 속도가 좋아서 코딩 에이전트처럼 프롬프트가 큰 워크로드에 잘 맞는다.
  • 27B dense(비-MoE) 모델은 프롬프트 처리가 느려서 8K~30K 토큰짜리 코딩 에이전트 프롬프트를 넣으면 대기 시간이 견디기 힘든 수준이 된다.
  • MoE 모델이 dense 모델보다 이 하드웨어에 훨씬 유리하다. 활성 파라미터가 적어서 연산 부담이 적기 때문.

클러스터링 시 주의사항

  • 네트워크가 병목이라 반드시 유선 이더넷을 써야 함. Wi-Fi로 워커 하나만 연결해도 처리량이 10배 떨어지는 경우가 관찰됨.
  • 가장 느린 노드가 전체 속도를 결정함(체인은 가장 느린 홉 속도로 동작).
  • 클러스터의 모든 머신이 동일한 llama.cpp 빌드를 써야 함. GGML 와이어 포맷이 릴리스마다 바뀌어서 버전이 안 맞으면 핸드셰이크에서 멈추거나 크래시 발생.
  • rpc-server는 인증이 없음. 신뢰할 수 없는 네트워크에 0.0.0.0으로 열어두면 누구나 접근해 임의 텐서 그래프를 실행할 수 있어서, 외부 노출은 피하고 필요하면 Tailscale/WireGuard 같은 사설망을 쓰는 게 좋음.
  • 2~3대가 현실적 한계. 그 이상은 IP 관리, 죽은 워커 재시작, –rpc 목록 수정 등으로 급격히 번거로워짐.
  • 2대(32GB) 조합의 스위트스팟은 35B급 MoE 모델(Qwen3.5/3.6-35B-A3B, Gemma 4 26B-A4B)을 코딩 보조용으로 돌리는 것.
  • 27B급 이상 dense 모델은 메모리엔 들어가도 실사용(특히 긴 프롬프트)에서 답답할 수 있음.
  • 70B급 dense 모델을 시도하려면 3대(48GB) 이상이 필요한데, 그럴 경우 3노드 오버헤드 문제를 감수해야 함.
  • 3대로 늘리는 건 메모리는 늘지만 속도는 오히려 떨어지는 트레이드오프가 있으므로, 목적이 "더 큰 모델을 느리게라도 돌리기"인지 "적당한 모델을 빠르게 돌리기"인지에 따라 노드 수를 정하는 게 좋음.