Ollama - 기술

문서의 이전 판을 선택했습니다! 저장하면 이 자료로 새 판을 만듭니다.

{{tag> ollama }}
====== Ollama======

Ollama나 OpenWebUI 같은 환경에서 모델을 고르다 보면 이름 옆에 붙는 다양한 태그들이 헷갈리실 수 있다. Mac mini 32GB 사용자를 위해 아주 쉽고 직관적으로 정리해 드릴게요.

==== 클라우드 (Cloud / API)====

이건 내 맥미니에서 돌아가는 모델이 아니라, **외부 서버(OpenAI, Anthropic 등)에서 빌려 쓰는 모델**을 뜻함.

* **특징:** 성능은 압도적으로 좋지만, 사용할 때마다 돈이 나가거나 API 키가 필요함.
  * **용도:** 내 맥미니 사양을 뛰어넘는 초고난도 작업(소설 전체 분석 등)이 필요할 때 연결해서 씁니다.

==== 임베딩 (Embedding)====

대화용 모델이 아니라 **"비교 및 검색용" 모델**임.

* **특징:** 질문을 던져도 대답(Text)을 하지 않고, 문장을 **숫자 뭉치(Vector)**로 변환함.
  * **용도:** **RAG(내 문서 기반 답변)** 기능을 쓸 때 필수임. 내 PDF 문서들을 숫자로 변환해서 저장해 뒀다가, 나중에 질문과 비슷한 내용을 광속으로 찾아낼 때 사용함.
  * **추천:** `ollama run mxbai-embed-large`

==== 비전 (Vision / VL)====

앞서 설명해 드린 **"눈(시각)이 달린" 모델**임.

* **특징:** 이미지 파일(JPG, PNG 등)을 이해함.
  * **용도:** 사진 설명, 영수증 OCR(글자 추출), 웹사이트 스크린샷 보고 코드 짜기 등.
  * **추천:** `ollama run qwen2.5-vl:7b` (맥미니 32GB에서 매우 빠름)

==== 툴스 (Tools / Function Calling)====

**"손과 발이 달린" 모델**임.

* **특징:** 외부 프로그램(계산기, 검색 엔진, 시스템 설정)을 조작할 수 있는 특수한 '쪽지(JSON)'를 쓸 줄 압니다.
  * **용도:** "오늘 서울 날씨 검색해줘", "내 맥미니 램 사용량 알려줘" 같은 **동적인 작업**을 수행할 때 씁니다.
  * **추천:** `ollama run qwen2.5:32b` (도구 능력이 아주 뛰어남)

==== 팅킹 (Thinking / Reasoning)====

최근 가장 핫한 **"심사숙고형(추론)" 모델**임. (예: DeepSeek R1)

* **특징:** 정답을 말하기 전에 **`<thought>`(생각 과정)**라는 단계를 거칩니다. 사람이 문제를 풀 때 연습장에 풀이 과정을 적는 것과 똑같다.
  * **용도:** 복잡한 수학 문제, 논리 퍼즐, 아주 어려운 코딩 버그 수정 등.
  * **추천:** `ollama run deepseek-r1:32b` (32GB 램에서 돌릴 수 있는 최고 성능의 생각하는 모델)

====💡 Mac mini 32GB 유저를 위한 '풀세트' 추천====

이 5가지를 다 깔 필요는 없고, 딱 이렇게 3개만 가지고 계시면 모든 상황에 대응 가능함.

- **메인 비서 (Tools + Thinking):** `deepseek-r1:32b` (똑똑함 끝판왕)
  - **눈이 필요한 비서 (Vision):** `qwen2.5-vl:7b` (사진 분석용)
  - **문서 분석용 (Embedding):** `mxbai-embed-large` (PDF 읽기용)
 
 
=====테스트=====

* Qwen2.5:32b-instruct-q3_K_M (15GB), cl 32768,   
     * 램 29gb 점유, 5분 이상 걸림.
   * qwen2.5:14b (9.0 GB)  ((openclaw config set agents.defaults.model.primary "ollama/qwen2.5:14b"))
     * 램 사용 20GB, 단순 인사 대답 약 3초. 약간 복잡한 질문은 3분 정도 걸려.

편집 요약

참고: 이 문서를 편집하면 내용은 다음 라이선스에 따라 배포하는 데 동의하는 것으로 간주합니다: CC Attribution-Noncommercial-Share Alike 4.0 International