Ollama GPU 사용 확인과 설정, ollama ps로 CPU/GPU 보는 법과 GPU 안 잡힐 때 해결 (CUDA_VISIBLE_DEVICES)
·
로컬 LLM
Ollama로 모델을 돌렸는데 답이 유난히 느리면, 대부분 GPU가 아니라 CPU에서 돌고 있는 경우다. 지난번 Qwen 3.8 실측 글을 쓸 때 학교 GPU 서버(RTX A6000)에서 Docker로 띄웠었는데, GPU 한 장만 붙이려다 컨테이너 안에서 GPU가 안 잡혀서 CUDA_VISIBLE_DEVICES로 돌려 막았었다. 이번에는 GPU 확인, 설정, 안 잡힐 때 해결 순서로 정리했다.Docker 없이 깔아 둔 서버 Ollama가 CPU로 돈 적이 있다. 답이 너무 느려서 알아챘다.기준은 Ollama 하드웨어 지원 문서와 FAQ, 문제 해결 문서고, 글 쓰는 시점 최신 버전은 v0.40.16(11월 10일 배포)이다. Ollama GPU 사용 확인, ollama ps의 PROCESSOR 열가장 빠..
CLAUDE.md 작성법, 클로드 코드 CLAUDE.md 위치와 예시 (/init, .claude/rules, AGENTS.md)
·
AI 코딩 도구
Claude Code를 쓰다 보면 세션마다 같은 말을 또 하게 된다. 테스트는 이 명령으로 돌려라, 이 폴더는 건드리지 마라 같은 것들인데, 이걸 적어 두는 파일이 CLAUDE.md다. 지난번 Cursor Rules 글에서 AGENTS.md를 다뤘었는데, Claude Code 쪽은 CLAUDE.md가 기본이라 따로 정리해보았다.나는 CLAUDE.md를 직접 만들어 써봤는데, 주로 코드 규칙이랑 프로젝트 구조 설명을 넣었다.기준은 Claude Code 메모리 문서와 베스트 프랙티스 문서고, 글 쓰는 시점 최신 버전은 2.1.327(11월 18일 배포)이다. 설치가 아직이면 Claude Code 설치 글부터 보면 된다. CLAUDE.md 위치, 어디에 두면 어디에 적용되나CLAUDE.md는 두는 위치에 따라..
Open WebUI 설치 방법, Docker로 Ollama 연결하고 업데이트하기 (윈도우/맥/우분투)
·
로컬 LLM
Ollama는 터미널에서 쓰기는 편한데, 대화 기록을 남기거나 다른 사람이랑 같이 쓰려면 웹 화면이 하나 있는 게 낫다. Open WebUI는 그런 용도로 제일 많이 쓰는 셀프 호스팅 웹 UI고, Ollama나 OpenAI 호환 API에 붙여서 ChatGPT 비슷한 화면으로 쓸 수 있다.예전에 회사 윈도우 컴퓨터에 한 번 깔아봤다.기준은 Open WebUI 빠른 시작 문서와 GitHub README고, 글 쓰는 시점 최신 버전은 v0.13.3(11월 9일 배포)이다. Ollama 쪽 명령은 Ollama 명령어 모음 글에 따로 정리했다. Open WebUI 설치 방법 고르기공식 문서가 안내하는 방법은 크게 세 가지다.방법언제 쓰나Docker공식 권장. 맥, 리눅스, 윈도우 다 된다Python(uvx, pi..