Ollama로 Docker에서 Open-WebUI 설치하기

최근 인공지능(AI) 기술의 발전으로 개인 사용자가 쉽게 챗봇을 만들 수 있는 환경이 조성되었습니다. 특히, Ollama와 Open-WebUI를 활용하면 누구나 손쉽게 자신만의 챗봇을 구축할 수 있습니다.

이 글에서는 Docker를 통해 Ollama와 Open-WebUI를 설치하고 사용하는 방법에 대해 상세히 설명드리겠습니다.

Docker 설치 및 기본 세팅

Docker는 컨테이너 기술을 이용하여 소프트웨어를 격리된 환경에서 실행할 수 있게 해주는 플랫폼입니다. Docker를 사용하면 여러 애플리케이션을 손쉽게 설치하고 관리할 수 있습니다.

먼저, Docker를 설치하기 위해 공식 웹사이트를 방문하여 자신의 운영 체제에 맞는 설치 파일을 다운로드하셔야 합니다.

설치가 완료되면 Docker Desktop을 실행하고, 기본 설정을 완료하십시오. Docker가 제대로 작동하는지 확인하기 위해 터미널 또는 명령 프롬프트에서 docker --version 명령어를 입력하여 Docker 버전 정보를 확인할 수 있습니다.

Ollama는 개인 PC에서 AI 모델을 실행할 수 있도록 도와주는 툴입니다. 이 툴을 사용하면 다양한 AI 모델을 손쉽게 다운로드하고 사용할 수 있습니다.

Ollama의 설치는 간단하며, 아래의 명령어를 터미널에 입력하면 됩니다.

bash curl -sSfL https://ollama.com/download.sh | sh

이 명령어를 실행하면 Ollama가 자동으로 설치됩니다. 설치가 완료된 후, ollama --version 명령어를 입력하여 설치가 정상적으로 완료되었는지 확인해보세요.

이제 Ollama를 사용하여 다양한 AI 모델을 다운로드 하실 수 있습니다. 기본적으로 제공되는 Llama 모델을 포함하여 원하는 모델을 선택할 수 있습니다.

모델 이름	설명
Llama 3.2 3B	3억 개의 파라미터를 가진 모델로, 다양한 대화형 응답을 생성할 수 있습니다.
Llama 7B	7억 개의 파라미터를 가진 모델로, 더 높은 품질의 응답을 생성합니다.
Llama 13B	13억 개의 파라미터로 더 복잡한 질문에 대한 응답을 제공합니다.

Open-WebUI는 Ollama와 함께 사용하여 UI를 제공하는 프레임워크입니다. 이를 통해 사용자는 더 직관적으로 챗봇과 상호작용할 수 있습니다.

Open-WebUI를 설치하기 위해서는 Python 3.11 이상의 버전이 필요합니다. 운영 체제에 맞게 Python을 설치한 후, 아래의 명령어로 Open-WebUI를 설치할 수 있습니다.

bash pip install open-webui

Ollama와 Open-WebUI 설치가 완료되면, Docker에서 Open-WebUI를 실행할 준비가 완료된 것입니다. Docker를 이용하여 Open-WebUI를 실행하기 위해서는 다음의 명령어를 사용하시면 됩니다.

bash docker run --name My_GPT -p 3000:3000 -d open-webui

위 명령어에서 --name 옵션을 통해 컨테이너 이름을 변경할 수 있으며, -p 옵션을 사용하여 호스트 포트를 컨테이너 포트에 매핑할 수 있습니다. 이 명령어를 실행하면 Open-WebUI가 Docker 컨테이너에서 실행됩니다.

Docker에서 생성한 컨테이너는 손쉽게 관리할 수 있습니다. Docker Desktop을 열고, “Containers” 탭을 클릭하면 현재 실행 중인 컨테이너 목록을 확인할 수 있습니다.

여기서 생성한 My_GPT 컨테이너를 찾아 실행하거나 중지할 수 있습니다. 컨테이너를 실행하거나 중지하는 방법은 두 가지가 있습니다.

하나는 Docker Desktop의 UI를 이용하는 것이고, 다른 하나는 터미널에서 직접 명령어를 입력하는 것입니다. 예를 들어, 컨테이너를 중지하려면 다음의 명령어를 입력하시면 됩니다.

bash docker stop My_GPT

반대로, 컨테이너를 다시 실행하려면 아래와 같은 명령어를 사용할 수 있습니다.

bash docker start My_GPT

이제 Open-WebUI가 성공적으로 실행되었으므로, 웹 브라우저를 통해 UI에 접근할 수 있습니다. 브라우저를 열고 http://localhost:3000 주소를 입력하시면 Open-WebUI의 메인 화면이 나타날 것입니다.

이 페이지에서 다양한 AI 모델을 선택하고, 대화를 시작할 수 있습니다. Open-WebUI의 UI는 사용자 친화적으로 설계되어 있어, 직관적으로 사용하실 수 있습니다.

모델 선택 후 대화창에 입력을 하면 AI가 응답하는 모습을 실시간으로 확인할 수 있습니다. 또한, 다양한 설정 옵션을 통해 AI 모델의 응답 방식이나 스타일을 조정할 수 있습니다.