LLama 3.1은 Meta(FaceBook)에서 제공하는 로컬에 설치 가능한 AI모델입니다. 세 가지의 모델이 있는데 8b(80억파라미터) 모델은 GPT 3.5 Turbo와 비슷한 성능이라고 합니다.
Ollama를 다운로드 받아, Ollama를 통해 LLama 3.1(8b)을 개인 PC에 설치해봅니다.
•
아래 URL에 접근
•
각자 OS에 맞는 버젼 다운로드(현재 문서는 Windows 기반)
•
다운로드 받은 파일을 실행해서 설치
•
설치가 완료된 후 설치된 ollama를 찾아서 실행
◦
또는 윈도우즈 PowerShell을 바로 실행해도 됨.
•
PowerShell에서 다음 명령어를 실행해서 llama3.1 8b를 설치합니다.
◦
ollama run llama3.1:8b
▪
위 명령어를 최초실행하면 llama3.1을 다운로드하고 실행까지 합니다.
▪
Default가 C드라이브에 설치되는 것으로 보입니다. 최소 5기가의 저장 공간이 필요합니다.
•
테스트해보기, PowerShell에서 llama를 실행한 후에 질문을 해봅니다.
◦
한글도 가능합니다.
◦
그런데! 개인 컴퓨터에 따라 매우 느립니다.
◦
그래서 다들 맥북프로를…
