티스토리 뷰
목차
# 내 컴퓨터에 AI 비서 만들기 — 로컬 LLM 설치 및 실행 방법
AI 정보 유출과 월 구독료 걱정 없이 안전하게 쓰는 법
회사 기밀이나 지극히 개인적인 일기를 ChatGPT에 입력하려다가 멈칫한 적 있으시죠? 내가 입력한 정보가 AI 학습 데이터로 쓰이거나, 보안 사고로 유출되면 어쩌나 하는 불안감은 당연합니다. 실제로 대기업에서 사내 소스코드를 입력했다가 기밀이 유출되어 난리가 난 일도 있었으니까요. 게다가 매달 20달러씩 꼬박꼬박 나가는 구독료는 또 얼마나 아깝습니까.
저 역시 처음에는 업무 기획안이나 중요한 재무 데이터를 유료 AI 툴에 업로드하는 것이 무척 찝찝했습니다. 남들은 보안 걱정 없이 잘만 쓰는데 나만 트렌드에 뒤처지는 것 같아 조급했죠. 하지만 내 컴퓨터 안에서만 100% 작동하는 '로컬 LLM'을 설치한 뒤로는 인터넷 연결마저 완전히 끊은 상태에서 안심하고 기밀 자료를 요약하고, 메일 초안을 다듬고 있습니다.
해결 방법은 무척 간단합니다. 내 PC 하드웨어 자원만 사용하는 인공지능을 직접 깔면 됩니다.
style="display:block"
data-ad-client="ca-pub-XXXXXXXX"
data-ad-slot="XXXXXXXX"
data-ad-format="auto"
data-full-width-responsive="true">
Q. 컴퓨터를 잘 모르는 일반 직장인도 로컬 AI를 설치할 수 있나요?
어려워 보이지만 'Ollama(올라마)'라는 무료 프로그램을 이용하면 단 5분 만에 설치할 수 있습니다. 마우스 클릭 몇 번과 코드 한 줄 복사-붙여넣기면 메타의 Llama나 구글의 Gemma 같은 세계적인 로컬 모델을 내 컴퓨터에서 즉시 실행할 수 있죠.
40대 이상 직장인이나 AI 초보자도 지금 즉시 따라 할 수 있는 초간단 실행 스텝과 내 노트북 사양에 맞는 AI 모델 선별 기준을 아래에서 확인해보세요.
▶ 로컬 LLM 설치 자격 및 PC 사양 테스트하기
내 노트북에서 돌아가는 로컬 AI 모델 고르는 기준
인터넷 없이 돌아가는 로컬 AI는 내 컴퓨터의 그래픽 카드(VRAM) 용량에 따라 성능과 속도가 결정됩니다.
1. VRAM 8GB 이하 (일반 사무용 노트북): 구글 Gemma 2B 모델 또는 Microsoft Phi-3 모델을 추천합니다. 가볍지만 웬만한 텍스트 요약과 번역은 깔끔하게 해냅니다.
2. VRAM 16GB 이상 (게이밍 노트북 또는 데스크톱): 메타 Llama 3 8B 모델을 돌릴 수 있습니다. 비즈니스 글쓰기와 복잡한 기획 논리 전개도 챗GPT급으로 훌륭히 소화합니다.
구체적인 단계별 세부 프로그램 셋업과 오류 해결 비책은 아래 가이드에 상세히 정리되어 있습니다.
▶ 5분 만에 로컬 AI 구축하는 상세 가이드
▶ 무료 로컬 AI 모델 다운로드 받기