인터넷을 꺼도 곁에 남아 있는 친구
책상 위 컴퓨터 어딘가에, 인터넷을 꺼도 조용히 곁을 지키는 작은 친구가 하나 산다고 상상해 보세요. 내가 무슨 말을 건네도 밖으로 옮기지 않고, 남의 서버로 소문내지도 않고, 요금 고지서도 없이, 그저 내 컴퓨터 안에서 나만을 위해 있어 주는 친구. 로컬 LLM은 그런 존재입니다.
한동안은 이 친구를 사귀는 일이 꽤 번거로웠습니다. 모델 파일이며 실행 환경이며 그래픽카드 설정이며, 인사도 나누기 전에 진이 빠지곤 했으니까요. 그런데 요즘은 그 문턱이 놀랄 만큼 낮아졌습니다. 그래서 한 번쯤, 내 컴퓨터 안에 조용한 친구 하나를 들인다는 마음으로 이 존재를 다시 볼 만합니다.
먼저, 오해 하나만 풀고 갑시다
친구로 삼기 전에 딱 하나 짚고 싶은 게 있습니다. 이 친구는 '주머니 속 ChatGPT'가 아닙니다. "공짜로 쓰는 GPT" 정도로 기대하고 다가가면, 생각보다 빨리 서운해지기 쉬워요.
하지만 서운해할 일은 아닙니다. 이 친구가 모자라서가 아니라, 애초에 결이 다른 친구이기 때문이에요. 큰 클라우드 모델이 뭐든 척척 답해주는 만능 상담가라면, 로컬 LLM은 옆자리에 앉은 편한 친구에 가깝습니다. 대단한 걸 해내진 못해도, 소소한 부탁을 눈치 안 보고 건넬 수 있는 사이. 이 눈높이로 바라보면, 이 친구는 의외로 오래 곁에 두게 됩니다.
사귀는 건, 정말 쉬워졌습니다
요즘은 이런 친구를 들이는 일이 인사만큼이나 간단해졌습니다. 대표적인 도구가 둘 있어요. Ollama는 명령어 한 줄이면 모델을 내려받아 곧바로 대화를 시작할 수 있는 도구입니다. 검은 화면(터미널)이 익숙한 분께 잘 맞죠. 터미널이 부담스럽다면 LM Studio가 있습니다. 프로그램을 깔고 마우스로 클릭하며 쓰는 화면형(GUI) 도구라, 마음에 드는 모델을 목록에서 골라 내려받고 채팅창에서 바로 말을 걸 수 있어요. 새 메신저 하나 설치하는 느낌에 가깝습니다. 둘 다 번거로운 준비는 알아서 맡아주니, 취향에 맞는 쪽으로 시작하면 됩니다.
정작 고민할 지점은 그다음입니다. 친구가 왔다고 곧바로 죽이 잘 맞는 건 아니거든요. 작은 모델은 가볍고 날렵하지만 이야기가 조금만 복잡해져도 금세 헤매고, 큰 모델은 말은 잘 통하는 대신 내 컴퓨터에서 굼뜨거나 버거워하기도 합니다. 그래서 핵심은 가장 똑똑한 친구가 아니라, 내 곁에 편히 있어 줄 친구를 고르는 일입니다.
이럴 때 도움이 되는 도구가 하나 있습니다. whichllm이라는 오픈소스인데, 내 컴퓨터 사양에서 실제로 잘 지낼 만한 모델을 추천해 줍니다. 그래픽카드 메모리만 보는 게 아니라 성능·속도·최신성 같은 걸 두루 살펴서 "당신 노트북이라면 이 친구가 현실적이에요"라고 짚어주죠. 처음 친구를 소개받을 때 곁에서 거들어주는 다정한 주선자 같은 존재입니다.
그럼, 우리 회사 노트북에는 어떤 친구가 맞을까
이야기가 조금 구체적이면 좋겠죠. 회사에서 많이 쓰는 LG 그램(2025) 같은 노트북을 예로 들어볼게요. 가볍고 좋은 노트북이지만, 램이 16GB이고 별도 그래픽카드 없이 내장 그래픽으로 돌아갑니다. 그러니 여기서는 "가장 똑똑한 친구"보다 "가벼운데 눈치 빠른 친구"를 골라야 합니다.
이 정도 노트북이라면 이렇게 시작하길 권합니다.
입문용 첫 친구 — Llama 3.2의 3B급이나 Gemma의 4B급 소형 모델. 크기가 작아 브라우저·문서를 켜둔 채로도 답답하지 않게 돌아갑니다. 처음엔 이 정도가 딱 편해요.
한국어·코드에 강한 친구 — Qwen 계열의 4B급(여유가 되면 8B급). Qwen은 한국어를 비롯한 동아시아 언어 처리가 특히 좋아서, 우리말 문장을 다듬거나 요약할 때 미덥습니다.
모델은 반드시 'Q4' 같은 경량화(양자화) 버전으로 받으세요. 원본은 무거워서 이 노트북엔 벅찹니다. 그리고 7~8B급이 사실상 상한선이라고 생각하면 됩니다. 그 이상은 업무 앱과 메모리를 두고 다투기 시작하거든요.
모델 이름은 새 버전이 워낙 자주 나오니, 위 이름들을 실마리 삼아 더 최신판이 있으면 그쪽을 고르면 됩니다. 한 가지 마음의 준비도 해두세요. LG 그램은 외장 그래픽이 없어서 이 친구가 주로 머리(CPU)만으로 생각합니다. 그래서 클라우드처럼 즉답이 튀어나오진 않아요. 답이 좀 굼뜨더라도 고장이 아니라 친구가 그 부탁을 살짝 버거워하는 것뿐이니, 그럴 땐 한 뼘 더 가벼운 친구로 바꿔주면 금세 경쾌해집니다.
그런데 이름 뒤에 붙은 'Q4_K_M'은 뭘까
모델을 받다 보면 이름 뒤에 Q4_K_M, Q6_K_M 같은 암호 같은 꼬리표가 붙어 있습니다. 겁먹을 것 없어요. 이건 "이 친구를 얼마나 짐을 줄여서 데려올까"를 나타내는 표시입니다.
음악 파일에 비유하면 쉽습니다. 같은 곡도 고음질(용량 큼)로 받을 수 있고 가벼운 음질(용량 작음)로 받을 수 있죠. 모델도 똑같아요.
앞의 숫자(Q4, Q6, Q8…)는 정밀도입니다. 숫자가 클수록 원본에 가까워 또렷하지만 무겁고, 작을수록 가볍지만 가끔 흐릿해집니다.
K는 요즘 쓰는 똑똑한 압축 방식이라는 표시고, 뒤의 M은 크기 등급이에요(S=작게, M=중간, L=크게).
그러니 Q4_K_M은 "4비트 정밀도로, 요즘 방식으로, 중간 크기로 압축한 버전"이라는 뜻입니다. 16GB 그램에서는 이 Q4_K_M이 가장 무난한 기본값이에요. 더 또렷한 Q6·Q8도 있지만 그만큼 무거워 이 노트북엔 버거울 수 있고, 반대로 Q2·Q3처럼 너무 낮추면 친구가 헛소리를 부쩍 자주 합니다. 헷갈리면 그냥 Q4_K_M을 고르세요. 대부분의 경우 가장 균형 잡힌 선택입니다.
이 친구에게 어울리는 부탁
그렇다면 무엇을 부탁하면 좋을까요. 기준은 의외로 단순합니다. "틀려도 내가 바로 알아챌 수 있는 일"이면 됩니다. 결과를 곧장 눈으로 확인하는 부탁이라면, 친구가 좀 서툴러도 부담이 없어요. 마음에 안 들면 웃으며 다시 부탁하거나 흘려보내면 그만이니까요.
그래서 이 친구에게 가장 잘 어울리는 건 크기가 작은 일들입니다. 문서 한 문단을 매끄럽게 다듬어 달라 하기, 처음 보는 함수 하나가 무슨 역할을 하는지 풀어 달라 하기, 길게 쏟아진 로그에서 원인처럼 보이는 대목만 간추려 달라 하기, 커밋 메시지 후보 몇 개를 뽑아 달라 하기. 완성본을 통째로 기대하기보다, 출발점이 될 초안 몇 개를 받아 그중 하나를 내가 고르는 방식으로 부탁하면 특히 잘 맞습니다.
반대로 프로젝트 전체를 이해시키거나, 여러 갈래를 저울질해 큰 방향을 잡는 일은 아직 이 친구의 몫이 아닙니다. 그런 무거운 고민은 큰 클라우드 모델에게 털어놓는 편이 마음 편해요. 작은 친구에게는 작은 부탁을. 이 사이만 잘 지켜도 로컬 LLM은 꽤 미더운 친구가 됩니다.
무엇보다, 남에게는 못 보여줄 일
사실 이 친구에게는 다른 누구도 대신 못 하는 특기가 하나 있습니다. 바로 밖으로 절대 새면 안 되는 일입니다.
예를 들어 API 키나 비밀번호, 접속 정보 같은 게 잔뜩 적힌 문서를 깔끔하게 다시 정리하고 싶다고 해볼게요. 하는 일 자체는 단순한 정리인데, 문제는 그 안에 든 정보가 너무 민감하다는 겁니다. 이런 걸 클라우드의 ChatGPT나 Claude 창에 그대로 붙여넣기는 아무래도 꺼려지죠. 한 번 밖으로 나간 정보는 어디에 어떻게 남을지 내가 온전히 알 수 없으니까요.
바로 이럴 때 내 컴퓨터 안의 친구가 진가를 발휘합니다. 이 친구는 인터넷 없이도 일하고, 내가 건넨 내용을 밖으로 한 글자도 옮기지 않으니까요. 민감한 문서를 안심하고 맡겨 정리시킬 수 있다는 것 — 이건 성능을 떠나, 오직 '내 곁에만 있는 친구'라서 가능한 일입니다. 이쯤 되면 왜 이 친구를 '비밀 친구'라 부를 만한지, 조금은 와닿으실 거예요.
내가 잠든 사이에도 곁을 지키는
이 친구는 대화창 안에만 머물 필요도 없습니다. n8n 같은 자동화 도구나 OpenClaw 같은 에이전트와 손을 잡으면, 내가 지켜보지 않아도 자잘한 일들을 조용히 대신 챙겨줍니다. 오늘 쌓인 로그를 몇 줄로 요약해 두거나, 흩어진 메모를 주제별로 갈무리하거나, 반복해서 들어오는 텍스트를 분류해 두는 식으로요.
여기서도 사귀는 법은 같습니다. "알아서 프로젝트를 잘 만들어줘" 같은 막연한 부탁 말고, "오늘 로그를 다섯 줄로 요약해줘"처럼 결과가 작고 확인 가능한 부탁. 이 친구의 진짜 매력은 대단한 총명함이 아니라, 내 컴퓨터 안에서 내가 정한 방식대로 조용히, 언제나 곁을 지켜준다는 점에 있습니다.
다만, 너무 기대진 말고
정이 들수록 한 가지는 담담히 인정하고 가는 게 좋습니다. 이 친구는 다정하지만 큰 모델을 완전히 대신하진 못합니다. 긴 이야기를 끝까지 붙들고 맥락을 정리하며 방향을 잡는 일은 여전히 클라우드 쪽이 능숙하고, 실력이 부족한 친구일수록 없는 이야기를 있는 것처럼 술술 지어내는 버릇도 더 잦습니다. 그러니 친구 말이라도 한 번은 내 눈으로 확인하는 습관이 필요해요.
"내 컴퓨터 안에 있다"는 말이 곧 "무조건 안전하다"는 뜻도 아닙니다. 내 이야기를 밖으로 옮기지 않는다는 건 분명한 장점이지만, 도구가 대화 기록이나 캐시를 어디에 남겨두는지는 한 번쯤 살펴봐야 합니다. 여러 도구를 엮다 보면 비밀이 뜻밖의 자리에 남아 있기도 하니까요.
그래도, 한 번 사귀어보길 권합니다
이 친구의 가치는 뛰어난 머리에 있지 않습니다. 내 컴퓨터 안에서, 내가 정한 방식대로, 내 비밀을 지켜주며 곁에 있어 준다는 것 — 거기에 있습니다. 온전히 내 편이라 눈치 볼 것 없이 아무 부탁이나 건네도 되는 사이라는 점이요.
거창하게 시작할 필요도 없습니다. 문장 다듬기, 로그 요약, 커밋 메시지 후보 뽑기 정도부터 가볍게 말을 걸어보세요. 어떤 날은 그저 심심풀이로 끝날지도 모릅니다. 하지만 딱 맞는 부탁을 찾는 순간, 조금 서툴러도 꽤 미덥고 입 무거운 친구가 곁에 생깁니다. ChatGPT의 흉내를 기대하는 대신, 내 컴퓨터 안에 조용한 비밀 친구 하나를 들인다고 생각해 보면 어떨까요.