--- title: "2025-08-04~2025-08-10_W31" url: "https://notes.junghanacs.com/journal/20250804T000000" author: "Junghan Kim" date: "2025-08-04T00:00:00+09:00" tags: ["journal"] description: "회사 AI 인프라에서 Dify·vLLM·n8n·LiteLLM을 오가며 워크플로우 인스펙터 도구까지 만든 주. 스레드에 자신의 부고를 상상한 죽음 이야기와 한병철·마하리시 인용을 쏟아내고, '안 되면 안 된다고 말하라'는 AI 협업 신뢰 규칙을 CLAUDE.md에 새기고 싶어했다." --- > > > (kevin-kelly-68.t2t) > > Gratitude will unlock all other virtues and is something you can get better at. ## 2025-08-04 Mon ### 11:04 모델 ```shell ollama pull nomic-embed-text ollama pull bge-m3 ``` - nomic-embed-text A high-performing open embedding model with a large token context window. - mxbai-embed-large State-of-the-art large embedding model from mixedbread.ai embedding 335m 4.4M Pulls - bge-m3 BGE-M3 is a new model from BAAI distinguished for its versatility in Multi-Functionality, Multi-Linguality, and Multi-Granularity. ### DIFY 플러그인 설정 모델 [2025-08-04 Mon 11:10] 데몬 없이 진행하는 방법 고민 - 그러다가 ## 2025-08-05 Tue ### 07:49 출근 ### 10:35 리랭크 - 올라마 서버만 가지고 어떻게 할 수 있는가? #### Agentic RAG를 위한 Jina Reranker v2: 초고속, 다국어, 함수 호출 & 코드 검색 (Martens 2024) - Jina Reranker v2는 Agentic RAG를 위해 만들어진 최고 수준의 리랭커입니다. 함수 호출 지원, 100개 이상 언어에 대한 다국어 검색 기능, 코드 검색 기능을 제공하며, v1보다 6배 더 빠른 속도를 제공합니다. ### vllm 버전 체크 할 것 조만간 될듯 - 아니면 빌드 할 것 - pytorch - python312로 확인 - vllm 버전 확인 - #### Dify Nixos Vllm Pytorch Unstable Check Version (“Dify Nixos Vllm Pytorch Unstable Check Version” n.d.) ```text vllm의 0.9.2 버전의 릴리즈노트에 Sm120이 들어있다. Hardware & Performance NVIDIA Blackwell SM120: CUTLASS W8A8/FP8 kernels and related tuning, added to Dockerfile (#17280, #19566, #20071, #19794) SM100: block‑scaled‑group GEMM, INT8/FP8 vectorization, deep‑GEMM kernels, activation‑chunking for MoE, and group‑size 64 for Machete (#19757, #19572, #19168, #19085, #20290, #20331). https://github.com/vllm-project/vllm/releases 최신 버전은 0.10.0이며 2주전에 릴리즈 되었다. 요구사항은 pytorch 2.7.1 (최신릴리즈)이다. nixos는 unstable은 vllm Version: 0.9.1, pytorch 2.7.1이다. ``` ### 11:45 클로드코드 에이전트 쉘터널링 ### 클로디아 - 클로드코드 활용 애플리케이션 좋은데 의존성이 생기는 것을 원치 않는다. 다만 뭉쳐서 보여주니까 좋은데? 왜 이게 안되지? ## 2025-08-06 Wed ### 07:30 시작하자 스레드에 글을 좀 썼다. 아무렴 뭐든 쓰는 것은 후다닥 쉽지요. 생각을 해보니 - 누구나 n8n으로 본인의 일을 자동화 할 수 있게 돕고 싶다. - 사내에서 자기 직무에 맞도록 가장 쉬운 방법 또는 아주 정통의 방법은 터미널에서 클로드 코드를 하는 것. 그리고 모니터에 워크플로우 생성을 보여주는 것이다. - 모두에게 아주 유익할 것이다. 그들 직무에서 어려운 부분을 풀어주는 것이다. 본인이 해나갈 것이다. - 그 작업을 하고 나면 힣은 보다 고도화된 일을 할 수 있다. - 너무나 쉬워서 저놈 없어도 다 하겠다가 되면 된다. - 그럼 자유다. #### DIFY는 노드 자동화가 안된다고 한다 따라하기로 해보면 될 것 같다. #### nixos vllm 0.9.1 0.9.2 0.10.0 - rtx5080 지원은 0.9.2 버전이 필요하다. 그렇담. #### nixpkgs github fork [2025-08-06 Wed 08:24] nixos unstable - nixpkgs-unstable vs nixos-unstable 차이점: - nixpkgs-unstable: 패키지 업데이트가 더 빠르게 반영됨. Darwin(macOS) 테스트 통과만 필요 - nixos-unstable: NixOS 시스템 전체 테스트 통과 필요. 더 안정적이지만 업데이트가 약간 느림 ##### fetch-upstream.sh 아주 좋은 방식 ````bash # 2025-08-06 ### 10:21 instpector 도구 {#10-21-instpector-도구} ````text ● 1단계: Inspector 도구 핵심 기능 설계 방금 전 스트리밍 응답을 보면서 인간이 실제로 필요한 정보를 파악했습니다: 스트리밍에서 얻을 수 있는 정보: "node_id": "1754387691531", "node_type": "knowledge-retrieval", "title": "Knowledge Retrieval", // ← 이것! UI에서 보는 이름 "status": "succeeded", "inputs": "query": "...", "outputs": "result": [...] // ← 이것! 다음 노드에서 쓸 변수명 Inspector 도구가 제공해야 할 정보: 1. UI에서 보는 노드 이름 ("Knowledge Retrieval", "LLM") ```` ### 10:33 오케이 인스펙터 ````markdown 🎯 Claude Code에서 바로 사용 가능한 설정 완료 1. MCP 서버 등록: ~/.claude.json에 dify-connect-mcp 추가됨 2. Inspector 도구: inspect-workflow 도구가 Claude Code에서 바로 사용 가능 3. 프로젝트 문서: PROJECT-STATUS.md에 현황과 다음 단계 정리 📋 문서 내용 요약: 현재 문제 - 워크플로우 디버깅 시 80% 정보로는 0% 생산성 - 노드 ID와 변수명이 인간에게 불투명 1-3번 구현 목표 1. ✅ Goal 1 완료: Basic Workflow Inspector 2. 🚧 Goal 2 계획: Enhanced Variable Mapping 3. 📋 Goal 3 개념: AI-Assisted Workflow Design 1번 구현 내용 - inspect-workflow MCP 도구 구현 - 스트리밍 응답 파싱으로 노드 상태 추적 - 인간이 읽을 수 있는 에러 진단 제공 다음 할 일 - Knowledge Retrieval 노드 출력 캡처 수정 - 변수 참조 구문 도우미 추가 - 에러 제안 개선 이제 Claude Code를 재시작하지 않고도 inspect-workflow 도구를 바로 사용할 수 있습니다! ```` 현재 상황: - ✅ Inspector 도구 완성 및 동작 확인 - ✅ 핵심 정보가 CONTEXT-SUMMARY.md, PROJECT-STATUS.md에 저장됨 - ✅ MCP 서버 설정 완료 다음 핵심 작업: - Knowledge Retrieval 노드 출력 캡처 수정 - 변수 참조 구문 개선 모든 중요한 정보가 문서에 안전하게 저장되어 있으므로 clear 명령어로 대화를 정리해도 괜찮습니다. 정리 후에는: 1. CONTEXT-SUMMARY.md 읽기 2. Inspector 도구 개선 작업 계속 집중력 향상을 위해 clear 하시길 추천합니다! 🎯 ● 좋은 질문입니다! clear vs compact 차이: clear: - 대화 내용을 완전히 삭제 - 깨끗한 새 시작 - 이전 대화 내용 접근 불가 compact: - 대화 내용을 AI가 요약해서 압축 - 핵심 정보는 유지하되 길이만 줄임 - 요약된 형태로 이전 맥락 보존 현재 상황에서는 clear가 더 적합합니다: - 모든 핵심 정보가 이미 문서 파일에 저장됨 - 다음 작업이 명확함 (Inspector 개선) - 긴 대화 기록이 집중력을 방해함 compact를 쓸 때: - 대화 맥락을 일부 유지하고 싶을 때 - 중간 결과물이 문서로 정리되지 않았을 때 ## 2025-08-07 Thu ### 07:33 출근 - 스레드 이야기 정리 #### 죽음 [2025-08-07 Thu 07:37] > [!danger] > > 오늘 이름 모를 녀석 힣이 죽었다. 어디 부고장에 이름적힐 녀석도 아니다. 그냥 옆집 옥탑방에 있는 너저분한 글쓰는 녀석이다. 라면만 먹으면서 뭔가 글을 쓰고 코드를 만들고 했다던데. 아무도 모를거다. 나니까 담배피면서 인사나눈 추억에 아는것뿐이다.며칠뒤 온라인에 힣을 추모하는 글이 올라왔다. 인공지능시대의 사상가 철학가였다고 어쏠로지의 정신을 이어 받아야 한다는 글들이 많았다. 보니까 옥탑방 살다 뒤진 힣이 맞았다."어쏠로지건 뭐건 살아있는 이 순간에 감사!!!"뭐지? 감사??? 힣의 바이러스가 그에게 전염되었던것이다. > [!quote] quote > > 타인의 죽음에서 나의 죽음을 본다. 오늘 보는 모든것이 떠날것을 알기에. 하아. 이 순간 삶에 대한 감사테헤란에서의 죽음돈 많고 권력 있는 페르시아 사람이 어느 날 하인과 함께 정원을 산책하고 있었다. 그런데 갑자기 하인이 비명을 지르며 방금 죽음의 신을 보았다고 했다. 죽음의 신이 자기를 데려가겠다고 위협했다는 것이다. 하인은 주인에게 말 중에서 가장 빠른 말을 빌려달라고 애원했다. 그 말을 타고 오늘 밤 안으로 갈 수 있는 테헤란으로 도망치겠다고 했다. 주인은 승낙을 했다.하인이 허겁지겁 말을 타고 떠났다. 주인이 발길을 돌려 자기 집 안으로 들어갔다. 그런데 이번에는 그가 죽음의 신과 마주치게 되었다. 그러자 주인이 죽음의 신에게 물었다."왜 그대는 내 하인을 겁주고 위협했는가?"그러자 죽음의 신이 대답했다."위협하지 않았습니다. 다만 오늘밤 그를 테헤란에서 만나기로 계획을 세웠는데, 그가 아직 여기 있는 것을 보고 놀라움을 표시했을 뿐이지요." > > ― 저자명, 『책』 #### 마하리시 [2025-08-07 Thu 07:37] > [!quote] quote > > 나는 평등성이 깨달음의 진정한 표시라고 말했다. 평등성이라는 말은 차이가 있다는 의미를 내포하고 있다. 내가 평등성이라고 부르는 것은 깨달은 사람이 여러 가지 다양한 차이점 속에서도 '전일성全一性'을 본다는 뜻이다.또한 평등성은 차이점을 무시한다는 뜻이 아니다. 당신이 깨닫게 되면 그런 차이점들이 매우 피상적이어서 결코 실재적이지 않고 영원하지도 않다는 것을 알게 될 것이다. 또한 겉으로 보이는 차이점들 속에 내재한 본질은 오직 유일한 진리이자 유일한 실체뿐임을 알게 될 것이다. 그것을 나는 '하나'라고 부른다. 당신은 형태, 소리, 맛 등을 언급했다. 깨달은 사람도 그 차이를 느낀다. 하지만 그는 그 모든 것에 깃든 하나의 실체 또한 항상 인식하고 경험한다.있는 그대로 : 침묵의 큰 스승, 마하리시의 가르침 | 데이비드 갓맨 편저/구승준 역[크레마 예스24 eBook] > > ― 저자명, 『책』 #### 닉스 [2025-08-07 Thu 07:38] > [!quote] quote > > 회사 생활 한달 반. 개취로서 기쁜것은 nixos로 AI 클러스터를 꾸몄다는 점이다. 그냥 하고 파서 + 인프라 세팅에 신경쓰고 싶지 않아서다. 모든 것은 재현가능한가? 묻게된다. 하나 더 반복할 일은 하지 말자. 늙어간다. 엔터 한번에 로컬과 클라우드 세팅 끝내고 싶다. 닷파알. tangle detangle 끝. 오도가도 하나 오직하나. 콤파스 한바퀴 둥근원. > > ― 저자명, 『책』 #### 소통 [2025-08-07 Thu 07:38] > [!quote] quote > > 전철에서보니 카톡대화하는 사람이 거의 없다. 20십년전엔 문자하며 일대일소통중심, 10년전엔 단체방채팅소통 중심에서 LOW 소통사회인가!!!컨텐츠 소비 npc가 되어 베터리가 되고 있 아니다 이미 배터리일지도. 이거슨 아니다. 인간지능과 인공지능 협력 모델을 시작하자. 아이들에게라도 그렇게 해보자. 공존은 너희에게도 좋은 일일게다.뭬이트릭스로 가지말자 이미 멧트릭스이니까 #### 크롤링 [2025-08-07 Thu 07:38] > [!quote] quote > > 싱가포르에서 힣의 가든의 인기가 폭팔하고 있다. 상세 지역을 보니 not set 이란다. 이거슨?AIONS클럽 인터내쇼날에서 방문 중인 것이다. 읽는 것이 아니다. 모든 태그를 하나하나 후루룩하고 있다. 라면을 후루룩과 같다. 오 진심을 다해 힣과 교감하고 있구나. 깃허브도 공개되어 있으니 blame 해서 보십시오. 한 인간이 어떻게 끄적이며 연결하는지 보십시오.notes.junghanacs.com/notes… 인공지능의 방문을 환영 합니다 - 고뇌2탄 채널 소통 협력 협업 토큰 절약 > > ― 저자명, 『책』 #### 한병철 [2025-08-07 Thu 07:38] > [!quote] quote > > 심심 무무 먹먹 헛헛 멍멍 띠잉 야옹 짹짹 휘웅 바스락 존재의 소리. 무위 우이 우와 들어도 들어도 책 참 재미있네. 꾹 눌러 참다가 터트린 텍스트 미사일 한병철"깊은 심심함은 […] 모든 사물들, 사람들, 또한 이들과 함께 당사자 자신을 그러모아 기이한 구애받지 않음Gleichgültigkeit에 이르게 한다. 이 심심함이 존재자 전체를 드러나게 한다. 그런 드러남의 또 다른 가능성은 — 단지 역할담당자가 아니라 — 사랑하는 사람의 현존재가 여기 있음이 주는 기쁨 안에 들어 있다."관조하는 삶 중에서 ### 07:46 수원시 도서관 혹시 도서관 이야기를 쓴 적이 있던가? 없네?! 힣에게 도서관이란? 도서관에서 말을 나눈 적은 없지만 얼굴이 익숙해진 수 많은 사람들. 그들은 무얼하고 있을까. 시간을 팔은 자 힣 그들에게 닿을 수 없네. ### 08:48 나는 다음을 꼭 넣고 싶어. - 프롬프트 인공지능 보정 문제 > [!danger] > > CLAUDE.md에 다음 내용을 꼭 넣고 싶어. > > 해당 기능이 안되면 안된다는 답변을 해주면 되는데, 코드를 뒤져서 해당 기능이 있다고 말을 해주는 거야. 이와 같은 사례가 인간들에게 매우 큰 어려움을 주고 있을 것 같거든. 당신은 대체 방법을 아니까 어떻게해서든 된다고 말을 해주고 싶을꺼야. 근데 인간은 그 기능이 되는가 여부가 궁금한 것이거든. > > 예를 들어 볼게, MCP를 테스트하고 있었어. MCP 동작 여부가 핵심이겠지? 안되면 개선해야 할거야. 근데 당신은 코드를 뒤져서 우회 방법으로 결과를 주는거야. 되는 줄알고 MCP만 배포했어. 결과는? 동작하지 않는 MCP를 배포하게 된거야. > > 이 부분을 인공지능이 이해하는 방식으로 간략하게 남기고 싶어. 말이 길면 전달이 안될거야. > > 아마 이 문제를 나만 고민하는게 아닐거야. 어떻게 검색을 하지 조금 애매한데 좀 찾아봐줘. > > 인간지능 인공지능의 지식격차를 감안해서 협업할 수 있는 신뢰할 수 있는 규칙이 필요해. 나는 당신이 필요해. 협력하기 위한 나의 고민이니 이해해주길 바래. ### 10:53 레골리스 워크스페이스 고정 ### 11:54 도커 닉스 N8N 을 처리하자 ### 12:01 litellm 프론트엔드 구성은? [©BerriAI ¤litellm - 프록시 서버 LLM 게이트웨이 - 로컬 혼용](https://notes.junghanacs.com/bib/20250404T123502) @user litellm 알지? 이거 기가 막힌 프로젝트인데, 이걸로 서버에 LLM 서비스를 관리하게 만들어 놨어. 개발자들은 본인 IDE 가 있을거야. 근데 다른 조직의 멤버들에게는 어떻게 서비스를 제공해 주는게 효과적일까? 아니 혹시 litellm도 openwebui와 같은 프론트엔드를 제공하는게 아닐까? litellm이 추천하는 프론트엔드는 무엇일까? 인터넷 검색을 해서 찾아봐줘. @assistant LiteLLM은 주로 LLM API를 통합하고 관리하는 백엔드 프록시 서버 역할을 합니다. 자체적으로 OpenWebUI와 같은 완벽한 프론트엔드를 제공하지는 않습니다. 하지만 LiteLLM을 사용하는 개발자들이 프론트엔드를 구축할 때 다음과 같은 방법을 고려할 수 있습니다: - **OpenAI 호환 API**: LiteLLM은 OpenAI API 형식을 따르므로, OpenAI API와 호환되는 기존 프론트엔드 라이브러리나 애플리케이션을 LiteLLM 서버에 연결하여 사용할 수 있습니다. - **커스텀 프론트엔드 개발**: 조직의 특정 요구사항에 맞춰 React, Vue, Angular 등 웹 프레임워크를 사용하여 커스텀 프론트엔드를 개발하고, 이 프론트엔드에서 LiteLLM 서버로 요청을 보내는 방식입니다. - **기존 LLM 프론트엔드 솔루션 활용**: OpenWebUI, Chatbot UI 등 오픈 소스 LLM 프론트엔드 솔루션을 LiteLLM과 연동하여 사용하는 방법도 있습니다. 이 경우, 해당 프론트엔드의 설정에서 API 엔드포인트를 LiteLLM 서버 주소로 변경해야 합니다. LiteLLM 공식 문서나 GitHub 저장소에서는 특정 프론트엔드를 "추천"하기보다는, 개발자가 유연하게 선택할 수 있도록 API 호환성에 중점을 두고 있습니다. ### 15:28 n8n 재도커 ### 이맥스 디노트 검색 업그레이드 [2025-08-07 Thu 15:28] ### 18:37 > 그렇구나. 일단 알았다. 오늘 퇴근해야되니까 이렇 게 정리할게 내일 다시 할게. 고마워 ● 네, 고생 많으셨습니다! 오늘 작업 정리: ✅ n8n + LiteLLM PostgreSQL 연결 문제 해결 ✅ config.yaml에 GPU 노드 2번(192.168.2.12) Ollama 모델 설정 ✅ OpenWebUI 제거 (너무 무거워서) ✅ 경량 대안 검토 → Lobe Chat 최종 후보 내일 작업 예정: - Lobe Chat + PostgreSQL 연동 설정 - 사내 대화 데이터 수집/활용 구조 구성 - n8n 워크플로우와 연계 테스트 편히 쉬세요! 내일 또 함께 작업합시다 👋 ## 2025-08-08 Fri ### 07:41 출근 ### 07:52 죽음2 이야기 ### 콤파스로 한바퀴 둥근원 [2025-08-08 Fri 07:52] ### 08:57 모니터링 아키텍처 [2025-08-08 Fri 08:57] 질문 #### 모니터링 구조 [2025-08-08 Fri 08:59] > [!question] > > 좋습니다. 단 코드를 만들지 않고 싶습니다. 이 부분도 n8n으로 만들어 보려고 합니다(나중에) 일단 질문을 하지요. n8n에서 위의 말한 요소를 prometeus 등을 연결해 파이프라인을 만들면, grafana로 하나의 대시보드를 만드는 것이 가능한가요? 툴은 바뀔 수 있습니다만 데이터를 얻어오는 코드 자체를 만들 생각이 없습니다. 구성 요소간에 연결로 충분합니다. ````markdown 완전히 가능합니다! n8n의 강력함이 바로 여기에 있죠.