KB 검색이 죽거나 DeepSeek이 타임아웃이거나 OpenAI가 흔들려도, 사용자에게 "AI가 망가졌다"가 보이면 안 된다. 부분 응답이라도 나가야 한다. 그리고 우리는 무엇이 잘못되고 있는지 실시간으로 알아야 한다.축이번 편의 결정이 미친 방향비용유지 — 트레이싱·로깅 오버헤드는 미미속도유지 — graceful 우회는 정상 경로 영향 없음정확도↑/↓ 혼합 — 부분 응답 가능성과 신뢰 경계 모두 ↑결정 1. 부품 하나가 죽어도 전체가 안 죽는다문제KB(pgvector) 한 번 죽으면 모든 답변이 막히는 시스템은 운영 불가능하다. 펫 RAG 조회가 흔들려도, DeepSeek이 응답을 안 줘도 마찬가지다. 의존성 하나의 장애가 전체 응답 실패로 번지면 안 된다.선택지(a) 의존성 하나라도 실패하면 전체 요..

GPT가 알려주는 조류 응급처치는 영어권 기준이 강하다. 중국 사용자에게는 그게 종종 부정확하다. 不粘锅(테플론 코팅 팬) 위험이나 云南白药(중국 가정 상비 외상약) 같은 현지 응급약, 鸟友圈(중국 새 사육자 커뮤니티)에서 공유되는 처치법 — 이런 정보는 GPT 학습 데이터에 빈약하다. 그렇다고 모든 질문을 더 비싼 모델로 돌릴 순 없다. 누구의 어떤 질문에 LLM 콜을 몇 번 쓸 것인가 — 이게 2편의 갈등이다.축이번 편의 결정이 미친 방향비용혼합 — disease만 비싼 모델, 중국어만 듀얼 LLM. 평균 비용은 절감속도유지 — DeepSeek 호출은 GPT와 병렬, 직렬화 안 함정확도↑↑ — 의료 카테고리 정확도, 중국 문화권 정확도 모두 ↑결정 1. DeepSeek 듀얼 LLM — 중국어 쿼리만 ..

요즘 LLM 트렌드는 “더 큰 모델” 경쟁에서 “더 효율적으로, 더 싸게, 더 빨리”로 무게중심이 확실히 이동하고 있다. 비용·자원 제약이 기업 도입의 병목이 되면서, 가격 인하 경쟁(공급-side cost war)이 본격화됐다. 즉, 모델 성능만 보는 시대가 아니라 비용·지연·처리량(SLO/KPI)까지 함께 고려하는 ‘제품화 관점의 효율화’가 핵심이다. 1) 왜 경량화가 중요해졌나: 비즈니스 관점 3가지 이유(1) 비용 전쟁이 이미 시작됐다글로벌 기업들은 LLM 가격을 공격적으로 낮추며 시장 점유 경쟁에 들어갔다. 단순히 “좋은 모델”을 넘어 더 싸게, 더 많이, 더 빠르게 제공할 수 있는 쪽이 유리해졌다. 여기에 distillation(증류) 기반의 “싸게 만드는 복제 경쟁”까지 확산되면서, 성능 격..

머신러닝과 딥러닝의 기초1. AI, 머신러닝, 딥러닝의 관계AI(인공지능): 인간의 지능을 모방하는 컴퓨터 시스템 전체를 의미머신러닝(Machine Learning): AI의 한 분야로, 데이터를 통해 패턴을 학습하는 알고리즘 연구딥러닝(Deep Learning): 머신러닝의 하위 분야로, 인공신경망(Neural Network)을 활용해 복잡한 문제를 해결2. 머신러닝의 정의와 원리머신러닝은 "경험(데이터)으로부터 배우는 것"이 핵심컴퓨터가 데이터에서 패턴을 찾아 일반화하며, 사람이 직접 지시하지 않아도 스스로 학습예시: 손글씨 숫자 이미지를 분류하는 문제에서, 다양한 손글씨 데이터를 학습해 숫자를 구분3. 머신러닝의 종류지도학습(Supervised Learning): 레이블이 있는 데이터로 학습 (예:..

목차 (추천 복습 순서)1) 최신 LLM 발전 흐름(성능이 “문제 해결력”으로 보이는 시점)2) Test-Time Scaling(TTS) & Reasoning 모델(“더 오래 생각하면 더 잘 푼다”)3) DeepSeek V3/R1 학습 방식(RL·SFT·Reasoning Trajectory 데이터)4) Agentic System = TTS 확장(검색·평가·리라이팅 루프)5) 멀티모달 & 파운데이션 모델(GPT-4o·DALL·E·Sora 등)6) Tool Calling & Agent 개발 실무(MCP, 프레임워크 비교, 서빙)7) MoE(Mixture of Experts) 구조(실습) 비전 분류 파이프라인 / GPU 서버·vLLM 서빙 / LangChain SQL Agent / 모니터링1) 최신 LLM 발..