흔적s

Apache Kafka 기반 비동기 아키텍처 개요Kafka는 분산 스트리밍 플랫폼으로, 높은 처리량과 낮은 지연 시간을 제공하는 이벤트 스트리밍 시스템입니다. 실시간 데이터 파이프라인과 스트리밍 애플리케이션 구축에 특화되어 있습니다.핵심 구성 요소1. Kafka Cluster 구조**브로커(Broker)**는 Kafka 서버 인스턴스로, 메시지를 저장하고 클라이언트 요청을 처리합니다. 일반적으로 3개 이상의 브로커로 클러스터를 구성하여 고가용성을 확보합니다.**토픽(Topic)**은 메시지를 분류하는 논리적 단위입니다. 예를 들어 user-events, order-processing, notification-requests 등으로 구분합니다.**파티션(Partition)**은 토픽을 물리적으로 분할한 단..

출처 : https://introduce-ai.tistory.com/entry/Retrieval-Augmented-GenerationRAG%EC%9D%98-%ED%9D%90%EB%A6%84%EA%B3%BC-%EC%95%84%ED%82%A4%ED%85%8D%EC%B3%90 RAG란?RAG란, LLM이 검색된 결과에 근거하여 답변하는 방식.RAG의 뿌리는 페이스북(현 메타) AI 리서치 논문 (https://arxiv.org/pdf/2005.11401.pdf)이라고 볼수 있다. LLM은 환각(Hallucination)의 한계를 가짐. 또한 공개되지 않은 특정 도메인 분야 지식에 대한 작업에서 효과가 떨어짐. 또한 학습 시점 이후 데이터에 대한 정보가 없음반면 RAG는 최신 데이터에 액세스할 수 있으므로 정..

RAG (Retrieval-Augmented Generation)기본 개념RAG는 외부 지식 베이스에서 관련 정보를 검색하여 LLM의 응답 생성을 보강하는 기술입니다.처리 흐름쿼리 분석: 사용자 질문을 벡터로 변환검색 단계: 벡터 데이터베이스에서 유사한 문서 검색컨텍스트 구성: 검색된 문서를 프롬프트에 포함생성 단계: LLM이 검색된 정보를 바탕으로 답변 생성핵심 역할실시간 정보 접근으로 할루시네이션 감소도메인 특화 지식 제공지식 베이스의 동적 업데이트 가능MCP (Model Context Protocol)기본 개념MCP는 Claude와 같은 AI 모델이 다양한 외부 시스템과 안전하고 표준화된 방식으로 연결할 수 있게 하는 프로토콜입니다.처리 흐름연결 설정: MCP 서버와 클라이언트 간 연결 수립리소스 ..