USE-CASE BLUEPRINT

논문을 운영 시스템으로 옮기는 구현 청사진

아키텍처, 실제 질의, 권한 경계와 운영 평가를 하나의 배포 단위로 설계합니다.

System Architecture & Data Flow

User / React→Apollo GraphQL→RBAC 권한 필터→Neo4j + Vector DB→RAG Reranker→LLM→Audit Log

프런트엔드는 질문·필터·근거 표시만 담당합니다. 백엔드는 사용자 부서 권한을 먼저 계산한 뒤 그래프 경로와 벡터 후보를 교집합으로 제한하고, 재정렬 결과와 모델 응답의 근거 ID를 감사 로그에 함께 저장합니다.

GraphQL Query Schema

query GetKnowledgeGraphContext($keyword: String!, $departmentId: ID!) {
  knowledgeContext(keyword: $keyword, departmentId: $departmentId) {
    papers { id title framework metrics { name value unit } }
    useCases { id name architecture }
    evidence { documentId chunkId sourceUrl permission }
  }
}

화면에서 실제로 사용하는 논문, 프레임워크, 정량 지표, 근거 식별자만 반환합니다. 원문 전체와 권한 밖 노드는 API 응답에 포함하지 않습니다.

Neo4j Cypher Traversal

MATCH (u:UseCase {slug: $useCase})-[:APPLIES]->(p:Paper)
MATCH (p)-[:BASED_ON]->(f:FrameworkTech)
OPTIONAL MATCH (n:IndustryNews)-[:REFERENCES]->(u)
WHERE $departmentId IN p.allowedDepartmentIds
RETURN DISTINCT p, f, u, collect(DISTINCT n)[0..5] AS news
ORDER BY p.publishedAt DESC LIMIT 20

논문→기술, 유즈케이스→논문, 뉴스→유즈케이스 방향을 고정하고 URL·제목 해시로 MERGE하여 동일 엔티티가 중복 생성되지 않게 합니다.

Data Model & Permission Strategy

DocumentdocumentId · version · ownerDepartmentId · classificationChunkchunkId · documentId · sourceOffset · embeddingIdGraph NodecanonicalId · sourceUrl · allowedDepartmentIdsRequestuserId · departmentId · purpose · evidenceIds · modelVersion

역할 기반 접근 제어(RBAC, Role-Based Access Control)는 검색 이후가 아니라 후보 생성 전에 적용합니다. 문서·청크·그래프 노드는 동일 canonicalId를 공유하고, 부서·보안등급 조건을 통과한 근거만 모델 입력에 넣습니다.

Production Metrics & Evaluation

Faithfulness / Accuracy근거 문장으로 검증 가능한 주장 비율근거 포함 평가 세트 · 목표 ≥ 0.90

F1-score정답 개체·관계의 정밀도와 재현율 조화평균고정 골든셋 · 모델/검색 버전별 비교

Latency p95전체 요청 중 95%가 완료되는 최대 시간GraphQL·검색·재정렬·생성 단계별 분해

Token Cost성공 답변 1건당 입력·출력 토큰 비용캐시 적중·모델·업무 유형별 집계

LLM-as-a-Judge(대규모 언어모델 심사)는 사람 평가를 대체하지 않습니다. 동일 평가 프롬프트·근거·온도·모델 버전을 고정하고, 표본은 사람이 교차 검증합니다.