사용자가 외부 API를 통해 날씨 정보를 확인할 수 있도록 도와주는 가상 비서를 설계하고 있습니다. 테스트 중에 에이전트가 잘못된 도구를 호출하거나, 잘못된 엔드포인트를 호출하거나, 잘못된 형식의 결과를 반환하는 경우가 빈번하게 발생합니다. 이러한 오류의 근본 원인이 프롬프트 구조에 있을 것으로 의심됩니다. 이 에이전트에서 일관된 도구 호출을 지원하는 프롬프트 디자인은 무엇입니까?
정답: D
핵심 엔지니어링 요소는 복잡한 외부 서비스를 지연 시간이 제한되고 예측 가능한 오류 의미 체계를 갖춘 안정적인 함수로 변환하는 래퍼를 만드는 것입니다. 프로덕션 규모에서 옵션 D는 추론, 상태, 도구 및 런타임 작업 간의 분리성을 유지합니다. 몇 번의 실행으로 검증된 도구 예제는 모델의 동작 형식을 제한합니다. 날씨 API의 경우, 스키마 예제를 통해 인위적인 엔드포인트, 누락된 매개변수 및 잘못된 응답 형식을 방지할 수 있습니다. 프로덕션 빌드에서 도구 실행은 검색 및 추론 서비스와 마찬가지로 프로파일링 및 회귀 테스트가 가능한 어댑터 뒤에서 이루어져야 합니다. 선택된 옵션 D는 "몇 번의 실행으로 검증된 도구 사용 예제가 포함된 구조화된 프롬프트 템플릿 사용"이라고 명시하고 있으며, 이는 표면적인 문구 일치가 아닌 실제 운영 요구 사항과 일치합니다. 거부된 옵션들은 하드코딩된 엔드포인트, 느슨한 파서 또는 단일체 핸들러로 인해 모든 API 변경 사항이 애플리케이션 릴리스로 이어지고 오류를 감지할 수 없게 되므로 더 취약합니다. 이보다 못한 방식은 트래픽, 스키마, 정책 또는 사용자 행동이 변경될 때 에이전트를 취약하게 만들 것입니다. 스키마 유효성 검사, 형식화된 반환 객체 및 추적 ID를 통해 타사 종속성의 동작이 변경될 때 사후 디버깅이 현실적으로 수행됩니다.
NCP-AAI 문제 22
추론 작업에 더 작은 언어 모델을 사용할 때 사고 연쇄(Chain-of-Thought, CoT) 프롬프트의 주요 한계는 무엇입니까?
정답: C
이것은 표현의 문제가 아니라 수명주기 문제이며, 옵션 C는 팀에게 에이전트 동작에 대한 제어 가능한 수명주기를 제공합니다. 선택된 옵션 C는 특히 "CoT 프롬프트는 비교적 큰 모델을 필요로 합니다. 작은 모델은 논리적으로 보이지만 실제로는 잘못된 추론 과정을 생성하여 성능 저하를 초래할 수 있습니다."라고 명시하고 있는데, 이는 표면적인 표현 일치가 아니라 실제 운영 요구사항과 일치합니다. 작은 모델은 그럴듯하지만 잘못된 추론 과정을 생성할 수 있습니다. CoT는 모델이 중간 단계를 정확하게 사용할 수 있는 충분한 용량을 갖추고 있을 때 주로 도움이 됩니다. 중요한 구현 세부 사항은 도구 사용 예시와 스키마를 제공하여 동작 선택이 추측이 아닌 제약 조건 하에서 이루어지도록 하는 것입니다. 프로덕션 빌드의 경우 프롬프트는 하위 평가자와 일치해야 모델이 시스템에 실제로 필요한 동작에 대해 보상을 받을 수 있습니다. 선택되지 않은 옵션들은 대부분 단기적인 편의성을 최적화하는 데 그쳤습니다. 프롬프트만으로는 도구 부족, 오래된 지식 또는 검증 부재를 보완할 수 없습니다. 이것이 노트북에서 작동하는 에이전트와 프로덕션 환경에서 안정적으로 작동하는 에이전트의 차이입니다.
NCP-AAI 문제 23
NVIDIA 스택에서 멀티모달 대화형 에이전트를 배포하고 있습니다. 모델은 TensorRT-LLM 엔진으로 컨테이너화되어 있으며, 라우팅 및 확장을 위해 NIM 마이크로서비스 뒤에 있는 Triton 추론 서버를 통해 제공되고, 안전 및 규정 준수를 위해 NeMo 가드레일로 보호됩니다. 초기 테스트 중에 엔드투엔드 지연 시간이 목표치를 초과하여 처리량과 안전 정책 준수를 유지하면서 배치 처리, 모델 정밀도 및 가드레일 검사를 조정해야 합니다. NeMo Guardrails 정책을 준수하면서 이러한 제약 조건 하에서 지연 시간을 줄이는 데 가장 효과적인 구성 변경 사항은 무엇입니까?
정답: A
이는 NVIDIA의 지침과 일치하는데, TensorRT-LLM과 NIM은 추론 오버헤드를 줄여주지만, 동시 처리 환경에서 큐가 쌓이는 것을 방지하기 위해 서비스 수준의 튜닝이 여전히 필요하기 때문입니다. FP16/TensorRT-LLM 최적화, 튜닝된 Triton 배치 처리, 병렬화된 가드레일 검사는 안전 제어를 제거하지 않고도 지연 시간을 줄여줍니다. 동기식 순차 가드레일은 테일 레이턴시를 증가시킵니다. GPU 기반 에이전트 배포 환경에서 옵션 A는 NVIDIA 스택에서 오케스트레이션, 추론 및 제어 정책이 분리되어야 한다고 예상하는 방식과 가장 유사합니다. 선택된 옵션 A는 "TensorRT-LLM 엔진을 FP16으로 양자화하고, Triton의 동적 배치 처리를 조정하며, NeMo 가드레일을 추론과 함께 통합하여 정책 검사를 병렬로 실행한다"라고 명시하고 있는데, 이는 표면적인 문구 일치가 아니라 실제 운영 요구 사항에 부합하는 것입니다. 실질적인 패턴은 모델 정밀도, 배치 처리 시간, 모델 인스턴스, GPU 메모리 동작을 서비스 수준의 지연 시간 목표에 맞추는 것입니다. 선택되지 않은 옵션들은 대부분 단기적인 편의성을 최적화하는 데 그쳤습니다. 하드웨어 업그레이드만으로는 배치 처리 불량, 직렬 앙상블, 가드레일 오버헤드 또는 KV 캐시 부족 문제를 해결할 수 없습니다. 바로 이 부분에서 NVIDIA 스택의 강점이 드러납니다. 가속, 오케스트레이션, 정책 및 관찰 가능성을 분리하는 것입니다.
NCP-AAI 문제 24
한 엔지니어가 사용자에게 유용한 서비스를 제공하는 AI 에이전트 솔루션을 개발했습니다. 그러나 실제 테스트 중 AI 에이전트가 작업을 일관되게 수행하지 못하는 문제가 발생했습니다. 이 문제를 해결하는 데 도움이 될 수 있는 두 가지 해결책은 무엇입니까? (두 가지를 선택하십시오.)
정답: C,D
작업 분해와 명확한 프롬프트는 계획 단계에서의 변동성을 줄여줍니다. 유효성 검사를 제거하거나 온도를 높이면 일관성이 떨어지는 것이지 개선되는 것이 아닙니다. 이는 모든 API에 입력, 출력, 유효성 검사, 재시도 동작 및 계측이 명시된 도구 경계가 존재하기 때문에 중요합니다. 옵션 C는 "작업을 하위 작업으로 나누고 여러 에이전트가 처리하는 것이 도움이 될 수 있는 부분을 파악하라"고 명시하고, 옵션 D는 "AI 에이전트에 제공되는 프롬프트를 개선하고 목표를 명확히 하라"고 명시하고 있으므로, 이 답변은 모델 또는 인프라 계층 중 하나만 해결하는 것이 아니라 요구 사항의 양쪽 측면을 모두 포괄합니다. 옵션 C와 D의 조합은 변화하는 입력 및 인프라 조건 하에서 적응력을 유지해야 하는 에이전트를 설명하는 문제이므로 운영 모델에 적합합니다. 대안들은 프로토타입에서는 더 간단해 보일 수 있지만, 모델이 API 동작을 추론하도록 하는 것은 인위적인 엔드포인트, 잘못된 형식의 인수, 그리고 불안정한 프로덕션 동작으로 이어질 수 있습니다. 이는 NVIDIA의 에이전트 툴링이 프롬프트에서 자유로운 형식의 API 설명보다는 명시적인 기능 사양과 관찰 가능한 실행 경로를 선호하기 때문에 NVIDIA의 지침과 일치합니다. 결과적으로 전체 에이전트 구조를 불안정하게 만들지 않고도 벤치마킹, 추적 및 수정할 수 있는 시스템이 구축됩니다.
NCP-AAI 문제 25
석유 및 가스 회사의 AI 엔지니어가 시추 작업을 지원하는 다중 에이전트 AI 시스템을 설계하고 있습니다. 각기 다른 에이전트들이 지반 모델링, 위험 분석, 자원 할당을 담당합니다. 이 에이전트들은 운영 맥락을 공유하고, 상호 의존적인 계획 단계를 거쳐 추론하며, 구조화되고 투명한 논리를 사용하여 협력적인 결정을 정당화해야 합니다. 아키텍처는 에이전트 간의 메모리 지속성, 순차적 의사 결정, 사고 과정 안내를 지원해야 합니다. 어떤 구현 방식이 이 설계에 가장 적합합니까?
정답: A
이것은 표현의 문제가 아니라 수명주기 문제이며, 옵션 A는 팀에게 에이전트 동작에 대한 제어 가능한 수명주기를 제공합니다. 프로덕션 빌드의 경우, Triton 동적 배치 처리 및 모델 구성은 처리량과 꼬리 지연 시간 간의 절충점을 제어할 수 있게 되는 부분입니다. 선택된 옵션 A는 구체적으로 다음과 같이 명시하고 있습니다. "Triton을 통해 NeMo 에이전트를 오케스트레이션하고, 공유 컨텍스트에 벡터 메모리를 사용하고, ReAct 플래닝과 NeMo 가드레일을 추론에 활용한다."는 표면적인 표현 일치가 아닌 실제 운영 요구사항에 부합하는 설명입니다. 정답은 오케스트레이션, 벡터 메모리, ReAct 방식의 플래닝, 그리고 가드레일을 결합한 것입니다. 이러한 스택은 전문화된 에이전트 전반에 걸쳐 공유 컨텍스트, 도구 사용, 그리고 제어된 추론을 지원합니다. 따라서 런타임은 동적 배치 처리, 모델 인스턴스 튜닝, 동시성 제어, 정밀도 최적화, KV 캐시를 고려한 LLM 서비스 제공, 그리고 엔드투엔드 지연 시간 분석을 중심으로 구축되어야 합니다. 순차적인 마이크로서비스는 개별 모델이 아무리 빨라 보여도 불필요한 홉과 꼬리 지연 시간을 추가할 수 있기 때문에 정답을 찾기 어렵습니다. 따라서 정답은 단순히 모델 기능이 아니라 엔지니어링된 제어 평면에 관한 것입니다. LLM 시스템의 경우 병목 현상은 컴퓨팅 커널, KV 캐시 메모리, 요청 큐, 그리고 가드레일/도구 지연 시간 사이에서 자주 발생합니다.
