IEvaluationResponseCacheProvider 인터페이스

정의

네임스페이스:
Microsoft.Extensions.AI.Evaluation.Reporting
어셈블리:
Microsoft.Extensions.AI.Evaluation.Reporting.dll
패키지:
Microsoft.Extensions.AI.Evaluation.Reporting v10.6.0
Source:
IEvaluationResponseCacheProvider.cs

특정ScenarioRun과 연결된 AI 응답을 캐시하는 방법을 IDistributedCache 제공합니다.

public interface class IEvaluationResponseCacheProvider
public interface IEvaluationResponseCacheProvider
type IEvaluationResponseCacheProvider = interface
Public Interface IEvaluationResponseCacheProvider
파생

설명

IEvaluationResponseCacheProvider 는 AI 생성 응답의 캐싱을 설정하는 데 사용할 수 있습니다(평가 중인 AI 응답과 평가 자체에 대한 AI 응답 모두). 캐싱을 사용하도록 설정하면 각각 ScenarioRun 과 연결된 AI 응답이 이 IEvaluationResponseCacheProvider응답에서 반환되는 응답에 IDistributedCache 저장됩니다. 입력(예: 요청에 포함된 콘텐츠, 호출되는 AI 모델 등)이 변경되지 않은 상태로 유지되는 한, 후속 ScenarioRun 평가에서는 AI 모델을 호출하여 새 응답을 생성하는 대신 캐시된 응답을 사용합니다. 입력이 변경되지 않은 상태로 유지될 때 AI 모델을 우회하면 더 낮은 비용으로 더 빠르게 실행할 수 있습니다.

메서드

Name Description
DeleteExpiredCacheEntriesAsync(CancellationToken)

모든 ScenarioRun항목에 대해 만료된 캐시 항목을 삭제합니다.
GetCacheAsync(String, String, CancellationToken)

IDistributedCache 제공 scenarioName 된 항목과 연결된 ScenarioRun 모든 AI 응답을 캐시하는 값을 반환합니다iterationName.
ResetAsync(CancellationToken)

모든 ScenarioRun항목에 대해 캐시된 AI 응답을 삭제합니다.

적용 대상