Nutzen von serverlosen APIs aus einem anderen Microsoft Foundry-Projekt oder Hub (klassisch)

Gilt nur für:klassisches Foundry Portal. Dieser Artikel ist für das neue Foundry-Portal nicht verfügbar. Erfahren Sie mehr über das neue Portal.

Hinweis

Links in diesem Artikel können Inhalte in der neuen Microsoft Foundry-Dokumentation anstelle der jetzt angezeigten Foundry-Dokumentation (klassisch) öffnen.

In diesem Artikel erfahren Sie, wie Sie eine vorhandene serverlose APIs in einem anderen Projekt oder Hub konfigurieren als die, die zum Erstellen der Bereitstellung verwendet wurde.

Wichtig

Modelle, die sich in der Vorschau befinden, werden auf ihren Modellkarten im Modellkatalog als Vorschau gekennzeichnet.

Bestimmte Modelle im Modellkatalog können als serverlose APIs bereitgestellt werden. Diese Art von Bereitstellung bietet eine Möglichkeit, Modelle als API zu nutzen, ohne sie in Ihrem Abonnement zu hosten, während die Unternehmenssicherheit und Compliance beibehalten werden, die Organisationen benötigen. Für diese Bereitstellungsoption ist kein Kontingent aus Ihrem Abonnement erforderlich.

Die Notwendigkeit, einen serverlosen APIs-Endpunkt in einem anderen Projekt oder Hub zu verwenden als der, der zum Erstellen der Bereitstellung verwendet wurde, kann in Situationen wie den folgenden auftreten:

  • Sie möchten Ihre Bereitstellungen in einem bestimmten Projekt oder Hub zentralisieren und in verschiedenen Projekten oder Hubs in Ihrer Organisation verwenden.
  • Sie müssen ein Modell in einem Hub in einer bestimmten Azure Region bereitstellen, in der serverlose Bereitstellung für dieses Modell verfügbar ist. Sie müssen sie jedoch aus einer anderen Region nutzen, in der die serverlose Bereitstellung für die jeweiligen Modelle nicht verfügbar ist.

Voraussetzungen

  • Ein Azure-Abonnement mit einer gültigen Zahlungsmethode. Kostenlose oder Testversionen Azure Abonnements funktionieren nicht. Wenn Sie nicht über ein Azure-Abonnement verfügen, erstellen Sie zunächst ein paid Azure Konto.

  • Ein Microsoft Foundry Hub, wenn Sie ein hub-basiertes Projekt verwenden. Ein Foundry-Projekt verwendet keinen Hub. Weitere Informationen finden Sie unter Project Types.

  • Wenn Sie über keins verfügen, erstellen Sie ein hubbasiertes Projekt.

  • Ein Modell , das für serverlose APIs bereitgestellt wird. In diesem Artikel wird davon ausgegangen, dass Sie zuvor das Meta-Llama-3-8B-Instruct-Modell bereitgestellt haben. Informationen zum Bereitstellen dieses Modells als serverlose API finden Sie unter Bereitstellen von Modellen als serverlose APIs.

  • Sie müssen die folgende Software installieren, um mit Foundry zu arbeiten:

    Sie können jeden kompatiblen Webbrowser verwenden, um in foundry zu navigieren.

Erstellen einer serverlosen API-Endpunktverbindung

Führen Sie die folgenden Schritte aus, um eine Verbindung zu erstellen:

  1. Stellen Sie eine Verbindung mit dem Projekt oder Hub her, in dem der Endpunkt bereitgestellt wird:

    Tipp

    Da Sie den linken Bereich customize the left pane im Microsoft Foundry-Portal erstellen können, werden möglicherweise unterschiedliche Elemente angezeigt als in diesen Schritten. Wenn Sie nicht sehen, wonach Sie suchen, wählen Sie ... Mehr am unteren Rand des linken Bereichs.

    Wechseln Sie zu Foundry , und navigieren Sie zu dem Projekt, mit dem der Endpunkt, mit dem Sie eine Verbindung herstellen möchten, bereitgestellt wird.

  2. Rufen Sie die URL und die Anmeldeinformationen des Endpunkts für den Endpunkt ab, mit dem Sie eine Verbindung herstellen möchten. In diesem Beispiel erhalten Sie die Details für einen Endpunktnamen meta-llama3-8b-qwerty.

    1. Wechseln Sie auf der linken Randleiste Ihres Projekts im Foundry-Portal zu "Meine Ressourcenmodelle>+ Endpunkte ", um die Liste der Bereitstellungen im Projekt anzuzeigen.

    2. Wählen Sie die Bereitstellung aus, mit der Sie eine Verbindung herstellen möchten.

    3. Kopieren Sie die Werte für Ziel-URI und Schlüssel.

  3. Stellen Sie nun eine Verbindung mit dem Projekt oder Hub her, in dem Sie die Verbindung erstellen möchten:

    Wechseln Sie zu dem Projekt, zu dem die Verbindung erstellt werden muss.

  4. Erstellen Sie die Verbindung im Projekt:

    1. Wechseln Sie in Ihrem Projekt im Foundry-Portal zum unteren Teil der linken Randleiste, und wählen Sie "Verwaltungscenter" aus.

    2. Wählen Sie auf der linken Randleiste des Verwaltungscenters "Verbundene Ressourcen" aus.

    3. Wählen Sie "Neue Verbindung" aus.

    4. Wählen Sie "Serverloses Modell" aus.

    5. Fügen Sie für den Ziel-URI den Wert ein, den Sie zuvor kopiert haben.

    6. Fügen Sie für den Schlüssel den Wert ein, den Sie zuvor kopiert haben.

    7. Geben Sie der Verbindung einen Namen, in diesem Fall meta-llama3-8b-connection.

    8. Wählen Sie "Verbindung hinzufügen" aus.

  5. Zu diesem Zeitpunkt steht die Verbindung für den Verbrauch zur Verfügung.

  6. So überprüfen Sie, ob die Verbindung funktioniert:

    1. Kehren Sie zum Projekt im Gießereiportal zurück.

    2. Wechseln Sie auf der linken Randleiste Ihres Projekts zum Erstellen und Anpassen> desEingabeaufforderungsflusses.

    3. Wählen Sie "Erstellen" aus, um einen neuen Fluss zu erstellen.

    4. Wählen Sie Erstellen im Chatfluss-Feld aus.

    5. Geben Sie Ihrem Aufforderungsfluss einen Namen, und wählen Sie "Erstellen" aus.

    6. Wählen Sie den Chatknoten aus dem Diagramm aus, um zum Chatabschnitt zu wechseln.

    7. Öffnen Sie für "Verbindung" die Dropdownliste, um die soeben erstellte Verbindung auszuwählen, in diesem Fall meta-llama3-8b-connection.

    8. Wählen Sie auf der oberen Navigationsleiste Computesitzung starten aus, um eine automatische Runtime für den Prompt Flow zu starten.

    9. Wählen Sie die Chatoption aus. Sie können jetzt Nachrichten senden und Antworten erhalten.

Verwandte Inhalte

  • Last updated on