エンドポイント

最初のエンドポイントを作成

エンドポイントは完全に管理されており、あらゆるAIワークロードを処理できるようにスケーラブルです。さまざまなアプリケーションに対応しており、Automatic1111、vLLM、Whisperなどの環境をサポートしています。各エンドポイントは、現在の負荷に応じた特定の数のワーカー（GPU付き）によって動作します。

最初のエンドポイントを構成するには、次が必要です：

有効なmodelserve AIアカウント
生成されたアクセストークン
アカウントに十分な資金（USD）

詳細はクイックスタートセクションをご覧ください。

最初のAIエンドポイントを生成するには、以下のエンドポイントを使用してください：

https://api.modelserve.ai/api/v1/clusters/

curl python javascript

curl -s -X POST \
     -H 'Accept: application/json' \
     -H 'Content-Type: application/json' \
     -H 'Authorization: Bearer X' \
     -d '{"name": "string", "gpu_segment": 0, "package_type": "automatic", "model_repo_name": "string", "model_url": "string", "huggingface_auth_token": "string", "startup_script_url": "string"}' \
     'https://api.modelserve.ai/api/v1/clusters/'

import requests

r = requests.post(
    "https://api.modelserve.ai/api/v1/clusters/",
    headers={
        "Accept": "application/json",
        "Content-Type": "application/json",
        "Authorization": "Bearer X",
    },
    data={
        "name": "string",
        "gpu_segment": 0,
        "package_type": "automatic",
        "model_repo_name": "string",
        "model_url": "string",
        "huggingface_auth_token": "string",
        "startup_script_url": "string",
    },
)

fetch('https://api.modelserve.ai/api/v1/clusters/', {
  "method": "POST",
  "headers": {
    "Accept": "application/json",
    "Content-Type": "application/json",
    "Authorization": "Bearer X"
  },
  "body": JSON.stringify({"name": "string", "gpu_segment": 0, "package_type": "automatic", "model_repo_name": "string", "model_url": "string", "huggingface_auth_token": "string", "startup_script_url": "string"})
});

Values:

"name": "string" - エンドポイントのカスタム名
"gpu_segment": 0 - セグメントID (詳細はセグメントセクションをご覧ください)
"package_type": "string" - 環境のタイプ。以下から選択できます：
- automatic - Automatic1111
- vllm - vLLM
- speech2text - audio (例. Whisper)
"model_repo_name": "string" - HuggingFaceのモデルリポジトリのアドレス
"model_url": "string" - HuggingFaceのモデルURLのアドレス
"huggingface_auth_token": "string" （オプション） - 追加のセキュリティトークン
"startup_script_url": "string" （オプション） - 環境を変更するための追加スクリプト

例のペイロード:

data={
        "name": "My own Stable Diffusion",
        "gpu_segment": 8,
        "package_type": "automatic",
        "model_url": "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt",
    },

data={
        "name": "My own Mistral",
        "gpu_segment": 9,
        "package_type": "vllm",
        "model_repo_name": "mistralai/Mistral-7B-v0.1",
    },

data={
        "name": "My own Whisper",
        "gpu_segment": 9,
        "package_type": "speech2text",
        "model_repo_name": "openai/whisper-tiny",
    },

⚠️ vLLMおよびWhisperで実行されるモデルには model_repo_name を使用し、Automatic1111で実行されるモデルには model_url を使用してください。

エンドポイントのリストを表示

最初のエンドポイントを作成した後、そのIDを取得するためにリストを表示できます。この方法で、現在のエンドポイントのリスト、設定、および状態を確認することができます。

エンドポイントのリストを表示するには、以下のエンドポイントを使用してください：

https://api.modelserve.ai/api/v1/clusters/

curl python javascript

curl -s -X GET \
     -H 'Accept: application/json' \
     -H 'Content-Type: application/json' \
     -H 'Authorization: Bearer X' \
     'https://api.modelserve.ai/api/v1/clusters/'

import requests

r = requests.get(
    "https://api.modelserve.ai/api/v1/clusters/",
    headers={
        "Accept": "application/json",
        "Content-Type": "application/json",
        "Authorization": "Bearer X",
    },
)

fetch('https://api.modelserve.ai/api/v1/clusters/', {
  "method": "GET",
  "headers": {
    "Accept": "application/json",
    "Content-Type": "application/json",
    "Authorization": "Bearer X"
  }
});

-

Response (JSON)

"results": [
{
    "id": "eca2785b-d094-432b-8722-6c7d2f957eb2",
    "name": "SD 1.5",
    "gpu_segment": 3,
    "package_type": "automatic",
    "status": "terminated",
    "model_repo_name": null,
    "model_url": "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt",
    "startup_script_url": null,
    "address": "https://6c7d2f957eb2.app.modelserve.dev-test.golem.network",
    "running_workers": [],
    "created_at": "2024-01-22T09:24:19.947509Z",
    "last_update": "2024-01-22T12:38:42.907606Z"
}]

例の値:

- ```"id": "eca2785b-d094-432b-8722-6c7d2f957eb2"``` - エンドポイントのユニークID
- ```"name": "SD 1.5"``` - エンドポイントの名前
- ```"gpu_segment": 3``` - セグメントID
- ```"package_type": "automatic"``` - 環境のタイプ 
- ```"status": "terminated"``` - 現在のステータス
- ```"model_repo_name": null``` - HuggingFaceのモデルリポジトリのアドレス
- ```"model_url": "https://huggingface.co/runwayml/stable-diffusion-v1-5/resolve/main/v1-5-pruned-emaonly.ckpt"``` - HuggingFaceのモデルURLのアドレス
- ```"startup_script_url": null``` - 環境を変更するための追加スクリプト
- ```"address": "https://6c7d2f957eb2.app.modelserve.ai"``` - エンドポイントのアドレスURL
- ```"running_workers": []``` - ワーカーに関する詳細情報
- ```"created_at": "2024-01-22T09:24:19.947509Z"``` - エンドポイントの作成日
- ```"last_update": "2024-01-22T12:38:42.907606Z"``` - エンドポイントの最終更新日

最も重要な値は：

- ```"id": "eca2785b-d094-432b-8722-6c7d2f957eb2"``` - エンドポイントのユニークID
- ```"address": "https://6c7d2f957eb2.app.modelserve.ai"``` - エンドポイントのアドレスURL

「Bearer X」を実際のアクセストークンに置き換えることを忘れないでください。アクセストークン（Bearer）の見つけ方については、クイックスタートセクションで詳細をご覧ください。

🚀 クイックスタート