Show Menu
トピック×

エンジン

エンジンは、Data Science Workspaceの機械学習モデルの基礎です。 特定の問題を解決する機械学習アルゴリズムや、フィーチャエンジニアリングを実行するパイプラインをフィーチャします。

Dockerレジストリの検索

Docker URLがない場合は、 Package source files into a recipe tutorialを参照し、DockerホストURLの作成に関する手順を説明します。
パッケージ化されたレシピファイルをアップロードするには、DockerホストのURL、ユーザー名、パスワードなど、Dockerレジストリ資格情報が必要です。 この情報は、次のGETリクエストを実行することで検索できます。
API形式
GET /engines/dockerRegistry

リクエスト
curl -X GET https://platform.adobe.io/data/sensei/engines/dockerRegistry \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

応答
正常な応答は、Docker URL( host )、ユーザー名( username )、パスワード( password )を含むDockerレジストリの詳細を含むペイロードを返します。
Dockerのパスワードは、が更新されるたびに変更 {ACCESS_TOKEN} されます。
{
    "host": "docker_host.azurecr.io",
    "username": "00000000-0000-0000-0000-000000000000",
    "password": "password"
}

ドッカーURLを使用したエンジンの作成

マルチパートフォームでDocker画像を参照するメタデータとDocker URLを提供しながらPOSTリクエストを実行すると、エンジンを作成できます。
API形式
POST /engines

Python/Rの要求
curl -X POST \
    https://platform.adobe.io/data/sensei/engines \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'content-type: multipart/form-data' \
    -F 'engine={
        "name": "A name for this Engine",
        "description": "A description for this Engine",
        "type": "Python",
        "algorithm": "Classification",
        "artifacts": {
            "default": {
                "image": {
                    "location": "v1rsvj32smc4wbs.azurecr.io/ml-featurepipeline-pyspark:1.0",
                    "name": "An additional name for the Docker image",
                    "executionType": "Python"
                }
            }
        }
    }' 

プロパティ
説明
name
エンジンの名前。 このエンジンに対応するレシピは、UIに表示されるこの値をレシピ名として継承します。
description
エンジンのオプションの説明。 このエンジンに対応するレシピは、UIに表示されるこの値をレシピの説明として継承します。 このプロパティが必要です。説明を指定しない場合は、値を空の文字列に設定します。
type
エンジンの実行タイプ。 この値は、Dockerイメージを構築する言語に対応し、「Python」、「R」、「Tensorflow」のいずれかを指定できます。
algorithm
機械学習アルゴリズムのタイプを指定する文字列です。 サポートされるアルゴリズムのタイプは、「分類」、「回帰」または「カスタム」です。
artifacts.default.image.location
Docker URLによってリンクされているDockerイメージの場所。
artifacts.default.image.executionType
エンジンの実行タイプ。 この値は、Dockerイメージを構築する言語に対応し、「Python」、「R」、「Tensorflow」のいずれかを指定できます。
PySpark/Scalaの要求
PySparkレシピをリクエストする際、と executionType は"PySpark" type です。 Scalaレシピのリクエストを行う場合、 executionType とは「Spark」 type です。 次のScalaレシピの例ではSparkを使用しています。
curl -X POST \
  https://platform.adobe.io/data/sensei/engines \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'content-type: multipart/form-data' \
    -F 'engine={
    "name": "Spark retail sales recipe",
    "description": "A description for this Engine",
    "type": "Spark",
    "mlLibrary":"databricks-spark",
    "artifacts": {
        "default": {
            "image": {
                "name": "modelspark",
                "executionType": "Spark",
                "packagingType": "docker",
                "location": "v1d2cs4mimnlttw.azurecr.io/sarunbatchtest:0.0.1"
            }
        }
    }
}'

プロパティ
説明
name
エンジンの名前。 このエンジンに対応するレシピは、UIに表示されるこの値をレシピ名として継承します。
description
エンジンのオプションの説明。 このエンジンに対応するレシピは、UIに表示されるこの値をレシピの説明として継承します。 このプロパティが必要です。説明を指定しない場合は、値を空の文字列に設定します。
type
エンジンの実行タイプ。 この値は、Dockerイメージを構築する言語に対応します。 値はSparkまたはPySparkに設定できます。
mlLibrary
PySparkおよびScalaレシピ用のエンジンを作成する場合に必要なフィールドです。 このフィールドはに設定する必要があり databricks-spark ます。
artifacts.default.image.location
Dockerイメージの場所。 Azure ACRまたはパブリック(未認証)Dockerhubのみがサポートされています。
artifacts.default.image.executionType
エンジンの実行タイプ。 この値は、Dockerイメージを構築する言語に対応します。 これは"Spark"か"PySpark"のどちらかです。
応答
成功した応答は、新たに作成されたエンジンの詳細(一意の識別子( id )を含むペイロードを返します。 次に示すのは、Pythonエンジンの応答例です。 すべてのエンジンの応答は次の形式に従います。
{
    "id": "22f4166f-85ba-4130-a995-a2b8e1edde32",
    "name": "A name for this Engine",
    "description": "A description for this Engine",
    "type": "Python",
    "algorithm": "Classification",
    "created": "2019-01-01T00:00:00.000Z",
    "createdBy": {
        "userId": "Jane_Doe@AdobeID"
    },
    "updated": "2019-01-01T00:00:00.000Z",
    "artifacts": {
        "default": {
            "image": {
                "location": "v1rsvj32smc4wbs.azurecr.io/ml-featurepipeline-pyspark:1.0",
                "name": "An additional name for the Docker image",
                "executionType": "Python",
                "packagingType": "docker"
            }
        }
    }
}

ドックURLを使用してフィーチャパイプラインエンジンを作成する

フィーチャーパイプラインエンジンを作成するには、メタデータとDockerイメージを参照するDocker URLを指定しながらPOSTリクエストを実行します。
API形式
POST /engines

リクエスト
curl -X POST \
 https://platform.adobe.io/data/sensei/engines \
    -H 'Authorization: Bearer ' \
    -H 'x-gw-ims-org-id: 20655D0F5B9875B20A495E23@AdobeOrg' \
    -H 'Content-Type: application/vnd.adobe.platform.sensei+json;profile=engine.v1.json' \
    -H 'x-api-key: acp_foundation_machineLearning' \
    -H 'Content-Type: text/plain' \
    -F '{
    "type": "PySpark",
    "algorithm":"fp",
    "name": "Feature_Pipeline_Engine",
    "description": "Feature_Pipeline_Engine",
    "mlLibrary": "databricks-spark",
    "artifacts": {
       "default": {
           "image": {
                "location": "v7d1cs2mimnlttw.azurecr.io/ml-featurepipeline-pyspark:0.2.1",
                "name": "datatransformation",
                "executionType": "PySpark",
                "packagingType": "docker"
            },
           "defaultMLInstanceConfigs": [ ...
           ]
       }
   }
}'

プロパティ
説明
type
エンジンの実行タイプ。 この値は、Dockerイメージを構築する言語に対応します。 値はSparkまたはPySparkに設定できます。
algorithm
使用するアルゴリズムで、この値を fp (フィーチャパイプライン)に設定します。
name
フィーチャーパイプラインエンジンの名前。 このエンジンに対応するレシピは、UIに表示されるこの値をレシピ名として継承します。
description
エンジンのオプションの説明。 このエンジンに対応するレシピは、UIに表示されるこの値をレシピの説明として継承します。 このプロパティが必要です。説明を指定しない場合は、値を空の文字列に設定します。
mlLibrary
PySparkおよびScalaレシピ用のエンジンを作成する場合に必要なフィールドです。 このフィールドはに設定する必要があり databricks-spark ます。
artifacts.default.image.location
Dockerイメージの場所。 Azure ACRまたはパブリック(未認証)Dockerhubのみがサポートされています。
artifacts.default.image.executionType
エンジンの実行タイプ。 この値は、Dockerイメージを構築する言語に対応します。 これは"Spark"か"PySpark"のどちらかです。
artifacts.default.image.packagingType
エンジンのパッケージタイプ。 この値はに設定する必要があり docker ます。
artifacts.default.defaultMLInstanceConfigs
設定ファイルの pipeline.json パラメーター。
応答
成功した応答は、新たに作成されたフィーチャーパイプラインエンジンの詳細を含むペイロードを返します。この詳細には、一意の識別子( id )が含まれます。 次に示すのは、PySpark機能のパイプラインエンジンの応答例です。
{
    "id": "88236891-4309-4fd9-acd0-3de7827cecd1",
    "name": "Feature_Pipeline_Engine",
    "description": "Feature_Pipeline_Engine",
    "type": "PySpark",
    "algorithm": "fp",
    "mlLibrary": "databricks-spark",
    "created": "2020-04-24T20:46:58.382Z",
    "updated": "2020-04-24T20:46:58.382Z",
    "deprecated": false,
    "artifacts": {
        "default": {
            "image": {
                "location": "v7d1cs3mimnlttw.azurecr.io/ml-featurepipeline-pyspark:0.2.1",
                "name": "datatransformation",
                "executionType": "PySpark",
                "packagingType": "docker"
            },
        "defaultMLInstanceConfigs": [ ... ]
        }
    }
}

エンジンのリストの取得

単一のGETリクエストを実行することで、リストのエンジンを取得できます。 結果をフィルターするのに役立つように、リクエストパスでクエリパラメーターを指定できます。 使用可能なクエリのリストについては、付録の「アセット取得の クエリパラメータ」の節を参照してください
API形式
GET /engines
GET /engines?parameter_1=value_1
GET /engines?parameter_1=value_1&parameter_2=value_2

リクエスト
curl -X GET \
    https://platform.adobe.io/data/sensei/engines \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

応答
成功した場合は、エンジンとその詳細のリストが返されます。
{
    "children": [
        {
            "id": "22f4166f-85ba-4130-a995-a2b8e1edde31",
            "name": "A name for this Engine",
            "description": "A description for this Engine",
            "type": "PySpark",
            "algorithm": "Classification",
            "created": "2019-01-01T00:00:00.000Z",
            "createdBy": {
                "userId": "Jane_Doe@AdobeID"
            },
            "updated": "2019-01-01T00:00:00.000Z"
        },
        {
            "id": "22f4166f-85ba-4130-a995-a2b8e1edde32",
            "name": "A name for this Engine",
            "description": "A description for this Engine",
            "type": "Python",
            "algorithm": "Classification",
            "created": "2019-01-01T00:00:00.000Z",
            "createdBy": {
                "userId": "Jane_Doe@AdobeID"
            },
            "updated": "2019-01-01T00:00:00.000Z"
        },
        {
            "id": "22f4166f-85ba-4130-a995-a2b8e1edde33",
            "name": "Feature Pipeline Engine",
            "description": "A feature pipeline Engine",
            "type": "PySpark",
            "algorithm":"fp",
            "created": "2019-01-01T00:00:00.000Z",
            "createdBy": {
                "userId": "Jane_Doe@AdobeID"
            },
            "updated": "2019-01-01T00:00:00.000Z"
        }
    ],
    "_page": {
        "property": "deleted==false",
        "totalCount": 100,
        "count": 3
    }
}

特定のエンジンの取得

特定のエンジンの詳細を取得するには、目的のエンジンのIDをリクエストパスに含むGETリクエストを実行します。
API形式
GET /engines/{ENGINE_ID}

パラメーター
説明
{ENGINE_ID}
既存のエンジンのID。
リクエスト
curl -X GET \
    https://platform.adobe.io/data/sensei/engines/22f4166f-85ba-4130-a995-a2b8e1edde32 \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

応答
成功した応答は、目的のエンジンの詳細を含むペイロードを返します。
{
    "id": "22f4166f-85ba-4130-a995-a2b8e1edde32",
    "name": "A name for this Engine",
    "description": "A description for this Engine",
    "type": "PySpark",
    "algorithm": "Classification",
    "created": "2019-01-01T00:00:00.000Z",
    "createdBy": {
        "userId": "Jane_Doe@AdobeID"
    },
    "updated": "2019-01-01T00:00:00.000Z",
    "artifacts": {
        "default": {
            "image": {
                "location": "v7d1cs2mimnlttw.azurecr.io/ml-featurepipeline-pyspark:0.2.1",
                "name": "file.egg",
                "executionType": "PySpark",
                "packagingType": "docker"
            }
        }
    }
}

エンジンの更新

リクエストパスにターゲットエンジンのIDを含むPUT要求を介してプロパティを上書きし、更新されたプロパティを含むJSONペイロードを提供することで、既存のエンジンを変更および更新できます。
このPUT要求を確実に成功させるために、最初にGET要求を実行し、IDでエンジンを 取得することをお勧めします 。 次に、返されたJSONオブジェクトを変更および更新し、変更されたJSONオブジェクト全体をPUT要求のペイロードとして適用します。
以下のサンプルAPI呼び出しは、以下のプロパティを最初に持つと同時に、エンジンの名前と説明を更新します。
{
    "name": "A name for this Engine",
    "description": "A description for this Engine",
    "type": "Python",
    "algorithm": "Classification",
    "artifacts": {
        "default": {
            "image": {
                "executionType": "Python",
                "packagingType": "docker"
            }
        }
    }
}

API形式
PUT /engines/{ENGINE_ID}

パラメーター
説明
{ENGINE_ID}
既存のエンジンのID。
リクエスト
curl -X PUT \
    https://platform.adobe.io/data/sensei/engines/22f4166f-85ba-4130-a995-a2b8e1edde32 \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}' \
    -H 'content-type: application/vnd.adobe.platform.sensei+json;profile=engine.v1.json' \
    -d '{
        "name": "An updated name for this Engine",
        "description": "An updated description",
        "type": "Python",
        "algorithm": "Classification",
        "artifacts": {
            "default": {
                "image": {
                    "executionType": "Python",
                    "packagingType": "docker"
                }
            }
        }
    }'

応答
正常な応答は、エンジンの更新された詳細を含むペイロードを返します。
{
    "id": "22f4166f-85ba-4130-a995-a2b8e1edde32",
    "name": "An updated name for this Engine",
    "description": "An updated description",
    "type": "Python",
    "algorithm": "Classification",
    "created": "2019-01-01T00:00:00.000Z",
    "createdBy": {
        "displayName": "Jane Doe",
        "userId": "Jane_Doe@AdobeID"
    },
    "updated": "2019-01-02T00:00:00.000Z",
    "artifacts": {
        "default": {
            "image": {
                "executionType": "Python",
                "packagingType": "docker"
            }
        }
    }
}

エンジンの削除

エンジンを削除するには、リクエストパスでターゲットエンジンのIDを指定しながらDELETEリクエストを実行します。 エンジンを削除すると、そのエンジンを参照するすべてのMLInstancesがカスケード削除されます。MLInstanceに属するExperiments and Experimentの実行も含まれます。
API形式
DELETE /engines/{ENGINE_ID}

パラメーター
説明
{ENGINE_ID}
既存のエンジンのID。
リクエスト
curl -X DELETE \
    https://platform.adobe.io/data/sensei/engines/22f4166f-85ba-4130-a995-a2b8e1edde32 \
    -H 'Authorization: Bearer {ACCESS_TOKEN}' \
    -H 'x-api-key: {API_KEY}' \
    -H 'x-gw-ims-org-id: {IMS_ORG}' \
    -H 'x-sandbox-name: {SANDBOX_NAME}'

応答
{
    "title": "Success",
    "status": 200,
    "detail": "Engine deletion was successful"
}