Sensei Machine Learning Apéndice de guía de API
Las secciones siguientes proporcionan información de referencia sobre diversas funciones de Sensei Machine Learning API.
Parámetros de consulta para recuperación de recursos query
El Sensei Machine Learning La API proporciona compatibilidad con parámetros de consulta para recuperar recursos. En la tabla siguiente se describen los parámetros de consulta disponibles y sus usos:
start
start=0
limit
limit=25
orderby
orderby=created
property
property=deleted==false
Configuraciones de CPU y GPU en Python cpu-gpu-config
Los motores Python tienen la capacidad de elegir entre una CPU o una GPU para sus fines de entrenamiento o puntuación, y se define en una MLInstance como especificación de tarea (tasks.specification
).
A continuación se muestra un ejemplo de configuración que especifica el uso de una CPU para el aprendizaje y una GPU para la puntuación:
[
{
"name": "train",
"parameters": [
{
"key": "training parameter",
"value": "parameter value"
}
],
"specification": {
"type": "ContainerTaskSpec",
"cpus": "1"
}
},
{
"name": "score",
"parameters": [
{
"key": "scoring parameter",
"value": "parameter value"
}
],
"specification": {
"type": "ContainerTaskSpec",
"gpus": "1"
}
}
]
cpus
y gpus
no significa el número de CPU o GPU, sino el número de máquinas físicas. Estos valores están permitidos "1"
y generará una excepción en caso contrario.Configuraciones de recursos de PySpark y Spark resource-config
Los motores Spark tienen la capacidad de modificar los recursos computacionales con fines de entrenamiento y puntuación. Estos recursos se describen en la siguiente tabla:
Los recursos se pueden especificar en un MLInstance como (A) parámetros de entrenamiento o puntuación individuales, o (B) dentro de un objeto de especificaciones adicional (specification
). Por ejemplo, las siguientes configuraciones de recursos son las mismas para la formación y la puntuación:
[
{
"name": "train",
"parameters": [
{
"key": "driverMemory",
"value": "2048"
},
{
"key": "driverCores",
"value": "1"
},
{
"key": "executorMemory",
"value": "2048"
},
{
"key": "executorCores",
"value": "2"
},
{
"key": "numExecutors",
"value": "3"
}
]
},
{
"name": "score",
"parameters": [
{
"key": "scoring parameter",
"value": "parameter value"
}
],
"specification": {
"type": "SparkTaskSpec",
"name": "Spark Task name",
"className": "Class name",
"driverMemoryInMB": 2048,
"driverCores": 1,
"executorMemoryInMB": 2048,
"executorCores": 2,
"numExecutors": 3
}
}
]