Explore las carpetas de almacenamiento en la nube mediante Flow Service API
Este tutorial proporciona pasos sobre cómo explorar y previsualizar la estructura y el contenido del almacenamiento en la nube mediante Flow Service API.
Introducción
Esta guía requiere una comprensión práctica de los siguientes componentes de Adobe Experience Platform:
- Fuentes: Experience Platform permite la ingesta de datos desde varias fuentes, al tiempo que le ofrece la capacidad de estructurar, etiquetar y mejorar los datos entrantes mediante Platform servicios.
- Zonas protegidas: Experience Platform proporciona zonas protegidas virtuales que dividen una sola Platform en entornos virtuales independientes para ayudar a desarrollar y evolucionar aplicaciones de experiencia digital.
Uso de API de Platform
Para obtener información sobre cómo realizar llamadas correctamente a las API de Platform, consulte la guía de introducción a las API de Platform.
Explorar las carpetas de almacenamiento en la nube
Puede recuperar información sobre la estructura de sus carpetas de almacenamiento en la nube realizando una solicitud de GET a la variable Flow Service al proporcionar el ID de conexión base de su origen.
Al realizar solicitudes de GET para explorar el almacenamiento en la nube, debe incluir los parámetros de consulta que se enumeran en la siguiente tabla:
objectType
El tipo de objeto que desea explorar. Establezca este valor como:
folder
: explore un directorio específicoroot
: explore el directorio raíz.
object
Formato de API
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=root
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=folder&object={PATH}
{BASE_CONNECTION_ID}
{PATH}
Solicitud
curl -X GET \
'http://platform.adobe.io/data/foundation/flowservice/connections/dc3c0646-5e30-47be-a1ce-d162cb8f1f07/explore?objectType=folder&object=root' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
Respuesta
Una respuesta correcta devuelve una matriz de archivos y carpetas encontrados dentro del directorio consultado. Tome nota de la path
propiedad del archivo que desea cargar, ya que es necesario proporcionarla en el siguiente paso para inspeccionar su estructura.
[
{
"type": "file",
"name": "account.csv",
"path": "/test-connectors/testFolder-fileIngestion/account.csv",
"canPreview": true,
"canFetchSchema": true
},
{
"type": "file",
"name": "profileData.json",
"path": "/test-connectors/testFolder-fileIngestion/profileData.json",
"canPreview": true,
"canFetchSchema": true
},
{
"type": "file",
"name": "sampleprofile--3.parquet",
"path": "/test-connectors/testFolder-fileIngestion/sampleprofile--3.parquet",
"canPreview": true,
"canFetchSchema": true
}
]
Inspect la estructura de un archivo
Para inspeccionar la estructura del archivo de datos desde el almacenamiento en la nube, realice una solicitud de GET y proporcione la ruta y el tipo del archivo como parámetro de consulta.
Puede inspeccionar la estructura de un archivo de datos desde su origen de almacenamiento en la nube realizando una solicitud de GET al tiempo que proporciona la ruta y el tipo del archivo. También puede inspeccionar distintos tipos de archivo, como CSV, TSV o archivos JSON comprimidos y delimitados, especificando sus tipos de archivo como parte de los parámetros de consulta.
Formato de API
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&fileType={FILE_TYPE}&{QUERY_PARAMS}&preview=true
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&columnDelimiter=\t
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=file&object={FILE_PATH}&preview=true&fileType=delimited&compressionType=gzip;
GET /connections/{BASE_CONNECTION_ID}/explore?objectType=FILE&object={FILE_PATH}&preview=true&fileType=delimited&encoding=ISO-8859-1;
{BASE_CONNECTION_ID}
{FILE_PATH}
{FILE_TYPE}
El tipo de archivo. Los tipos de archivo admitidos son:
DELIMITADO
: Valor separado por delimitador. Los archivos DSV deben estar separados por comas.JSON
: Notación de objetos JavaScript. Los archivos JSON deben ser compatibles con XDMPARQUET
: Apache Parquet. Los archivos de Parquet deben ser compatibles con XDM.
{QUERY_PARAMS}
Solicitud
curl -X GET \
'http://platform.adobe.io/data/foundation/flowservice/connections/{BASE_CONNECTION_ID}/explore?objectType=file&object=/aep-bootcamp/Adobe%20Pets%20Customer%2020190801%20EXP.json&fileType=json&preview=true' \
-H 'Authorization: Bearer {ACCESS_TOKEN}' \
-H 'x-api-key: {API_KEY}' \
-H 'x-gw-ims-org-id: {ORG_ID}' \
-H 'x-sandbox-name: {SANDBOX_NAME}'
Respuesta
Una respuesta correcta devuelve la estructura del archivo consultado, incluidos los nombres de tabla y los tipos de datos.
[
{
"name": "Id",
"type": "String"
},
{
"name": "FirstName",
"type": "String"
},
{
"name": "LastName",
"type": "String"
},
{
"name": "Email",
"type": "String"
},
{
"name": "Phone",
"type": "String"
}
]
Uso de parámetros de consulta query
El Flow Service API admite el uso de parámetros de consulta para obtener una vista previa e inspeccionar diferentes tipos de archivo.
columnDelimiter
(,)
.compressionType
Un parámetro de consulta necesario para previsualizar un archivo JSON o delimitado comprimido. Los archivos comprimidos admitidos son:
bzip2
gzip
deflate
zipDeflate
tarGzip
tar
encoding
UTF-8
y ISO-8859-1
. Nota: La encoding
El parámetro solo está disponible al ingerir archivos CSV delimitados. Se incorporarán otros tipos de archivo con la codificación predeterminada, UTF-8
.Pasos siguientes
Al seguir este tutorial, ha explorado su sistema de almacenamiento en la nube, ha encontrado la ruta del archivo que desea introducir en Platformy vio su estructura. Puede utilizar esta información en el siguiente tutorial para lo siguiente recopilar datos de su almacenamiento en la nube e introducirlos en Platform.