でのデータアクセス Jupyterlab notebooks

サポートされる各カーネルは、ノートブック内のデータセットから Platform データを読み取るための組み込み機能を備えてます。現在、Adobe Experience Platform Data Science Workspace の JupyterLab は、のノートブックをサポートしています Python、R、PySpark、Scala。 ただし、ページ番号付けデータのサポートは、次の項目に制限されます。 Python R ノート。 このガイドでは、JupyterLab ノートブックを使用してデータにアクセスする方法に焦点を当てます。

はじめに

このガイドを読む前に、JupyterLab の概要およびデータサイエンスワークスペース内での役割をJupyterLab ユーザーガイドで確認してください。

ノートブックのデータ制限 notebook-data-limits

次の情報は、読み取り可能な最大データ量、使用されたデータのタイプ、およびデータを読み取る推定時間枠を定義します。

の場合 Python また、ベンチマークには、40GB RAM で構成されたノートブックサーバを使用しました。 PySpark と Scala の場合、以下に示すベンチマークには、64GB RAM、8 コア、2 DBU で構成されたデータバリッククラスタが最大 4 ワーカーを持つデータバリッククラスタが使用されました。

使用される ExperienceEvent スキーマデータのサイズは、1,000 行 (1,000) から 10 億行 (1B) までと様々です。 PySpark の場合は、 Spark 指標の場合、10 日間の日付範囲が XDM データに使用されていました。

アドホックスキーマデータは、 Query Service Create Table as Select (CTAS)。 このデータは、1,000 行（1,000 行）から 10 億行（1B 行）までのサイズも様々です。

バッチモードとインタラクティブモードを使用する場合 mode

PySpark と Scala のノートブックでデータセットを読み取る場合、インタラクティブモードまたはバッチモードを使用してデータセットを読み取ることができます。 インタラクティブは高速な結果を得るために作成されるのに対して、バッチモードは大規模なデータセット用です。

Python ノートブックデータの制限

XDM ExperienceEvent スキーマ： XDM データの最大 200 万行（ディスク上の最大 6.1 GB のデータ）を 22 分以内に読み取れるはずです。 行を追加すると、エラーが発生する場合があります。

アドホックスキーマ： XDM（アドホック）以外のデータの最大 500 万行（ディスク上のデータは 5.6 GB）を 14 分以内に読み取れるはずです。 行を追加すると、エラーが発生する場合があります。

R ノートブックのデータ制限

XDM ExperienceEvent スキーマ： 13 分未満で、最大 100 万行の XDM データ（ディスク上の 3GB データ）を読み取れるはずです。

アドホックスキーマ： 約 10 分で、アドホックデータ（ディスク上の 293 MB のデータ）の最大 300 万行を読み取れるはずです。

PySpark (Python カーネル ) ノートブックのデータ制限： pyspark-data-limits

XDM ExperienceEvent スキーマ： インタラクティブモードでは、XDM データの最大 500 万行（ディスク上の最大 13.42GB のデータ）を約 20 分で読み取れるようになります。 インタラクティブモードでは、最大 500 万行までしかサポートされません。 大きなデータセットを読み取る場合は、バッチモードに切り替えることをお勧めします。 バッチモードでは、約 14 時間で XDM データの最大 5 億行（ディスク上の最大 1.31 TB のデータ）を読み取れるはずです。

アドホックスキーマ： インタラクティブモードでは、XDM 以外のデータの最大 500 万行（ディスク上の最大 5.36GB のデータ）を 3 分以内に読み取れるはずです。 バッチモードでは、XDM 以外のデータの最大 10 億行（ディスク上の最大 1.05 TB のデータ）を約 18 分で読み取れるはずです。

Spark （Scala カーネル）ノートブックのデータ制限： scala-data-limits

XDM ExperienceEvent スキーマ： インタラクティブモードでは、XDM データの最大 500 万行（ディスク上の最大 13.42GB のデータ）を約 18 分で読み取れる必要があります。 インタラクティブモードでは、最大 500 万行までしかサポートされません。 大きなデータセットを読み取る場合は、バッチモードに切り替えることをお勧めします。 バッチモードでは、約 14 時間で XDM データの最大 5 億行（ディスク上の最大 1.31 TB のデータ）を読み取れるはずです。

アドホックスキーマ： インタラクティブモードでは、XDM 以外のデータの最大 500 万行（ディスク上の最大 5.36GB のデータ）を 3 分以内に読み取ることができます。 バッチモードでは、XDM 以外のデータの最大 10 億行（ディスク上の最大 1.05 TB のデータ）を約 16 分で読み取れるはずです。

Python ノートブック python-notebook

Python ノートブックを使用すると、データセットにアクセスする際にデータをページ番号付けできます。 ページ番号付けの有無に関わらずデータを読み取るコード例を以下に示します。入手可能なスターター Python ノートブックの詳細については、 JupyterLab ランチャー 」の節を参照してください。

以下の Python ドキュメントでは、次の概念の概要を説明しています。

Python でのデータセットからの読み取り python-read-dataset

ページネーションなし：

次のコードを実行すると、データセット全体が読み取られます。実行が成功した場合、データは df 変数で参照される Pandas データフレームとして保存されます。

# Python

from platform_sdk.dataset_reader import DatasetReader
dataset_reader = DatasetReader(get_platform_sdk_client_context(), dataset_id="{DATASET_ID}")
df = dataset_reader.read()
df.head()

ページネーションを使用：

次のコードを実行すると、指定したデータセットからデータが読み取られます。ページ番号付けは、limit() 関数を使用してデータを制限し、offset() 関数を使用してデータをオフセットすることで実現します。データの制限とは、読み取るデータポイントの最大数を指し、オフセットとは、データの読み取り前にスキップするデータポイントの数を指します。読み取り操作が正常に実行された場合、データは df 変数が参照する Pandas データフレームとして保存されます。

# Python

from platform_sdk.dataset_reader import DatasetReader

dataset_reader = DatasetReader(get_platform_sdk_client_context(), dataset_id="{DATASET_ID}")
df = dataset_reader.limit(100).offset(10).read()

Python でのデータセットへの書き込み write-python

JupyterLab ノートブック内のデータセットに書き込むには、JupyterLab の左側のナビゲーションで、「データアイコン」タブ（下でハイライト表示されている）を選択します。 データセット ​ディレクトリと​ スキーマ ​ディレクトリが表示されます。 選択 データセット をクリックし、右クリックして、 ノートブックにデータを書き込む オプションを選択します。 ノートブックの下部に、実行可能なコードエントリが表示されます。

または、次のコードセルをコピーして貼り付けることもできます。 両方を {DATASET_ID} および {PANDA_DATAFRAME}.

from platform_sdk.models import Dataset
from platform_sdk.dataset_writer import DatasetWriter

dataset = Dataset(get_platform_sdk_client_context()).get_by_id(dataset_id="{DATASET_ID}")
dataset_writer = DatasetWriter(get_platform_sdk_client_context(), dataset)
write_tracker = dataset_writer.write({PANDA_DATAFRAME}, file_format='json')

次を使用してデータをクエリ Query Service in Python query-data-python

JupyterLabPlatformPython で を使用すると、 ノートブックで SQL を使用して、Adobe Experience Platform クエリサービスを通じてデータにアクセスできます。Query Service を通じたデータへのアクセスは実行時間が短いので、大規模なデータセットの処理に役立ちます。Query Service を使用したデータのクエリには 10 分間の処理時間制限があることに注意してください。

JupyterLab で Query Service を使用する前に、Query Service SQL 構文について実践的に理解していることを確認してください。

を使用したデータのクエリ Query Service ターゲットデータセットの名前を指定する必要があります。 必要なコードセルを生成するには、データエクスプローラー ​を使用して目的のデータセットを見つけます。データセットのリストを右クリックし、「 」をクリックします。 ノートブックでのデータのクエリ ノートブックで 2 つのコードセルを生成する場合。 これら 2 つのセルの概要を以下に示します。

を活用するため Query Service in JupyterLabを使用する場合、最初に Python ノート Query Service. これは、最初に生成されたセルを実行することで達成できます。

qs_connect()

2 番目に生成されたセルでは、最初の行を SQL クエリの前に定義する必要があります。デフォルトでは、生成されたセルは、クエリ結果を Pandas データフレームとして保存するオプションの変数（df0）を定義します。
この -c QS_CONNECTION 引数は必須で、カーネルに対して SQL クエリを実行するように指示します。 Query Service. その他の引数のリストは、付録を参照してください。

%%read_sql df0 -c QS_CONNECTION
SELECT *
FROM name_of_the_dataset
LIMIT 10
/* Querying table "name_of_the_dataset" (datasetId: {DATASET_ID})*/

Python 変数は、次の例に示すように、文字列形式の構文を使用して中括弧（{}）で囲むことで、SQL クエリ内で直接参照できます。

table_name = 'name_of_the_dataset'
table_columns = ','.join(['col_1','col_2','col_3'])

%%read_sql demo -c QS_CONNECTION
SELECT {table_columns}
FROM {table_name}

フィルター ExperienceEvent データ python-filter

にアクセスしてフィルターするには、 ExperienceEvent データセット Python ノートブックの場合は、データセットの ID({DATASET_ID}) と、論理演算子を使用して特定の時間範囲を定義するフィルタールールを使用します。 時間範囲を定義すると、指定されたページ番号は無視され、データセット全体が考慮されます。

フィルタリング操作のリストを以下に示します。

次のセルは、 ExperienceEvent 2019 年 1 月 1 日から 2019 年 12 月 31 日の終わりまでの間にのみ存在するデータセット。

# Python

from platform_sdk.dataset_reader import DatasetReader

dataset_reader = DatasetReader(get_platform_sdk_client_context(), dataset_id="{DATASET_ID}")
df = dataset_reader.\
    where(dataset_reader["timestamp"].gt("2019-01-01 00:00:00").\
    And(dataset_reader["timestamp"].lt("2019-12-31 23:59:59"))\
).read()

R ノートブック r-notebooks

R ノートブックを使用すると、データセットにアクセスする際にデータをページ番号付けできます。 ページ番号付けの有無に関わらずデータを読み取るコード例を以下に示します。利用可能なスターター R ノートブックの詳細については、 JupyterLab ランチャー 」の節を参照してください。

以下の R ドキュメントでは、次の概念の概要を説明しています。

R でのデータセットからの読み取り r-read-dataset

ページネーションなし：

次のコードを実行すると、データセット全体が読み取られます。実行が成功した場合、データは df0 変数で参照される Pandas データフレームとして保存されます。

# R

library(reticulate)
use_python("/usr/local/bin/ipython")
psdk <- import("platform_sdk")
datetime <- import("datetime", convert = FALSE)
py_run_file("~/.ipython/profile_default/startup/platform_sdk_context.py")
DatasetReader <- psdk$dataset_reader$DatasetReader
dataset_reader <- DatasetReader(py$get_platform_sdk_client_context(), dataset_id="{DATASET_ID}")
df0 <- dataset_reader$read()
head(df0)

ページネーションを使用：

次のコードを実行すると、指定したデータセットからデータが読み取られます。ページ番号付けは、limit() 関数を使用してデータを制限し、offset() 関数を使用してデータをオフセットすることで実現します。データの制限とは、読み取るデータポイントの最大数を指し、オフセットとは、データの読み取り前にスキップするデータポイントの数を指します。読み取り操作が正常に実行された場合、データは df0 変数が参照する Pandas データフレームとして保存されます。

# R

library(reticulate)
use_python("/usr/local/bin/ipython")
psdk <- import("platform_sdk")
datetime <- import("datetime", convert = FALSE)
py_run_file("~/.ipython/profile_default/startup/platform_sdk_context.py")

DatasetReader <- psdk$dataset_reader$DatasetReader
dataset_reader <- DatasetReader(py$get_platform_sdk_client_context(), dataset_id="{DATASET_ID}")
df0 <- dataset_reader$limit(100L)$offset(10L)$read()

R でのデータセットへの書き込み write-r

JupyterLab ノートブック内のデータセットに書き込むには、JupyterLab の左側のナビゲーションで、「データアイコン」タブ（下でハイライト表示されている）を選択します。 データセット ​ディレクトリと​ スキーマ ​ディレクトリが表示されます。 選択 データセット をクリックし、右クリックして、 ノートブックにデータを書き込む オプションを選択します。 ノートブックの下部に、実行可能なコードエントリが表示されます。

または、次のコードセルをコピーして貼り付けることもできます。

psdk <- import("platform_sdk")
dataset <- psdk$models$Dataset(py$get_platform_sdk_client_context())$get_by_id(dataset_id="{DATASET_ID}")
dataset_writer <- psdk$dataset_writer$DatasetWriter(py$get_platform_sdk_client_context(), dataset)
write_tracker <- dataset_writer$write(df, file_format='json')

フィルター ExperienceEvent データ r-filter

にアクセスしてフィルターするには、 ExperienceEvent データセットを R ノートブックに保存する場合は、データセットの ID({DATASET_ID}) と、論理演算子を使用して特定の時間範囲を定義するフィルタールールを使用します。 時間範囲を定義すると、指定されたページ番号は無視され、データセット全体が考慮されます。

フィルタリング操作のリストを以下に示します。

次のセルは、 ExperienceEvent 2019 年 1 月 1 日から 2019 年 12 月 31 日の終わりまでの間にのみ存在するデータセット。

# R

library(reticulate)
use_python("/usr/local/bin/ipython")
psdk <- import("platform_sdk")
datetime <- import("datetime", convert = FALSE)
py_run_file("~/.ipython/profile_default/startup/platform_sdk_context.py")

client_context <- py$PLATFORM_SDK_CLIENT_CONTEXT
DatasetReader <- psdk$dataset_reader$DatasetReader
dataset_reader <- DatasetReader(py$get_platform_sdk_client_context(), dataset_id="{DATASET_ID}")

df0 <- dataset_reader$
    where(dataset_reader["timestamp"]$gt("2019-01-01 00:00:00")$
    And(dataset_reader["timestamp"]$lt("2019-12-31 23:59:59"))
)$read()

PySpark 3 ノートブック pyspark-notebook

以下の PySpark ドキュメントでは、次の概念の概要を説明しています。

sparkSession の初期化 spark-initialize

すべて Spark 2.4 ノートブックでは、次のボイラープレートコードを使用してセッションを初期化する必要があります。

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

%dataset を使用した PySpark 3 ノートブックでの読み書き magic

の導入により Spark 2.4, %dataset PySpark 3 (Spark 2.4) ノートブック。 IPython カーネルで利用可能なマジックコマンドの詳細は、 IPython マジックドキュメント.

用途

%dataset {action} --datasetId {id} --dataFrame {df} --mode batch

説明

カスタム Data Science Workspace からデータセットを読み取る、または書き込むためのマジックコマンド PySpark ノートブック (Python 3 カーネル )。

例

次のメソッドを使用して、JupyterLab buy で上記の例を自動生成できます。

JupyterLab の左側のナビゲーションで、「データアイコン」タブ（下でハイライト表示）を選択します。 データセット ​ディレクトリと​ スキーマ ​ディレクトリが表示されます。 選択 データセット をクリックし、右クリックして、 ノートブックにデータを書き込む オプションを選択します。 ノートブックの下部に、実行可能なコードエントリが表示されます。

ローカルデータフレームの作成 pyspark-create-dataframe

PySpark 3 を使用してローカルデータフレームを作成するには、SQL クエリを使用します。 以下に例を示します。

date_aggregation.createOrReplaceTempView("temp_df")

df = spark.sql('''
  SELECT *
  FROM sparkdf
''')

local_df

df = spark.sql('''
  SELECT *
  FROM sparkdf
  LIMIT limit
''')

sample_df = df.sample(fraction)

フィルター ExperienceEvent データ pyspark-filter-experienceevent

へのアクセスとフィルタリング ExperienceEvent PySpark ノートブックのデータセットでは、データセット ID ({DATASET_ID})、組織の IMS ID、および特定の時間範囲を定義するフィルタールールが含まれます。 フィルター時間範囲は、関数 spark.sql()（関数パラメータは SQL クエリ文字列）

次のセルでは、 ExperienceEvent 2019 年 1 月 1 日から 2019 年 12 月 31 日の終わりまでの間にのみ存在するデータセット。

# PySpark 3 (Spark 2.4)

from pyspark.sql import SparkSession
spark = SparkSession.builder.getOrCreate()

%dataset read --datasetId {DATASET_ID} --dataFrame df --mode batch

df.createOrReplaceTempView("event")
timepd = spark.sql("""
    SELECT *
    FROM event
    WHERE timestamp > CAST('2019-01-01 00:00:00.0' AS TIMESTAMP)
    AND timestamp < CAST('2019-12-31 23:59:59.9' AS TIMESTAMP)
""")
timepd.show()

Scala ノートブック scala-notebook

以下のドキュメントには、次の概念の例が含まれています。

SparkSession の初期化 scala-initialize

すべての Scala ノートブックでは、次のボイラープレートコードを使用してセッションを初期化する必要があります。

import org.apache.spark.sql.{ SparkSession }
val spark = SparkSession
  .builder()
  .master("local")
  .getOrCreate()

データセットの読み取り read-scala-dataset

Scala では、 clientContext Platform の値を取得して返すために、 var userToken. 以下の Scala の例では、 clientContext は、データセットの読み取りに必要なすべての必須値を取得して返すために使用されます。

import org.apache.spark.sql.{Dataset, SparkSession}
import com.adobe.platform.token.ClientContext
val spark = SparkSession.builder().master("local").config("spark.sql.warehouse.dir", "/").getOrCreate()

val clientContext = ClientContext.getClientContext()
val df1 = spark.read.format("com.adobe.platform.query")
  .option("user-token", clientContext.getUserToken())
  .option("ims-org", clientContext.getOrgId())
  .option("api-key", clientContext.getApiKey())
  .option("service-token", clientContext.getServiceToken())
  .option("sandbox-name", clientContext.getSandboxName())
  .option("mode", "batch")
  .option("dataset-id", "5e68141134492718af974844")
  .load()

df1.printSchema()
df1.show(10)

次のメソッドを使用して、JupyterLab buy で上記の例を自動生成できます。

JupyterLab の左側のナビゲーションで、「データアイコン」タブ（下でハイライト表示）を選択します。 データセット ​ディレクトリと​ スキーマ ​ディレクトリが表示されます。 「データセット」を選択して右クリックし、使用するデータセットのドロップダウンメニューから「ノートブックのデータを調査」オプションを選択します。ノートブックの下部に、実行可能なコードエントリが表示されます。
および

データセットへの書き込み scala-write-dataset

Scala では、 clientContext Platform の値を取得して返すために、 var userToken. 以下の Scala の例では、 clientContext は、データセットへの書き込みに必要なすべての値を定義して返すために使用されます。

import org.apache.spark.sql.{Dataset, SparkSession}
import com.adobe.platform.token.ClientContext
val spark = SparkSession.builder().master("local").config("spark.sql.warehouse.dir", "/").getOrCreate()

val clientContext = ClientContext.getClientContext()
df1.write.format("com.adobe.platform.query")
  .option("user-token", clientContext.getUserToken())
  .option("service-token", clientContext.getServiceToken())
  .option("ims-org", clientContext.getOrgId())
  .option("api-key", clientContext.getApiKey())
  .option("sandbox-name", clientContext.getSandboxName())
  .option("mode", "batch")
  .option("dataset-id", "5e68141134492718af974844")
  .save()

ローカルデータフレームの作成 scala-create-dataframe

Scala を使用してローカルデータフレームを作成するには、SQL クエリが必要です。 以下に例を示します。

sparkdf.createOrReplaceTempView("sparkdf")

val localdf = spark.sql("SELECT * FROM sparkdf LIMIT 1)

フィルター ExperienceEvent データ scala-experienceevent

へのアクセスとフィルタリング ExperienceEvent Scala ノートブックのデータセットでは、データセット ID ({DATASET_ID})、組織の IMS ID、および特定の時間範囲を定義するフィルタールールが含まれます。 時間範囲のフィルタリングは、spark.sql() 関数を使用して定義します。関数パラメータは SQL クエリ文字列です。

次のセルでは、 ExperienceEvent 2019 年 1 月 1 日から 2019 年 12 月 31 日の終わりまでの間にのみ存在するデータセット。

// Spark (Spark 2.4)

// Turn off extra logging
import org.apache.log4j.{Level, Logger}
Logger.getLogger("org").setLevel(Level.OFF)
Logger.getLogger("com").setLevel(Level.OFF)

import org.apache.spark.sql.{Dataset, SparkSession}
val spark = org.apache.spark.sql.SparkSession.builder().appName("Notebook")
  .master("local")
  .getOrCreate()

// Stage Exploratory
val dataSetId: String = "{DATASET_ID}"
val orgId: String = sys.env("IMS_ORG_ID")
val clientId: String = sys.env("PYDASDK_IMS_CLIENT_ID")
val userToken: String = sys.env("PYDASDK_IMS_USER_TOKEN")
val serviceToken: String = sys.env("PYDASDK_IMS_SERVICE_TOKEN")
val mode: String = "batch"

var df = spark.read.format("com.adobe.platform.query")
  .option("user-token", userToken)
  .option("ims-org", orgId)
  .option("api-key", clientId)
  .option("mode", mode)
  .option("dataset-id", dataSetId)
  .option("service-token", serviceToken)
  .load()
df.createOrReplaceTempView("event")
val timedf = spark.sql("""
    SELECT *
    FROM event
    WHERE timestamp > CAST('2019-01-01 00:00:00.0' AS TIMESTAMP)
    AND timestamp < CAST('2019-12-31 23:59:59.9' AS TIMESTAMP)
""")
timedf.show()

次の手順

このドキュメントでは、JupyterLab ノートブックを使用したデータセットへのアクセスに関する一般的なガイドラインを説明しました。 データセットのクエリの詳細な例については、 JupyterLab ノートブックのクエリサービス ドキュメント。 データセットの調査と視覚化の方法の詳細については、 ノートブックを使用したデータの分析.

のオプションの SQL フラグ Query Service optional-sql-flags-for-query-service

次の表に、 Query Service.