Spark Funciones SQL

Puede utilizar varias funciones SQL de Spark integradas para ampliar la funcionalidad SQL con Adobe Experience Platform Query Service. Este documento enumera las funciones SQL de Spark que admite el servicio de consultas.

Para obtener información más detallada sobre las funciones, incluida su sintaxis, uso y ejemplos, lea la Documentación de la función Spark SQL.

NOTE
No se admiten todas las funciones de la documentación externa.

Operadores y funciones matemáticos y estadísticos math

Operador/Función
Descripción
%
Devuelve el resto de los dos números
*
Multiplica los dos números
+
Suma los dos números
-
Resta los dos números
/
Divide los dos números
abs
Devuelve el valor absoluto de la entrada
acos
Devuelve el valor del coseno inverso
approx_count_distinct
Devuelve la cardinalidad estimada por HyperLogLog++
approx_percentile
Devuelve el valor de percentil aproximado en un porcentaje determinado
asin
Devuelve el valor del seno inverso
atan
Devuelve el valor de tangente inverso
atan2
Devuelve el ángulo entre el plano positivo del eje x y los puntos dados por las coordenadas
avg
Devuelve el valor promedio
cbrt
Devuelve la raíz de cubo
ceil o ceiling
Devuelve el menor entero igual o menor al valor introducido
conv
Convertir de una base a otra
corr
Devuelve el coeficiente de Pearson entre los números
cos
Devuelve el valor del coseno
cosh
Devuelve el valor del coseno hiperbólico
cot
Devuelve el valor de la cotangente
dense_rank
Devuelve la clasificación de un valor en un grupo de valores
e
Devuelve el número de Euler
exp
Devuelve e a la potencia del valor
expm1
Devuelve e a la potencia del valor menos 1
factorial
Devuelve el factorial del valor
floor
Devuelve el mayor entero igual o menor al valor
greatest
Devuelve el mayor valor de todos los parámetros
hypot
Devuelve la hipotenusa de los dos valores dados
kurtosis
Devuelve el valor de curtosis del grupo
least
Devuelve el menor valor de todos los parámetros
ln
Devuelve el logaritmo natural del valor
log
Devuelve el logaritmo del valor
log10
Devuelve el logaritmo en base 10 del valor
log1p
Devuelve el logaritmo del valor más 1
log2
Devuelve el logaritmo, en base 2, del valor
max
Devuelve el valor máximo de la expresión
mean
Devuelve la media calculada a partir de los valores
min
Devuelve el valor mínimo de la expresión
monotonically_increasing_id
Devuelve ID que aumentan monotónicamente
negative
Devuelve el valor negado
percent_rank
Devuelve la clasificación porcentual de un valor
percentile
Devuelve el percentil exacto en un porcentaje determinado
percentile_approx
Devuelve el percentil aproximado en un porcentaje determinado
pi
Devuelve pi
pmod
Devuelve el módulo positivo entre dos valores
positive
Devuelve el valor positivo
pow, power
Devuelve el primer valor a la potencia del segundo valor
radians
Convierte el valor en radianes
rand
Devuelve un número aleatorio del 0 al 1
randn
Devuelve un valor aleatorio
rint
Devuelve el valor doble más cercano
round
Devuelve el valor redondeado más cercano
sign, signum
Devuelve el signo del número
sin
Devuelve el seno del valor
sinh
Devuelve el seno hiperbólico del valor
sqrt
Devuelve la raíz cuadrada del valor
stddev
Devuelve la desviación estándar del valor
sttdev_pop
Devuelve la desviación estándar de la población del valor
stddev_samp
Devuelve la desviación estándar de muestra del valor
sum
Devuelve la suma de los valores
tan
Devuelve la tangente del valor
tanh
Devuelve la tangente hiperbólica del valor
var_pop
Devuelve la varianza de población calculada
var_samp, variance
Devuelve la varianza de muestra calculada

Operadores lógicos y funciones logical-operators

Operador/Función
Descripción
! o not
No lógico
<
Menor que
<=
Menor o igual que
=
Igual a
>
Mayor que
>=
Mayor o igual que
^
Exclusivo o bit a bit
|
OR bit a bit
~
No bit a bit
arrays_overlap
Devuelve los elementos comunes
assert_true
Afirma si la expresión es verdadera
if
Si la expresión se evalúa como verdadera, devuelva la segunda expresión. De lo contrario, devuelva la tercera expresión.
ifnull
Si la expresión es nula, devuelve la segunda expresión. De lo contrario, devuelve la primera expresión.
in
Devuelve true si la primera expresión se encuentra en cualquiera de las expresiones siguientes.
isnan
Devuelve verdadero si el valor no es un número
isnotnull
Devuelve verdadero si el valor no es nulo
isnull
Devuelve verdadero si el valor es nulo
nanvl
Devuelve la primera expresión si no es un número; en caso contrario, devuelve la segunda expresión
or
Lógico o
when
Cuándo se puede utilizar para crear condiciones de rama para la comparación
xpath_boolean
Devuelve true si la expresión XPath se evalúa como true o si se encuentra un nodo coincidente

Funciones de fecha y hora datetime-functions

Función
Descripción
add_months
Agregar meses a la fecha
date_add
Añadir días a la fecha
date_format
Modificar formato de fecha
date_sub
Restar días de la fecha
date_trunc
Devuelve la fecha truncada a la unidad especificada
datediff
Devuelve la diferencia entre fechas en días
day, dayofmonth
Devuelve el día del mes
dayofweek
Devuelve el día de la semana (1-7)
dayofyear
Devuelve el día del año
from_unixtime
Devuelve la fecha en UNIX® hora
from_utc_timestamp
Devuelve la fecha en hora UTC
hour
Devuelve la hora de la entrada
last_day
Devuelve el último día del mes al que pertenece la fecha
minute
Devuelve el minuto de la entrada
month
Devuelve el mes de la entrada
months_between
Número de meses entre
next_day
Devuelve el primer día después de la entrada
quarter
Devuelve el trimestre de la entrada
second
Devuelve el segundo de la cadena
to_date
Convierte la cadena en una fecha. Nota: La cadena debe estar en el formato yyyy-mm-ddTHH24:MM:SS.
to_timestamp
Convierte la cadena en una marca de tiempo. Nota: La cadena debe estar en el formato yyyy-mm-ddTHH24:MM:SS.
to_unix_timestamp
Convierte la cadena en una marca de tiempo UNIX®
to_utc_timestamp
Convierte la cadena en una marca de tiempo UTC
trunc
Trunca la fecha
unix_timestamp
Devuelve la marca de tiempo UNIX®
weekday
Día de la semana (0-6)
weekofyear
Devuelve la semana del año de una fecha determinada
year
Devuelve el año de la cadena

Matrices arrays

Función
Descripción
array
Crea una matriz con los elementos dados
array_contains
Comprueba si la matriz contiene el valor
array_distinct
Quita los valores duplicados de la matriz
array_except
Devuelve una matriz de los elementos de la primera matriz, pero no la segunda
array_intersect
Devuelve la intersección de las dos matrices
array_join
Une dos conjuntos
array_max
Devuelve el valor máximo de la matriz
array_min
Devuelve el valor mínimo de la matriz
array_position
Devuelve la posición basada en 1 del elemento
array_remove
Quita todos los elementos iguales al elemento
array_repeat
Crea una matriz que contiene el valor contabilizado veces
array_sort
Ordena la matriz
array_union
Une la matriz, sin duplicados
arrays_zip
Combina los valores de matrices dadas con los valores de la colección original en un índice determinado
cardinality
Devuelve el tamaño de la matriz
element_at
Devolver el elemento en la posición
explode
Separar elementos de una matriz en varias filas, excluyendo nulo
explode_outer
Separe los elementos de la matriz en varias filas, incluido el valor nulo
find_in_set
Devuelve la posición basada en 1 de la matriz
flatten
Acople una matriz de matrices
inline
Separar matriz de estructuras en una tabla, excluyendo nulo
inline_outer
Separe la matriz de estructuras en una tabla, incluido el cero
posexplode
Separar elementos de una matriz en varias filas con posiciones, excluyendo nulo
reverse
Invertir elementos de la matriz
shuffle
Devuelve una permutación aleatoria de la matriz
slice
Subconjuntos de una matriz
sort_array
Ordenar una matriz, dado un orden
zip_with
Combina las dos matrices en una sola matriz, antes de aplicar una función

Funciones de conversión de tipos de datos datatype-casting

Función
Descripción
bigint
Cambie el tipo de datos a bigint
binary
Cambiar el tipo de datos a binario
boolean
Cambiar el tipo de datos a booleano
type
Cambiar el tipo de datos al tipo especificado
date
Cambiar el tipo de datos a fecha
decimal
Cambiar el tipo de datos a decimal
double
Cambiar el tipo de datos a doble
float
Cambiar el tipo de datos a flotante
int
Cambie el tipo de datos a int
smallint
Cambie el tipo de datos a smallint
str_to_map
Creación de un mapa a partir de una cadena
string
Cambiar el tipo de datos a cadena
struct
Creación de una estructura
tinyint
Cambiar el tipo de datos a tinyint

Funciones de conversión y formato conversion

Función
Descripción
ascii
Devuelve el valor numérico (ASCII)
base64
Cambie el argumento a una cadena base64
bin
Cambie el argumento a un valor binario
bit_length
Devolver la longitud de bits
char, chr
Devuelve el carácter ASCII
char_length, character_length
Devuelve la longitud de la cadena
crc32
Devuelve el valor de comprobación de redundancia cíclica
degrees
Convertir radianes a grados
format_number
Cambiar el formato del número
from_json, get_json_object
Obtener datos de JSON
hash
Devolver el valor hash
hex
Convertir el argumento en un valor hexadecimal
initcap
Cambia la cadena para que sea un caso de título
lcase, lower
Cambia la cadena para que esté en minúscula
lpad
Rellena el lado izquierdo de una cadena
map
Creación de un mapa
map_from_arrays
Creación de un mapa a partir de una matriz
map_from_entries
Creación de un mapa a partir de una matriz de estructuras
md5
Devuelve el valor md5
rpad
Rellena el lado derecho de una cadena
rtrim
Elimina los espacios finales
sha, sha1
Devuelve el valor SHA1
sha2
Devuelve el valor SHA2
soundex
Devolver el código soundex
stack
Separe los valores en filas
substr, substring
Devuelve la subcadena
to_json
Devuelve una cadena JSON
translate
Reemplazar valores dentro de una cadena
trim
Eliminar caracteres iniciales y finales
ucase, upper
Cambie la cadena para que esté en mayúsculas
unbase64
Convertir la cadena base64 en binaria
unhex
Convertir el hexadecimal en binario
uuid
Devolver un UUID

Evaluación de datos data-evaluation

Función
Descripción
coalesce
Devolver el primer argumento no nulo
collect_list
Devuelve una lista de elementos no únicos
collect_set
Devuelve un conjunto de elementos únicos
concat
Concatenación
concat_ws
Concatenación con separador
count
Devuelve el recuento total de filas
decode
Descodificar mediante un conjunto de caracteres
elt
Devuelva el nla entrada
encode
Codificar con un conjunto de caracteres
first, first_value
Devuelve el primer valor
grouping
Indica si una columna está agrupada
grouping_id
Devuelve el nivel de agrupación
instr
Devuelve un índice de ocurrencia de caracteres basado en 1
json_tuple
Devuelve una tupla desde una entrada JSON
lag, lead
Devuelve el valor antes del desplazamiento
last, last_value
Devuelve el último valor
left
Devuelve el primero n caracteres
length
Devuelve la longitud de la cadena
levenshtein
Devuelve la distancia entre cadenas de Levenshtein
locate, position
Devuelve la posición de la primera aparición de una subcadena
map_concat
Concatenación de un mapa
map_keys
Devolver las claves de un mapa
map_values
Devolver los valores de un mapa
ntile
Dividir filas en particiones
nullif
Devuelve nulo si es verdadero
nvl
Devuelve el valor si es nulo
nvl2
Devuelve un valor si no es nulo
parse_url
Extrae parte de una dirección URL
rank
Calcula la clasificación de un valor
regexp_extract
Extrae algo que coincide con la regex
regex_replace
Reemplaza algo que coincide con la regex
repeat
Devuelve una cadena que se repite
replace
Reemplazar todas las instancias de una cadena
rollup
Creación de un resumen multidimensional
row_number
Asigna un número de fila único
schema_of_json
Devuelve el esquema del JSON
sentences
Divide una cadena en una matriz de palabras
sequence
Genera una matriz de elementos
shiftleft
Desplazamiento hacia la izquierda bit firmado
shiftright
Desplazamiento hacia la derecha bit firmado
shiftrightunsigned
Desplazamiento hacia la derecha bit sin signo
size
Devuelve el tamaño de la matriz
space
Devuelve una cadena con n espacios
split
Cadena dividida
substring_index
Devolver índice de subcadena
window
Ventana
xpath
Analizar nodos XML
xpath_double, xpath_number
Analizar nodos XML para el doble
xpath_float
Analizar nodos XML para float
xpath_int
Analizar nodos XML para enteros
xpath_long
Analizar nodos XML durante mucho tiempo
xpath_short
Analizar nodos XML para entero corto
xpath_string
Analizar nodos XML para la cadena

Información actual current-information

Función
Descripción
current_database
Devuelve la base de datos actual
current_date
Devuelve fecha actual
current_timestamp, now
Devuelve la marca de tiempo actual

Funciones de orden superior higher-order

Función
Descripción
transform
Transformación de elementos en una matriz
exists
Comprobar si el elemento existe
filter
Filtrado de la matriz de entrada
aggregate
Aplicar un operador binario a todos los elementos
recommendation-more-help
ccf2b369-4031-483f-af63-a93b5ae5e3fb