Spark SQL使用get_json_object函数解析json

发布时间:2022-08-18 18:11

get_json_object(string json_string, string path)

说明:
第一个参数填写json对象变量,第二个参数使用$表示json变量标识,然后用 . 或 [] 读取对象或数组;如果输入的json字符串无效,那么返回NULL。

举例:
数据准备如下:

Spark SQL使用get_json_object函数解析json_第1张图片
使用实例:

with data_table as (select  "{
  \"timestamp\": \"2021-03-23T06:45:11.460Z\",
  \"metadata\": {
    \"beat\": \"filebeat\",
    \"type\": \"doc\",
    \"version\": \"6.6.1\",
    \"topic\": \"gateway_track_log\"
  },
  \"service_port\": \"1111\",
  \"service_name\": \"gateway\",
  \"service_ip\": [{\"ip_a\":\"100.100.89.09\"},{\"ip_b\":\"100.100.89.10\"}],
  \"center_name\": \"open\"
}" as col) 
select get_json_object(col,'$.timestamp') as `timestamp`,
       get_json_object(col,'$.metadata.type') as metadata_type,
       get_json_object(col,'$.service_ip[0].ip_a') as service_ip_a 
  from data_table;

结果如下:

Spark SQL使用get_json_object函数解析json_第2张图片

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号