MySQL MaxCompute与AnalyticDB实现数据处理与转换过程详解

吾爱主题阅读：169 2022-12-27 20:44:00 评论：0

1、行转列函数

odps 中行转列函数 wm_concat，将列信息转成行显示，可指定分隔符。

语法格式

wm_concat(separator, string) ，其中separator为分隔符，支持字符串去重，即distinct.

1 2 3 4 select wm_concat( '|' ,sku_id) from t_business_order_odps where create_time >= '2022-09-30 00:00:00' ;

ads 中行转列函数 group_concat，即将列信息转成行显示，默认逗号分隔。如在mysql中查询表的所有列名。

1 2 3 4 select group_concat(COLUMN_NAME) from information_schema.COLUMNS where TABLE_NAME = 't_business_order' ;

2、判空函数

odps 中判空函数 coalesce ，如若无运费，则显示为0。

1 2 3 4 select coalesce (freight_amount,0) from t_business_order_odps where create_time >= '2022-09-30 00:00:00' ;

odps 中判断函数 decode ，如若无运费，则显示为0。

语法格式

decode(expression, search, result[, search, result]…[, default])

表示：三元运算符，即实现IF-THEN-ELSE分支选择的功能

1 2 3 4 select decode(order_amount,freight_amount,0) from t_business_order_odps where create_time >= '2022-09-30 00:00:00' ;

ads 中判空函数 ifnull，如若无运费，则显示为0。

1 2 3 4 select ifnull(freight_amount,0) from t_business_order where create_time >= '2022-09-30 00:00:00' ;

3、时间函数

odps 中时间字段类型为 datetime，获取当前时间函数为 getdate()。

1 2 3 4 select coalesce (freight_amount,0),getdate() as etl_time from t_business_order_odps where create_time >= '2022-09-30 00:00:00' ;

ads 中时间字段类型为 timestamp，获取当前时间函数为 now()。

1 2 3 4 select ifnull(freight_amount,0),now() as etl_time from t_business_order where create_time >= '2022-09-30 00:00:00' ;

4、建表语句

odps 中字符串字段类型为 string，时间字段类型为 datetime。

1 2 3 4 5 6 7 8 9 10 11 CREATE TABLE t_business_order_odps ( prov_name string COMMENT '省名称' , city_name string COMMENT '地市名' , cty_name string COMMENT '区县名称' , order_no string COMMENT '订单号' , order_amount bigint COMMENT '运费' , freight bigint COMMENT '运费' , insert_month bigint COMMENT '插入月份' , created_time datetime COMMENT '创建时间' ) COMMENT '业务订单主表;

ads 中字符串字段类型为 varchar，时间字段类型为 timestamp。

1 2 3 4 5 6 7 8 9 10 11 12 13 14 CREATE TABLE t_business_orde ( prov_name varchar COMMENT '省名称' , city_name varchar COMMENT '地市名' , cty_name varchar COMMENT '区县名称' , order_no varchar COMMENT '订单号' , order_amount bigint COMMENT '运费' , freight bigint COMMENT '运费' , insert_month bigint COMMENT '插入月份' , created_time timestamp COMMENT '创建时间' ) PARTITION BY HASH KEY (order_no) PARTITION NUM 128 TABLEGROUP ads_sc_rpt OPTIONS (UPDATETYPE= 'batch' ) COMMENT '业务订单主表' ;