昆仑数据库 MySQL 连接协议简介

发布时间:2023-02-02 08:30

昆仑数据库的计算节点基于 PostgreSQL 研发,因而直接可以支持PostgreSQL 的连接协议,所以使用 JDBC、ODBC 等通用的数据库连接协议以及使用各类编程语言的 PostgreSQL 专有的连接库的软件都可以连接到昆仑数据库集群并且正常工作。

为了让原本使用 MySQL 的应用程序可以不需要修改也不需要重新编译就能连接并且正常使用昆仑数据库,我们开发了昆仑数据库的 MySQL 连接协议,本文对此协议实现做一个简介。

总的来说,对于 KunlunBase 来说,连接协议就是客户端与 KunlunBase 服务器通信的管道,MySQL 和 PostgreSQL 协议就是两种形状不同的管道,而其中传输的 SQL 语句和查询结果则本质上是相同的。

也就是说 KunlunBase 支持的任何 SQL 语法和功能都可以在 MySQL 和PostgreSQL 这两种连接协议中的任何一种连接中传输到服务器集群中正常执行并收到其结果。

例如可以在 MySQL 连接中发送 PostgreSQL 私有语法 SQL 或者标准 SQL 语句,包括 prepared statement 语法、存储过程语法、DDL语法等,并且得到遵循MySQL协议的结果,从而可以使用 MySQL 客户端库完成结果读取;也可以 在PostgreSQL 连接中发送 KunlunBase 支持的任何 MySQL 私有语法(例如prepared statement、DML等)的 SQL语句或者标准 SQL 语句,并且得到遵循 PostgreSQL 的结果,从而可以使用 PostgreSQL 客户端库完成结果读取。

昆仑数据库MySQL协议支持的功能

昆仑数据库MySQL协议支持所有常用功能,包括文本和二进制协议,连接验证(只支持mysql_native_password),数据压缩,prepared statement,字符集,错误处理,SSL连接等。

一个Kunlun-server(计算节点)同时监听2个TCP端口 --- PostgreSQL协议的端口(默认5432)和MySQL协议的端口(默认5306),都可以通过配置文件自定义配置。

MySQL 和 PostgreSQL 客户端使用统一的用户名和密码连接 Kunlun-server,不论使用哪一种连接协议,Kunlun-server收到TCP连接请求后,会启动本端口的服务端协议(即 PostgreSQL 或者 MySQL)处理模块,完成连接验证,建立起有效的数据库连接。

后续在这两类连接中用户可以发送的 SQL 语句完全相同,与协议无关。

用户可以在任何一类连接中发送标准 SQL 语句,或者 PostgreSQL 或者MySQL 私有语法的 SQL 语句给昆仑数据库并且获得结果。

账号和访问控制

用户通过 Kunlun-server 的 PostgreSQL 或者 MySQL 连接发送 create user 语句建立用户账户,这里的 create user 语法(以及任何其他 DDL 语法)必须是 PostgreSQL 的语法。

DBA 通过在 pg_hba.conf 配置文件中建立访问控制规则,来可选地定义某些用户账号必须来自特定的IP或者域名,或者某个账户只能访问某些 database等访问控制规则。

关于在pg_hba.conf配置访问控制规则,详见PostgreSQL的文档。

错误处理

昆仑数据库 MySQ L协议会自动把 PostgreSQL 的错误号被映射到对应的MySQL 错误号;MySQL 协议运行期间返回的错误则使用与 MySQL 的server 端协议实现完全相同的错误号。

因此应用程序原本处理 MySQL 错误的代码逻辑不需要任何修改就可以按照预期工作。

JDBC 等数据库客户端 API 库基于异常类树进行错误处理,每一个异常类型绑定若干个 MySQL 错误号,因此只要应用程序代码实现了异常捕捉,也可以正确地捕获昆仑数据库的MySQL连接返回的错误异常。

错误描述文本使用 PostgreSQL 的错误字符串,而不是 MySQL 错误号对应的文本。

这通常不会成为问题,因为根据 MySQL 的文档,虽然错误号码在所有MySQL版本中不变,但是错误描述并不承诺不变,所以应用程序本来也不应该基于错误字符串的内容匹配来实现其功能逻辑。

另外,KunlunBase 支持 MySQL 的SHOW WARNINGS和SHOW ERRORS语句,并且其用法和效果与 MySQL 的相同语句完全相同。

字符集

MySQL客户端可以按照其标准方式指定字符集,这个字符集如果昆仑数据库不支持则连接失败报错。

PostgreSQL默认支持丰富的字符集,它与MySQL支持的字符集大部分是重合的,所有常见字符集两者都支持,包括所有中文、日韩字符集以及主要欧洲(西中东欧)各语言字符集。

MySQL客户端发送到昆仑数据库的任何字符串,都会先转换为当前数据库的字符集再使用;返回给MySQL客户端的任何字符串都会先从当前数据库的字符集转回MySQL客户端字符集再发送。

不支持MySQL的set client/connection/server_character_set/collation
,但是支持SET NAMES 语法。

数据压缩

支持使用zlib和zstd在传输数据包之前压缩。

昆仑数据库MySQL连接协议不支持的MySQL功能

只支持mysql_native_password 一种认证方法,不支持其他认证方法或者外部认证插件。这对于自mysql-4.1以来的各个版本的MySQL客户端都是没问题的,它们都可以正确地连接上来并正常工作。

所有的密码管理功能:

包括密码过期,密码验证,双密码,密码重用限制,多次密码错误导致账户临时锁定等。所有此类功能都使用PostgreSQL原有的功能。

账户管理的不常用功能:

代理用户(proxy user),未知、匿名用户、账户锁定,账户资源限制。

使用text协议发送prepared statement:

生产系统中应该使用binary连接执行prepared statement,这才是其设计初衷,也是昆仑数据库的MySQL协议支持的。

text协议执行prepare/execute命令无论对于MySQL还是PostgreSQL都仅仅是用于开发和调试,而昆仑数据库并不支持mysql的prepare/execute语法,并且没有MySQL的用户自定义变量这个功能,也就无法按照mysql prepare statement的方式绑定参数。

init_connect 语句初始化连接状态:

该功能知道的用户很少,而且在连接 初始化好之前执行SQL语句本来也不符合数据库系统的设计原理,因此在昆仑数据库中不支持。

session state tracking:

因为MySQL维护的那些status变量,在昆仑数据库的计算节点中并不存在。因此也不支持mysql_session_track_xxx系列客户端API函数。

但是同时,昆仑数据库继承了PostgreSQL的pgstat 基础设施,pgstat可以收集非常丰富的系统运行时统计信息,MySQL和PostgreSQL客户端都可以通过查询pgstat的一系列视图和函数,可以得到这些信息。

详见 PostgreSQL 的 pgstat 文档。

昆仑数据库MySQL服务端协议与MySQL服务端协议不同的功能

连接的目标数据库

当MySQL客户端连接昆仑数据库计算节点时没有指定数据库名称,那么默认连接到 “postgres” 数据库,这一点与MySQL的行为是不同的 --- MySQL在这种情况下不指定当前数据库。

同时,MySQL支持使用use db语句或者使用 mysql_select_db()客户端API来切换当前数据库,但是postgres并不允许在一个活跃连接中切换数据库,详见下文。

数据输出格式

对于所有数据类型,昆仑数据库都使用 PostgreSQL 的输出函数来生成文本协议下的查询结果,这意味着decimal/numeric, float,real(double), date, timestamp, timestamptz, time类型的输出结果在个别情况下可能会与 MySQL 的输出的字段值文本表示有细微差别 --- 由于数值类型是因为序列化的浮点数精度差异;日期时间类型是因为locale设置或者时区信息,例如 PostgreSQL 的timestamptz类型字段值总是带有时区值,例如”2022-5-30 21:08:35+08”。

如果使用 binary 协议(也就是使用prepared statement,bind参数和结果),则没有这些差别。

昆仑数据库支持的MySQL命令

在昆仑数据库的MySQL连接中,MySQL客户端软件除了可以发送SQL语句(即COM_QUERY命令)之外,还可以发送若干种其他命令,具体包括:

改变连接状态的命令及其对应的MySQL客户端API:

COM_SET_OPTION:mysql_set_server_option()
COM_RESET_CONNECTION:
mysql_reset_connection()
COM_PING:mysql_ping()
COM_QUIT:
mysql_close()

Prepared statement 相关的命令:

COM_STMT_EXECUTE
COM_STMT_FETCH
COM_STMT_PREPARE
COM_STMT_SEND_LONG_DATA
COM_STMT_RESET
COM_STMT_CLOSE

昆仑数据库不支持的MySQL命令

昆仑数据库不支持的 MySQL 命令包括所有deprecated(过时的,即将在未来版本去除)的命令,replication和 clone 相关的命令,以及mysql server内部使用的(客户端不可以使用的)命令。

如果应用程序调用 MySQL 客户端 API 执行下列不支持的命令,则昆仑数据库计算节点会返回标准的 MySQL 错误1047(不支持的命令)。

昆仑数据库不支持的 MySQL 命令如下:

  • COM_PROCESS_KILL:mysql_kill() 已过时,使用kill connection/query,不过昆仑数据库目前不支持此命令
  • COM_PROCESS_INFO:
  • mysql_list_processes() 已过时,使用show
  • processlist,昆仑数据库目前已支持此命令
  • COM_BINLOG_DUMP_GTID:replication命令,备节点IO线程连接主节点时使用
  • COM_BINLOG_DUMP:replication命令,备节点IO线程连接主节点时使用
  • COM_REFRESH:更新用户账户和访问控制信息。昆仑数据库不需要用户显示地刷新缓存,而是完全自动的探测到任何元数据表发生变化并且自动更新缓存的对应信息。不支持此命令或者对应的mysql_reload(), mysql_refresh()函数
  • COM_STATISTICS:昆仑数据库中统计信息使用pgstat的设施获得,不支持mysql_stat() API 函数或者mysqladmin获取统计信息
  • COM_DEBUG:mysql_debug() 函数,仅在开发人员调试时使用,生产系统中无法使用。
  • COM_REGISTER_SLAVE:replication命令,备节点IO线程连接主节点时使用
  • COM_CLONE:clone命令
  • COM_FIELD_LIST:mysql_list_fields()已过时,使用show columns,不过昆仑数据库目前不支持此命令,用户需要查询pg_attribute等元数据表获得列的元数据
  • COM_SLEEP:不是客户端发送的,内部使用
  • COM_CONNECT:连接建立后就不可以发送此命令
  • COM_TIME:不是客户端发送的,内部使用
  • COM_DELAYED_INSERT:在mysql中已去除
  • COM_END:不是客户端发送的,内部使用
  • 不支持mysql_set_local_infile_xxx()系列函数

ItVuer - 免责声明 - 关于我们 - 联系我们

本网站信息来源于互联网,如有侵权请联系:561261067@qq.com

桂ICP备16001015号