扫二维码与项目经理沟通
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流
前几天看到姜老师的旧文 用 VSCode 编译和调试 MySQL,每个 DBA 都应 get 的小技能[1] , 文末留了一个思考题,如何修改源码,自定义版本,使得 select version() 输出自定义内容
创新互联专注于兴宁企业网站建设,成都响应式网站建设,商城网站定制开发。兴宁网站建设公司,为兴宁等地区提供建站服务。全流程按需策划设计,专业设计,全程项目跟踪,创新互联专业和态度为您提供的服务
调试过程参考 macOS VSCode 编译调试 MySQL 5.7[2]
内部 Item 对象参考 从SQL语句到MySQL内部对象[3]
源码面前没有秘密,建义对 DB 感兴趣的尝试 debug 调试。本文环境为 mac + vscode + lldb
vscode 插件:
mysql 源码:
补丁: MySQL = 8.0.21 需要对 cmake/mysql_version.cmake 文件打补丁 (没有严格测试所有版本)
创建 cmake-build-debug 目录,后续 mysql 编译结果,以及启动后生成的文件都在这里
在 mysql 工程目录下面创建 .vscode/settings.json 文件
内容没啥好说的,都是指定目录及 boost 配置,其中 WITH_DEBUG 打开 debug 模式,会在 /tmp/debug.trace 生成 debug 信息
View - Command Palette - CMake: Configure 执行后生成 cmake 配置
View - Command Palette - CMake: Build 编译生成最终 mysql 相关命令
发现老版本编译很麻烦,各种报错,mysql 5.7 代码量远超过 5.5, 只能硬着头皮看 5.7
首先初始化 my.cnf 配置,简单的就可以,共它均默认
初始化数据文件,非安全模式,调试用
由于用 vscode 接管 mysql, 所以需要配置 .vscode/launch.json
然后点击 run and debug mysqld
mysql 启动,看到输出日志无异常,此时可以用 mysql-client 连接
首先在 sql_parser.cc:5435 处打断点
mysql_parse 是 sql 处理的入口,至于 tcp connection 连接先可以忽略
执行上述 sql 自动跳转到断点处, Step Into , Step Over , Step Out 这些调试熟悉下即可
接下来分别调用主要函数: mysql_execute_command , execute_sqlcom_select , handle_query , select-join-exec() , Query_result_send::send_data , Item::send , Item_string:val_str , Protocol_text::store , net_send_ok
启动 mysql 时 init_common_variables 会初始化一堆变量,其中会调用 set_server_version 生成版本信息,修改这个就可以
看好条件编译的是哪块,修改即可, 重新 CMake: Build 编译再运行
这里不做过深分析,简单讲
sql_yacc.cc 函数 PTI_function_call_generic_ident_sys 解析 sql, 识别出 version() 是一个函数调用
find_native_function_builder 查找 hash 表,找到对应 version 函数注册的单例工厂函数
mysql 启动时调用 item_create_init 将这些函数 builder 注册到 hash 表 native_functions_hash
MySQL 代码太庞大,5.1 大约 100w 行,5.5 130w 行,5.7 以后 330w 行,只能挑重点读源码。最近很多群里的人在背八股,没必要,有那时间学着调试下源码,读读多好
原文出处:
mysql调试存储过程具体方法:
在你的存储过程中加入如下语句:
SELECT 变量1,变量2;
然后用mysql自带的cmd程序进入mysql 下。
call 你的存储过程名(输入参数1,@输出参数);(注:这里帮助下新同学,如果你的存储过程有输出变量,那么在这里只需要加 @ 然后跟任意变量名即可);
即可发现你的变量值被打印到了cmd下
准备工作:
安装一个编译器,推荐Microsoft visual studio 2008吧
另外需要装:
GNU Bison for Windows :
CMake 2.6.0 or later :
开始编译:
这里以mysql-5.1.38的源码编译为例:
mysql-5.1.38的代码下载可以到mysql官方网站下载,具体怎么下载不在说明。
打开一个cmd窗口:
输入:
cscript //H:CScript
然后:
cd /path/mysql-5.1.38
win\configure WITH_INNOBASE_STORAGE_ENGINE __NT__
win\build-vs9.bat
到此我们将会创建一个mysql.sln 的工程文件,如果对想学习代码的朋友,到此即可以,然后可以用Microsoft visual studio 2008打开这个文件就可以查看相应的代码了。
如果需要调试或单步执行调试:
这里以mysqld项目为例:
打开项目 mysqld 的属性 点击 debugging
在mysqld的属性页设置命令参数(Command Arguments)为:–console。这样就可以用debug方式调试代码了。
同样对于其它项目的调试,也是这样处理,属性,添加命令行参数:–console。
对于想跟踪的项目可以执行build,然后可以在mysql-5.1.38/client/Debug下生成相应的执行文件。
简介:
大家好,我是xp,我又诈尸了
mvcc ,想必大家都不陌生,每个Java程序员都或多或少的了解过,不过不知道大家都是怎么学习的,是不是简单的百度一下呢?下面,我来带大家装个13,调试 mvcc 。咳,不是源码哈,但有那味了。
开卷开卷。
首先介绍一下 mvcc 的字面意思,全称: Multiversion Concurrency Control,翻译下来就是多版本并发控制技术。
脏读、 不可重复读 、幻读的概念就不多啰嗦了,mvcc具体的含义也不多啰嗦了,可以自行百度。 mvcc 解决了脏读、 不可重复读、部分幻读 ,包含了3个重要成分:
undo log作用:
在数据修改的时候,不仅记录了 redo log ,还记录了 undo log 。但是 不同于 redo log , undo log 是逻辑日志。简单理解成, delete的时候,undo log会出现一条insert,update的时候,undo log会出现一条旧数据, 用来事务失败之后的回滚。
3个隐式字段:
Read View:
好了,理论讲完了,让我们嗨起来。
嗨之前,有一个情况单独说一下:
可以看到,此时的trx_id非常大,这是因为此时是只读事务。对于只读事务, InnoDB 并不会分配 trx_id,只有发生dml才会分配。这样有2个好处:
当commit了之后,我们使用SHOW ENGINE INNODB STATUS查看:
可以看到,显示该事务并没有开始。
好,回到正轨,相信大家都知道, 视图可见性判断(不知道的先百度 mvcc ):
整体是这样的:
第一步我们以 38488 为开始值,把 name 更新成 111 ,并且 commit
第二步以 38490 把 name 更新成 222,333 ,但是不 commit
当 38490 第一次修改为 222 的时候,数据结构大致是这样的:
使用 SHOW ENGINE INNODB STATUS 侧面验证:
当 38490 第二次修改为 333 的时候,数据结构大致是这样的:
使用 SHOW ENGINE INNODB STATUS 侧面验证:
第三步以 38491 去查询,此时生成的 m_ids 应该是 [348490,38491]
使用 SHOW ENGINE INNODB STATUS 侧面验证:
此时 ReadView 的几个属性值为:
接下来我们来验证结论:
1:不用验证,当前事务修改的肯定自己可见
2: 38491查询id=1的记录,name为111
38488 348490,所以111可见
3:不用验证,38492是下个事务的id,还没生成呢,当前事务,肯定看不见下个事务修改的值
4:我们先把38491commit,把id为20的name更新成111
然后再开一个事务38496:
此时查id为20,是可见的
m_ids:[348490,38496],因为38491已经commit了,所以m_ids没有。此时的38491在m_ids之间,但是在m_ids里面找不到,所以可见。
好了,愉快的装13结束了,兄弟们,下次见。
解决方案:
因为 MySQL 5.6 初始化数据比较麻烦,不支持 mysqld 的 --initialize-insecure 选项。
所以不选用这种方式了。
第(2)和第(4)步可以参考 使用 CLion 调试 redis 。
编译成功输出:
击菜单栏【Build】=》【Install】进行安装。
安装成功输出:
初始化数据目录:
选择 mysqld configuration , 以 Debug 模式运行。
成功运行输出:
在 CLion 中,对 sql_parse.cc 中的 mysql_execute_command() 方法进行断点。
执行下面的语句连接上 mysql 服务。
在 mysql-client 中执行如下命令:
然后在 CLion 中即可发现已经被断点拦截,且可以发现 Statement class 中的 query_string 字段和 我们上面输入的命令 show databases 是一样。
至此,已经完成了 CLion 调试 MySQL 环境的搭建。
对于 mysqld ,可以通过设置 debug 系统变量在运行时更改 DBUG设置 。
此变量具有全局值和会话值:
该 debug_options 值是用 冒号( : )分隔 的字段的序列:
值中的每个字段都包含一个强制性标志字符。
我们使用的标志字符如下所示:
以 root 用户连接到 mysqld。
然后,在 mysql 中执行 select 语句,就可以在 CLion console 中观察到如下图所示输出。
由于在写MySQL日志订阅服务时候,需要确定在什么event之后保存position,所以就开始研究MySQL的源码,刚开始采用最原始的打印输出的方式去调试,然后每次改完编译运行,效率好低,让我很绝望,然后我花了些时间研究下怎么使用CLion Debug MySQL。
获取源码
git clone
编译安装初始化数据库
cd mysql-server
cmake \
-DCMAKE_INSTALL_PREFIX=/path/mysql/install \
-DMYSQL_DATADIR=/path/mysql/data \
-DSYSCONFDIR=/path/mysql/etc \
-DMYSQL_UNIX_ADDR=/path/mysql/mysql.sock \
-DWITH_DEBUG=1 \
-DDOWNLOAD_BOOST=1 -DWITH_BOOST=/path/mysql-server/ -DDOWNLOAD_BOOST_TIMEOUT=60000
make -j 4
make install -j 4
mysqld --initialize-insecure --user=root --datadir=/path/mysql/data
启动MySQL,测试下是否安装成功
/path/install/bin/mysqld --defaults-file=/path/mysql/etc/my.cnf
使用CLion新建工程并打开源码目录之后,设置CLion
CMake Options和你编译安装时的选项一致
-DCMAKE_INSTALL_PREFIX=/path/mysql/install
-DMYSQL_DATADIR=/path/mysql/data
-DSYSCONFDIR=/path/mysql/etc
-DMYSQL_UNIX_ADDR=/path/mysql/mysql.sock
-DWITH_DEBUG=1
然后在CLion里,Reload CMake Project
在Run/Debug列表里就可以看到很多选项了
找到mysqld配置下启动参数
mysqld --defaults-file=/path/mysql/etc/my.cnf
然后以Debug模式启动,看下成功的效果
我们在微信上24小时期待你的声音
解答本文疑问/技术咨询/运营咨询/技术建议/互联网交流