我是靠谱客的博主 爱笑铃铛,这篇文章主要介绍airflow报错mysql连接超时已断开问题解决,现在分享给大家,希望可以做个参考。

问题现象就是:

使用mysql作为airflow的后台数据库存储。我们已经在airflow.cfg配置文件中设置了sql_alchemy_pool_recycle=1800,但是没有起作用,在mysql那边默认8小时以后,没有请求来的连接会在服务端被断开,但是airflow的worker还是在使用就会导致报错:

MySQLdb._exceptions.OperationalError: (4031, 'The client was disconnected by the server because of inactivity. See wait_timeout and interactive_timeout for configuring this behavior.')

其实该配置是有用的,但是是对airflow自己写的代码里使用的sqlalchemy有用,对里面使用的celery组件无用,该配置不在这里,需要去airflow.cfg中配置celery_config_options选项,该值默认是

celery_config_options = airflow.config_templates.default_celery.DEFAULT_CELERY_CONFIG。

我们要做的就是去airflow的安装目录下,到目录airflow/config_templates/default_celery.py文件拷贝出来到dags目录下,然后增加配置database_engine_options到DEFAULT_CELERY_CONFIG里,如下:

watermark,type_ZHJvaWRzYW5zZmFsbGJhY2s,shadow_50,text_Q1NETiBAc2lsZW50Y3Q=,size_20,color_FFFFFF,t_70,g_se,x_16

然后修改配置celery_config_options = default_celery.DEFAULT_CELERY_CONFIG即可

 

最后

以上就是爱笑铃铛最近收集整理的关于airflow报错mysql连接超时已断开问题解决的全部内容,更多相关airflow报错mysql连接超时已断开问题解决内容请搜索靠谱客的其他文章。

本图文内容来源于网友提供,作为学习参考使用,或来自网络收集整理,版权属于原作者所有。
点赞(94)

评论列表共有 0 条评论

立即
投稿
返回
顶部