使用Shell脚本来组装“Lua配置模板文件”和“属性配置文件”并生成配置文件

淡淡回忆

　　【问题背景】
　　前几天，我们上线了“基于’Nginx + Lua‘实现的统一权限校验功能”。该功能需要Nginx守护线程定期地从MySQL加载“合作方数据”，我们直接在Lua文件里写死了MySQL等配置信息（硬编码），然后通过一个“中间配置文件”手动修改来针对不同的部署环境选择不同的数据源。
　　这里有个坑：当开发和运维都忘记修改这个“中间配置文件”时，部署到不同的环境指向的数据源确一样的，会导致验证失败错误。默认是指向线上数据源，当我们部署完线上之后，确认一切正常之后，就立马着手部署测试联调环境，结果都为了要修改这个“中间配置文件”（部署完成后，没有通过本地curl确认，其实这样可以减少犯错的机会！）。下午刚把所有相关的环境部署替换完成，结果晚上就有运营接收到客户（“挖财”）的API验证失败错误投诉，因为下午同样的调用还是正常的。
　　【线上问题紧急处理】
　　虽然，当时接到运营反馈后，leader结合下午的功能上线动作，很快就确认可能由于刚上线的“统一权限校验功能”，马上先回滚了测试联调环境的Nginx配置，保证客户可以联调。（后来确认问题根源确实是由于数据源加载错误引起，需要加载测试联调环境的数据源，结果却加载了线上数据源）
　　【解决方案】
　　从上面这个问题可以看到，“如果依赖人的手动修改才能做正确的事情”是不现实的，应当尽可能地避免这样的情况出现。所以，针对以上问题，我们就联想到能不能通过类似“Spring XML与Properties”分离解耦的技术来实现，然后通过类似Maven预编译来自动生成相关的配置文件。针对以上想法，我做了“通过Shell脚本来组装Lua配置模板文件与配置属性文件来生成配置文件”的尝试，上苍不负有心人，最终搞定这事了。方案步骤，如下：

• 定义“Lua配置模板文件”
  
• 针对不同的部署环境，定义相关的“配置属性文件”
  
• 通过Shell脚本来生成最终的配置文件（当然这一步也可以实现自动化）
  

　　具体实施步骤，如下：
1. 查看config-generator.sh是否具有“执行权限” 
ll -h nginx/lua/bin/config-generator.sh
 
2. 若config-generator.sh没有“执行权限”，则授予其“执行权限” 
chmod a+x nginx/lua/bin/config-generator.sh
 
3. 根据“配置模板”、“配置属性文件”和“部署环境”来生成配置文件（config.lua） 
nginx/lua/bin/config-generator.sh -e test -c /usr/apps/nginx/lua/lib/cn/fraudmetrix/ngx/ 
or 
nginx/lua/bin/config-generator.sh -e test -c nginx/lua/lib/cn/fraudmetrix/ngx/
　　【前后方案实现】
　　原实现
　　中间配置文件 

-- in development
--return require "cn.fraudmetrix.ngx.config.config-dev"
-- in production
return require "cn.fraudmetrix.ngx.config.config-prod"
　　开发环境的配置

-- config value
local config = {
version = "1.1",
mysql = {
host = "127.0.0.1",
port = 3306,
database = "dev",
user = "dev",
password = "123456",
max_packet_size = 1024 * 1024, -- 1M mysql返回包大小上限
timeout = 500, -- ms
idle_timeout = 60000, -- ms
pool_size = 4
},
cache = { -- 缓存大小上限
partner = 10000, -- 合作方
upstream = 100  -- 上游
},
timer = { -- timer执行周期
partner = 3600, -- s
},
}
return config
　　现在实现
　　完整的代码见附件～～～
　　Lua配置模板文件 

-- config value
-- 【变量占位符替换】若替换值为“字符串”类型的，以单引号(\')定义；若替换值为“数值”类型的，以双引号(\")定义。
local config = {
version = '1.1',
mysql = {
host = '$mysql_host',
port = "$mysql_port",
database = '$mysql_database',
user = '$mysql_user',
password = '$mysql_password',
max_packet_size = "$mysql_max_packet_size", -- 1M mysql返回包大小上限
timeout = "$mysql_timeout", -- ms
idle_timeout = "$mysql_idle_timeout", -- ms
pool_size = "$mysql_pool_size"
},
cache = { -- 缓存大小上限
partner = "$cache_partner_max_num", -- 合作方
upstream = "$cache_upstream_max_num"  -- 上游
},
timer = { -- timer执行周期
partner = "$timer_partner_period", -- s
},
}
return config
　　测试环境的配置属性文件

# 配置属性名称定义以下划线("_")分割，不能以点号(".")分割（因为在Shell脚本中，点号(".")是一个特殊字符）
# MySQL
mysql_host=127.0.0.1
mysql_port=3306
mysql_database=test
mysql_user=test
mysql_password=123456
# 风险点：随着”合作方“接入增多，未来”合作方“MySQL加载的数据大小可能超过该值！
mysql_max_packet_size=1024*1024
mysql_timeout=500
mysql_idle_timeout=60000
mysql_pool_size=4
# Local Cache
# 风险点：随着”合作方“接入增多，未来”合作方“的数量可能超过该值！
cache_partner_max_num=10000
cache_upstream_max_num=100
# Timer
timer_partner_period=3600
　　Shell解析脚本

#!/usr/bin/env bash
# -----------------------------------------------------------------------------
# Generates 'Configuration' file of Lua (config.lua) automatically.
# -----------------------------------------------------------------------------
usage() {
echo "Usage:"
echo "  sh config-generator.sh [-e app_deploy_env] [-c config_file_dir]"
echo ""
echo "Description:"
echo "  -e   application deploy environment. The option value is prod, test or dev."
echo "  -c   configuration file directory for Lua (/absolute/path/to/lua/config)."
echo ""
echo "Example:"
echo "  nginx/lua/bin/config-generator.sh -e test -c /usr/apps/nginx/lua/lib/cn/fraudmetrix/ngx/"
echo "  nginx/lua/bin/config-generator.sh -e test -c nginx/lua/lib/cn/fraudmetrix/ngx/"
echo ""
exit 1
}
# 默认是“生产环境”
app_deploy_env="prod"
# “配置文件”默认放在“当前目录下”
config_file_dir="."
# 1. 接收“参数”
while getopts ":e:c:h" arg
do
case $arg in
e) app_deploy_env="$OPTARG";;
c) config_file_dir="$OPTARG";;
h) usage;;
?) usage;;
esac
done
# 2. get 'config_file'
# 兼容“path”与“path/”的情况
config_file_dir_last_char="${config_file_dir: -1}"
if [ "$config_file_dir_last_char"x = "/"x ]; then
# "path/" + "config.lua"
config_file="$config_file_dir"config.lua
else
# "path" + "/config.lua"
config_file="$config_file_dir"/config.lua
fi
# 兼容“path”与“/path”(相对路径与绝对路径)的情况
config_file_dir_first_char="${config_file_dir:0:1}"
if [ "$config_file_dir_first_char"x != "/"x ]; then
# relative path
cur_prg_dir=`pwd`
config_file="$cur_prg_dir"/"$config_file"
fi
# 3. 根据“配置模板”、“配置属性文件”和“部署环境”来生成“配置内容”
# resolve links - $0 may be a softlink  (解析链接 - $0 可能是一个“软链接”)
# 执行程序
PRG="$0"
while [ -h "$PRG" ] ; do
ls=`ls -ld "$PRG"`
link=`expr "$ls" : '.*-> \(.*\)$'`
if expr "$link" : '/.*' > /dev/null; then
PRG="$link"
else
PRG=`dirname "$PRG"`/"$link"
fi
done
# ”执行程序“所在的”相对根目录“
PRGDIR=`dirname "$PRG"`
# 转换为”绝对根目录“
PRGDIR=`readlink -f "$PRGDIR"`
config_template_file="$PRGDIR"'/../config/config-template.lua'
config_properties_file="$PRGDIR"/../properties/config-"$app_deploy_env".properties
# 执行“配置模板解析器”
CONFIG_PARSER_EXECUTABLE="$PRGDIR"/config-parser.sh
if [ ! -x "$CONFIG_PARSER_EXECUTABLE" ]; then
`sudo chmod a+x "$CONFIG_PARSER_EXECUTABLE"`
fi
exec "$CONFIG_PARSER_EXECUTABLE" "$config_file" "$config_template_file" "$config_properties_file"

#!/usr/bin/env bash
# -----------------------------------------------------------------------------
# Generates 'config.lua' by 'config-template.lua' and 'config-${mode}.properties'.
# -----------------------------------------------------------------------------
config_file="$1"
config_template_file="$2"
config_properties_file="$3"
# source the properties
. "$config_properties_file"
# replace the placeholder
eval "echo \"$(<$config_template_file)\"" > "$config_file"
echo "Generates 'Configuration' file of Lua to '$config_file'"