背景

用 lua 的 string.gmatch 封装了一个字符串分割函数 string_split(str, sep)
文件上传时,解析请求体,有时解析正常,有时卡住十几秒,并不报错,但解析失败

分析原因

代码如下:

function string_split(str, sep)
    if not str or not sep then
        return str          
    end          
    local result = {}          
    for m in (str..sep):gmatch("(.-)"..sep) do
        table.insert(result, m)
    end
    return result
end       

我们将 str 赋值为:

--r5Oj-KL4Wd0Tr7SVmdpM-W9FoBcIa7
Content-Disposition: form-data; name="file"; filename="test.txt"
Content-Type: image/jpeg

1 order by 1

--r5Oj-KL4Wd0Tr7SVmdpM-W9FoBcIa7--

sep 赋值为

"--r5Oj-KL4Wd0Tr7SVmdpM-W9FoBcIa7"

我们想要得到的结果是

result[1] = "" --空字符串
result[2] = 'Content-Disposition: form-data; name="file"; filename="test.txt" \
             Content-Type: image/jpeg \
             \
             1 order by 1 \
             '
result[3] = "--" 

但真实结果是 gmatch 卡住十几秒,且匹配失败,返回 nil

问题的真实原因在于 lua 的 string 操作有特殊字符,其中就包含了 ‘-‘

‘-‘:是一种匹配模式,表示最短匹配

要想正常使用那么就要用 ‘%’ 转义

每次转义都是额外的开销,并不是我们想要的,因此替换成了 ngx.re.find 执行

总结:

  1. 若我们已经清楚要操作的 sep 中未带有特殊字符,或我们能够转义的,可以用 lua的 string 操作,如在 init_by_lua 等未执行请求的阶段
  2. 若处理请求带进来的信息,是否有特殊字符不可控,转义开销太大(用 gsub 替换特殊字符),此时可用 ngx.re.find(此函数要求有 request object,所以请求进来了才可调用)
  3. string.gmatch,string.find 等 string 操作都有此类问题,其他正则函数也有自身特殊字符转换问题,以后要特殊关注,不然会被绕过,同时对性能有所影响。
  • ipset

    ipset 安装参考文档(待整理)ipset 官方文档ipset 7.1版本链接使用参考文档 简单的流程可以用这几条命令概括使用 ipset 和 iptables 进行 IP 封禁的流程 ipset create blacklist ...

    ipset
  • 删除非目录文件

    linux 下删除一个目录下所有的隐藏文件和非目录文件 前言在 alpine 基础上编译 OpenWAF,想要达到最简,删除无用文件。 亮点rm -rf `ls -Fa | grep '^\.\w'` -- 删除隐...

    删除非目录文件
  • 在 alpine 上编译 openssl 遇到的问题

    alpine 上编译 openssl (v1.1.1) 遇到 ucontext 报错 前言今天在 alpine 基础上编译 openwaf,编到 openssl 时,报 ucontext 相关错误。 ucontext 报错编译 ope...

    在 alpine 上编译 openssl 遇到的问题
  • 批量修改或添加文件后缀名

    前言常见的是对不同文件名进行文件后缀名修改。但今天遇到同一文件名的情况。 常见windows 或 Linux 命令: ren *.jpg *.bmp # 将 jpg 后缀改为 bmp 如:1.jpg 2.txt 改后为:1.bm...

    批量修改或添加文件后缀名
  • hyperscan 安装

    1. 前言本文在 Debian8 中安装 hyperscan 5.0.0内存至少 2 G,不然编译慢而且失败 2. 依赖2.1 C/C++编译器hyperscan使用C++开发,且需要C99和C++11支持,目前支持的编译器有 GC...

    hyperscan 安装
  • linux 查看系统开机时间

    有时候需要查看Linux系统运行了多久时间,此时需要知道上次开机启动时间;有时候由于断电或供电故障突然停机,需要查看Linux开机时间/重启时间;下面总结一些查看Linux开机关机时间的方法(非常全面) 1. who 命令查看who ...

    linux 查看系统开机时间
  • GDB 多线程 (non-stop)

    1. 背景这几天在扩展 ngx_lua 模块,但 gdb 定位时,提示:Thread debugging using libthread_db enabled。 2. GDB non-stop 配置把以下3行添加到 ~/.gdbini...

    GDB 多线程 (non-stop)
  • suricata 从 0 开始

    背景OpenWAF 是在 openresty 基础上发布的,但安全不仅仅是针对 HTTP 协议的防护,而是全方位立体化的防护。因此,为了防护更多的协议,开始接触 suricata,用熟后,争取将 OpenWAF 集成到 suricat...

    suricata 从 0 开始
  • clear: command not found 命令无法找到

    1. 安装 ncurses-binsudo apt-get install ncurses-bin 此时尝试执行 ‘clear’ 命令,若失败,执行第二步(重新安装 ncurses-bin) 2. 重新安装 ncurses-binsu...

    clear: command not found 命令无法找到
  • svn 游记

    前言公司之前用 svn 管理项目代码,我一直用的 windows 版本 近期想要搭建知识库云平台,需要在 linux 上使用 svn 管理代码,因此做些笔记 直接使用公司搭建好的 svn服务器 1. 客户端安装yum install ...

    svn 游记