Redis Lua脚本中学教程（上）

发表于 |

失踪人口回来啦！

有读者问我为什么这么久都没有出Redis Lua中学教程，表示村头厕所已经好久没有纸了。其实我早就要写这篇中学教程了，奈何最近太忙了，就一拖再拖，直到今天我终于又开始动笔了。忘记Lua相关概念的同学可以先回顾一下小学教程。

中学教程主要分为两部分：Redis Lua的相关命令详解和Lua的语法介绍。

前面我们简单介绍了EVAL和EVALSHA命令。但是只有那点只是是没办法从中学毕业的，因此我们需要进行更深入的学习。

EVAL

最早可用版本：2.6.0

用法：EVAL script numkeys key [key …] arg [arg …]

关于用法我们已经演示过了，其中第一个参数是要执行的Lua脚本，第二个参数是传入脚本的参数个数。后面则是参数的key数组和value数组。

在Lua中执行Redis命令的方法我们也介绍过，就是使用redis.call()和redis.pcall()两个函数。它们之间唯一的不同就是当Redis命令执行错误时，redis.call()会抛出这个错误，使EVAL命令抛出错误，而redis.pcall()会捕获这个错误，并返回Lua的错误表。

通常我们约定执行命令的key都需要由参数传入，命令必须在执行之前进行分析，以确定它作用于哪个key。这样做的目的是为了在一定程度上保证EVAL执行的Lua脚本的正确性。

Lua和Redis之间数据类型的转换

在Redis执行EVAL命令时，如果脚本中有call()或者pcall()命令，就会涉及到Redis和Lua之间数据类型转换的问题。转换规则要求，一个Redis的返回值转换成Lua数据类型后，再转换成Redis数据类型，其结果必须和初始值相同。所以每种类型是一一对应的。转换规则如下：

Redis与Lua互相转换
Redis Lua
integer number
bulk string
multi bulk table
status table with a single ok field
error table with a single err field
Nil bulk &Nil multi bulk false boolean type

除此之外，Lua到Redis的转换还有一些其他的规则：

  • Lua boolean true -> Redis integer reply with value of 1
  • Lua只有一种数字类型，不会区分整数和浮点数。而数字类型只能转换成Redis的integer类型，如果要返回浮点数，那么在Lua中就需要返回一个字符串。
  • Lua数组在转换成Redis类型时，遇到nil就停止转换

来个栗子验证一下：

1
2
3
4
5
EVAL "return {1,2,3.3333,'foo',nil,'bar'}" 0
1) (integer) 1
2) (integer) 2
3) (integer) 3
4) "foo"

可以看到bar没有返回，并且3.333返回了3。

脚本的原子性

Redis运行所有的Lua命令都使用相同的Lua解释器。当一个脚本正在执行时，其他的脚本或Redis命令都不能执行。这很像Redis的事务multi/exec。这意味着我们要尽量避免脚本的执行时间过长。

脚本整体复制

当脚本进行传播或者写入AOF文件时，Redis通常会将脚本本身进行传播或写入AOF，而不是使用它产生的若干命令。原因很简单，传播整个脚本要比传播一大堆生成的命令的速度要快。

从Redis3.2开始，可以只复制影响脚本执行结果的语句，而不用复制整个脚本。这个复制整个脚本的方法有以下属性：

  • 如果输入相同，脚本必须输出相同的结果。即执行结果不能依赖于隐式的变量，或依赖于I/O输入
  • Lua不会导出访问系统时间或其他外部状态的命令
  • 如果先执行了“随机命令”（如RANDOMKEY，SRANDMEMBER，TIME），并改变了数据集，接着执行脚本时会被阻塞。
  • 在Redis4中，Lua脚本调用返回随机顺序的元素的命令时，会在返回之前进行排序，也就是说，调用redis.call(“smembers”,KEYS[1])，每次返回的顺序都相同。从Redis5开始就不需要排序了，因为Redis5复制的是产生影响的命令。
  • Lua修改了伪随机函数math.random和math.randomseed，使每次执行脚本时seed都相同，而如果不执行math.randomseed，只执行math.random时，每次的结果也都相同。
复制命令队列

在这种模式下，Redis在执行脚本时会收集所有影响数据集的命令，当脚本执行完毕时，命令队列会被放在事务中，发送给AOF文件。

Lua可以通过执行redis.replicate_commands()函数来检查复制模式，如果返回true表示当前是复制命令模式，如果返回false，则是复制整个脚本模式。

可选择的复制命令

脚本复制模式选择好以后，就可以对复制到副本和AOF的方式进行更多的控制。这是一种高级特性，因为滥用会切断主从备份，和AOF持久化。如果我们只需要在master上执行某些命令时，这一特性就变得很有用。例如我们需要计算一些中间值时，只需要在master上计算就好，那么这些命令就不必进行复制。

从Redis3.2开始，有一个新的命令叫做redis.set_repl()，它可以用来控制复制方式，有如下选项（默认是REPL_ALL）：

1
2
3
4
5
redis.set_repl(redis.REPL_ALL) -- Replicate to AOF and replicas.
redis.set_repl(redis.REPL_AOF) -- Replicate only to AOF.
redis.set_repl(redis.REPL_REPLICA) -- Replicate only to replicas (Redis >= 5)
redis.set_repl(redis.REPL_SLAVE) -- Used for backward compatibility, the same as REPL_REPLICA.
redis.set_repl(redis.REPL_NONE) -- Don't replicate at all.
全局变量

为了避免数据泄露，Redis脚本不允许创建全局变量。如果必须有一个公共变量，可以使用Redis的key来代替。在EVAL命令中创建一个全局变量会引起一个异常。

1
2
> eval 'a=10' 0
(error) ERR Error running script (call to f_933044db579a2f8fd45d8065f04a8d0249383e57): user_script:1: Script attempted to create global variable 'a
关于SELECT的使用

在Lua脚本中使用SELECT就像在正常客户端中使用一样。值得一提的是，在Redis2.8.12之前，Lua脚本中执行SELECT是会影响到客户端的，而从2.8.12开始，Lua脚本中的SELECT只会在脚本执行过程中生效。这点在Redis版本升级时需要注意，因为升级前后，命令的语义会改变。

可用的库

Lua脚本中有许多库，但并不是都能在Redis中使用，其中可以使用的有：

  • base lib.
  • table lib.
  • string lib.
  • math lib.
  • struct lib.
  • cjson lib.
  • cmsgpack lib.
  • bitop lib.
  • redis.sha1hex function.
  • redis.breakpoint and redis.debug function in the context of the Redis Lua debugger.

struct, CJSON and cmsgpack是外部库，其他的都是Lua的标准库。

在脚本中打印Redis日志

使用redis.log(loglevel,message)函数可以在Lua脚本中打印Redis日志。

loglevel包括：

  • redis.LOG_DEBUG
  • redis.LOG_VERBOSE
  • redis.LOG_NOTICE
  • redis.LOG_WARNING

它们与Redis的日志等级是对应的。

沙箱和最大执行时间

脚本不应该访问外部系统，包括文件系统和其他系统。脚本应该只能操作Redis数据和传入进来的参数。

脚本默认的最大执行时间是5秒（正常脚本执行时间都是毫秒级，所以5秒已经足够长了）。可以通过修改lua-time-limit变量来控制最大执行时间。

当脚本执行时间超过最大执行时间时，并不会被自动终止，因为这违反了脚本的原子性原则。当一个脚本执行时间过长时，Redis会有如下操作：

  • Redis记录下这个脚本执行时间过长
  • 其他客户端开始接收命令，但是所有的命令都会会返回繁忙，除了SCRIPT KILL 和 SHUTDOWN NOSAVE
  • 如果一个脚本仅执行只读命令，则可以用SCRIPT KILL命令来停止它。
  • 如果脚本执行了写入命令，那么只能用SHUTDOWN NOSAVE来终止服务器，当前的所有数据都不会保存到磁盘。

EVALSHA

最早可用版本：2.6.0

用法：EVALSHA sha1 numkeys key [key …] arg [arg …]

该命令用来执行缓存在服务器上的脚本，sha1为脚本的唯一标识。

使用EVAL命令必须每次都要把脚本从客户端传到服务器，由于Redis的内部缓存机制，它并不会每次都重新编译脚本，但是传输上仍然浪费带宽。

另一方面，如果使用特殊命令或者通过redis.conf来定义命令会有以下问题：

  • 不同实例有不同的实现方式
  • 发布将会很困难，特别是分布式环境，因为要保证所有实例都包含给定的命令
  • 读应用程序代码时，由于它调用了服务端命令，会不清楚代码的语义

为了避免这些问题，同时避免浪费带宽，Redis实现了EVALSHA命令。

如果服务器中没有缓存指定的脚本，会返回给客户端脚本不存在的错误信息。

SCRIPT DEBUG

最早可用版本：3.2.0

时间复杂度：O(1)

用法：SCRIPT DEBUG YES|SYNC|NO

该命令用于设置随后执行的EVAL命令的调试模式。Redis包含一个完整的Lua调试器，代号为LDB，可以使编写复杂脚本的任务更加简单，在调试模式下，Redis充当远程调试服务器，客户端可以逐步执行脚本，设置断点，检查变量等。想了解更多调试器内容的可以查看官方文档Redis Lua debugger。

LDB可以设置成异步或同步模式。异步模式下，服务器会fork出一个调试会话，不会阻塞主会话，，调试会话结束后，所有数据都会回滚。同步模式则会阻塞会话，并保留调试过程中数据的改变。

SCRIPT EXISTS

最早可用版本：2.6.0

时间复杂度：O(N)，N是脚本数量

返回脚本是否存在于缓存中（存在返回1，不存在返回0）。这个命令适合在管道前执行，以保证管道中的所有脚本都已经加载到服务器端了，如果没有，需要用SCRIPT LOAD命令进行加载。

SCRIPT FLUSH

最早可用版本：2.6.0

时间复杂度：O(N)，N是缓存中的脚本数

刷新缓存中的脚本，这一命令常在云服务上被使用。

SCRIPT KILL

最早可用版本：2.6.0

时间复杂度：O(1)

停止当前正在执行的Lua脚本，通常用来停止执行时间过长的脚本。停止后，被阻塞的客户端会抛出一个错误。

SCRIPT LOAD

最早可用版本：2.6.0

时间复杂度：O(N)，N是脚本的字节数

该命令用于将脚本加载到服务器端的缓存中，但不会执行。加载后，服务器会一直缓存，因为良好的应用程序不太可能有太多不同的脚本导致内存不足。每个脚本都像一个新命令的缓存，所以即使是大型应用程序，也就有几百个，它们占用的内存是微不足道的。

小结

本文介绍了Redis Lua相关的命令。其中EVAL和EVALSHA用来执行脚本。脚本执行具有原子性。脚本的复制和传播可以根据需要设置。脚本中不能定义全局变量。

Jackey Wang wechat
欢迎关注我的公众号，一起讨论如何写bug
-------------本文结束感谢您的阅读-------------
原创不易，感谢支持