• 定长类型：

  Int64、Uint64、Float32、Float64、Decimal、Time、Duration；

• 变长类型：

  String、Bytes、JSON、Set、Enum。

定长类型和变长类型数据在 Column 中有不同的组织方式，这使得他们有如下的特点：

• 定长类型的 Column 可以随机读写任意元素；

• 变长类型的 Column 可以随机读，但更改中间某元素后，可能需要移动该元素后续所有元素，导致随机写性能很差。

对于定长类型（如 int64），我们在计算时会将其转成 Golang Slice（如 []int64），然后直接读写这个 Slice。相比于调用 Column 的接口，需要的 CPU 指令更少，性能更好。同时，转换后的 Slice 仍然引用着 Column 中的内存，修改后不用将数据从 Slice 拷贝到 Column 中，开销降到了最低。

对于变长类型，元素长度不固定，且为了保证元素在内存中连续存放，所以不能直接用 Slice 的方式随机读写。我们规定变长类型数据以追加写（append）的方式更新，用 Column 的 Get() 接口进行读取。

总的来说，变长和定长类型的读写方式如下：

vectorized() bool
vecEvalXType(input *Chunk, result *Column) error	

• XType 可能表示 Int, String 等，不同的函数需要实现不同的接口；

• input  表示输入数据，类型为  *Chunk ；
• result  用来存放结果数据。

• 在  vectorized()  接口中返回  true  ，表示该函数已经实现向量化计算；
• 在  vecEvalXType()  实现此函数的计算逻辑。

存储表达式计算中间结果的向量可通过表达式内部对象 bufAllocator 的 get() 和 put() 来获取和释放，参考 PR/12014，以 builtinRepeatSig 的向量化实现为例：

buf2, err := b.bufAllocator.get(types.ETInt, n)
if err != nil {
    return err
}
defer b.bufAllocator.put(buf2) // 注意释放之前申请的内存	

f64s := result.Float64s()
for i := 0; i < n; i++ {
    if isNull {
        result.SetNull(i, true)
    } else {
        f64s[i] = math.Log10(f64s[i])
    }
}	

result.ReserveString(n)
...
for i := 0; i < n; i++ {
    str := buf.GetString(i)
    if isNull {
        result.AppendNull()
    } else {
    result.AppendString(strings.Repeat(str, int(num)))
    }
}	

for i := 0; i < n; i++ {
    ...
    dur, err := types.NumberToDuration(i64s[i], int8(b.tp.Decimal))
    if err != nil {
       if types.ErrOverflow.Equal(err) {
          err = b.ctx.GetSessionVars().StmtCtx.HandleOverflow(err, err) // 就地利用对应处理函数处理错误
       }
       if err != nil { // 如果处理不掉就抛出
          return err
       }
       result.SetNull(i, true)
       continue
    }
    ...
}	

var vecBuiltinMathCases = map[string][]vecExprBenchCase {
    ast.Log10: {
        {types.ETReal, []types.EvalType{types.ETReal}, nil},
    },
}	

具体来说，上面结构体中的三个字段分别表示:

1. 该函数的返回值类型；

2. 该函数所有参数的类型；

3. 是否使用自定义的数据生成方法（dataGener），nil 表示使用默认的随机生成方法。

对于某些复杂的函数，你可自己实现 dataGener 来生成数据。目前我们已经实现了几个简单的 dataGener，代码在 expression/bench_test.go 中，可直接使用。

添加好 case 后，在 expression 目录下运行测试指令：

# 功能测试
GO111MODULE=on go test -check.f TestVectorizedBuiltinMathFunc

# 性能测试
go test -v -benchmem -bench=BenchmarkVectorizedBuiltinMathFunc -run=BenchmarkVectorizedBuiltinMathFunc	

在你的 PR Description 中，请把性能测试结果附上。不同配置的机器，性能测试结果可能不同，我们对机器配置无任何要求，你只需在 PR 中带上你本地机器的测试结果，让我们对向量化前后的性能有一个对比即可。

💡 文中划线部分均有跳转，点击【阅读原文】查看原版