空の2次元配列の結合を.concatで意図した結合ができない

空の2次元配列buffに対して2つの配列の結合を.concatで下記のように行いたいです．
例：

# 配列[1, 2, 3, 4]と配列[10, 11, 12, 13]を結合
buff[0] = [1, 2, 3, 4]
buff[1] = [10, 11, 12, 13]

しかし，下記のコードではbuffのオブジェクトIDが同じが原因なのかどうなのかがわからず，期待した結合ができません．
方法をご教授お願いします．

buff = Array.new(2, [])
p buff

buff[0].concat([1, 2, 3, 4])
p buff

buff[1].concat([10, 11, 12, 13])
p buff