tensorflowでのtf.matmul(shape(batch_size, ?, input_size), shape(inputs_size, output_size))

tensorflowで
inputs.shape = [batch_size, ?, input_size]
w.shape = [input_size, output_size]の時
tf.matmul(inputs, w)
をやりたいのですが、やりかたがわかりません。
?の部分がtensorによって異なる(inputs[0].shape = [2, input_size], inputs[1].shape = [4, input_size]のようなことが起きている)ので、

a = tf.reshape(inputs, [-1, input_size])
a = tf.matmul(a, ...)
a = tf.reshape(a, [batch_size, ?, input_size])

のような変換ができません。
なにかよい解決方法あれば教えてください。
?の部分は配列でlenghtsで持っています。