yt-dlp --postprocessor-args "-ss 05:02:11 -to 05:51:01" "https://www.youtube.com/watch?v=XXXXXXXXXXX"

--postprocessor-args で -ss と -to を設定するだけ。

ffmpeg の設定なので他にもやりたいことできそうだ。

ただ出力されたフォーマットが webm だったのでその辺をどうにかしたい。