[キャンバスサイズを選択範囲に合わせる]は、選択範囲外の描画は
残した状態でキャンバスのリサイズを行うものになります。
[変形]の[拡大・縮小・回転]は、選択中のレイヤーに描画されているものを
変形させるため、キャンバス外に残っている描画内容も変形の対象となります。
そのため、ご記載いただいたような挙動は、キャンバスサイズの変更前の
領域が変形対象になっているというわけではなく、変更前に塗りつぶしをした
領域が変形対象になっている状態です。
※キャンバスサイズの変更後に、レイヤー移動ツールなどで塗りつぶした
画像を動かしていただくと、キャンバス外に描画があるのがご確認いただけます。
キャンバス範囲内の画像のみ変形したい場合は、キャンバスサイズの変形後に
全選択し、選択範囲外の描画を削除していただければと思います。
よろしくお願いいたします。