ご要望をいただき、ありがとうございます。
ベクターレイヤー上で選択範囲をフチ取り時に、[アンチエイリアス]の
設定を行っても、線がガタガタの状態でしょうか。
[外側に描画]や[内側に描画]にしていると、ベクター線の特性上、
どうしても選択範囲との間に若干の隙間が生じる場合があります。
また、線が太くなるケースも、[外側に描画]や[内側に描画]だと、
ベクターの中心線を選択範囲からずれた位置に設定する関係上、
水平や垂直の線と斜めの線とではどうしても同じ太さにならないため、
設定した値と実際の太さが一致しないようになっています。
そのため、ベクターレイヤー上で[選択範囲をフチ取り]する際は、
なるべく[境界線上に描画]をご使用いただければと思います。
その他記載いただいた機能については、ご要望として承り、
今後の開発にて対応を検討させていただきます。