お問い合わせありがとうございます。
恐れ入りますが、選択範囲の縮小ダイアログの「縮小タイプ」の右側のボタンは、
「角を丸くする」ボタンではございません。
「等距離で縮小する」ボタンとなっております。
[選択範囲の縮小]につきましては、縮小幅で10ピクセルと指定した場合、
左側のボタンでは選択範囲の境界線から縦に10ピクセル、横に10ピクセル
縮小するのに対し、右側のボタンでは選択範囲の境界線から10ピクセルの
距離のところまで縮小します。
楕円選択ツールで小さめの円を作成して選択範囲の縮小を実行すると違いが
わかりやすいかと思いますので、一度お試しいただければと思います。
右側のボタンでは縮小しても円ですが、左側のボタンでは縮小すると四角く
なります。
角丸で選択範囲を作成される際は、[サブツール詳細]を開いていただき
[図形]から[角の丸さ]にチェックを入れてご利用ください。
よろしくお願いいたします。