ベクターレイヤー上で、矩形ツールを使って矩形を作ると、
角の1つは線の切れ目になっているため、丸く処理できません。
※線つまみツールなどで線を動かして見ると、切れていることが
分かります。
ベクター線は完全に閉じた状態にできないため、必ず一カ所は
切れ目が必要です。
そのため、切れ目の場所を角ではなく辺の真ん中あたりにすれば、
角部分はすべて丸く処理することができます。
方法としては、例えば矩形ツールの[定規を作成]で長方形の
定規を作成し、マジックなどの入り抜きの入らないツールで、
辺の真ん中から描き始めて矩形を描く方法などがあります。
他にも、矩形ツールで長方形を描いてから、辺の一部を消しゴムなどで切って
角部分の線を[線つなぎ]で繋げ、切った部分は線つまみで見た目を整える
方法などもあります。
お手数ですが、上記をご確認の上色々お試しいただけますと幸いです。