もし高解像度の線画を低い解像度のキャンバスに読み込んでいる場合は、
線画の画質がキャンバスに合わせて低くなっているので、
[ファイル]メニュー→[開く]から直接線画データを開いてみてください。
※ダイアログで、ファイルの種類を[対応しているすべての形式]にして
開いてください。
それでも線が荒い場合は、読み込んでいる線画自体が元々
その画質であるため、それ以上線をなめらかにすることは
難しいです。
お手数ですが、高解像度のキャンバスに読み込んでトレースなどを
お試し下さい。
もしスキャンで線画を取り込んでいる場合は、スキャナの設定で
解像度を高めにして読み込んでみてください。
また、塗りつぶし時に白い隙間が出来てしまう状態については、
すでにお試しいただいている通り、線画のレイヤーを
グレーに変換して、背景を透過させてから塗ってみてください。
線の色を再度カラーにしたい場合は、グレーにしたレイヤーを
再度カラーに変換し、[編集]メニュー→[特殊な描画]→[線の色を
描画色に変更]を選択すると、現在選択中の色に変えることが出来ます。
ご確認のほど、よろしくお願いいたします。