設定はおっしゃる通りになっています。
試しにRGBのテンプレートから保存時にCMYKに変換、印刷所が推奨するTIFF、PSD、JPG形式と保存してみましたが、TIFFとPSDは黄色く再現されました。
カラープロファイルプレビューもCMYKで設定すると黄色になります。
TIFFはフォトビューアで再現しましたが、黄色でした。
PSDはCLIP STUDIOで開くことしかできない環境なので、こちらは現状変わらずといったところだと思います。
JPGはそのまま保存されたので（CMYK等の選択はできず）、白いままでした。
印刷所がJPGも可としているので、RGB→JPG保存でもいいのかもしれませんが、「カラーはCMYKで作成してください、RGBで入稿の場合はCMYKに変換します」と注意書きがあったので、やはり白色が黄色になってしまうのかもしれないと不安があります。
この件は印刷所に問い合わせますが、今後CMYKで作成ができないとなると他のソフトに乗り換えるしかないのかと思っております。
レンダリングインテントが「絶対的な色域を維持」になっていませんか？
RGBプロファイルにはモニタのプロファイル
（機種名などが書かれているもの）を、
CMYKプロファイルにはJapan Color 2001 Coatedを、
レンダリングインテントには「知覚的」または、
「相対的な色域を維持」を選択して下さい。
的外れな回答でしたらご免なさい（・ω・）
CLIP STUDIO PAINTでは読み込む際にCMYK→RGB変換を行うので、
最初からRGBのテンプレートを使った方が良いかもです。