「ツイートせず回答」を選択した場合、過去の回答には表示されますか？

表示されません。

過去の回答に表示しつつ回答を広く公開したくない場合は、以下の2つの方法があります。

これらの方法でも回答者以外の目に触れることは多少ありますが、実行後はフォロワーのタイムラインに表示されないため、閲覧者を最小限に留めることができます。