結論

管理対象の公開をオフにしましょう。

結論に至るまで

Consoleの詳細設定からアプリの公開状況を設定できるが、何故か非公開が選択できなくて困る。
しかも、その原因も表示されない。検索してヘルプを確認したところ、上記の方法がこちらに記載されていた。