さて、これは私をパニックにした。私は愚かなことをしていると想像しました。
私のDockerfileに
FROM python:3.6
RUN apt-get update \
&& apt-get install python-dev mysql-server python-mysqldb rabbitmq-server sudo cifs-utils --assume-yes
失敗しました
Package "mysql-server" has no installation candidate
（python-devが正常にインストールされています）
しかし、apt-get install mysql-serverはbashで動作します。 （そして適切な検索mysql-serverが存在することを示しています。）
このDockerfileは以前（数ヶ月前）でも機能しました。
答え1
次のコマンドを実行して、イメージコンテナ内で対話型シェルを起動します。
docker run --rm -it python:3.6 bash
（画像にbashがない場合はbashを使用できますsh）
その後、aptを使用して利用可能なパッケージを検索できます。例えば
apt search mysql
名前が少し異なるだけでパッケージが存在する可能性があります。