シェルスクリプトで ",';" を "';" に変更したいと思います。

試してみましたか？

sed -e "s/,';/';/"

なぜなら試してみると効果があるようです。 （一重引用符で囲まれた表現は一般的であることに同意しますが、あなたの場合は、シェル拡張から特別に保護する必要があるものは含まれていません。）