STlink没用过，但是我的Jlink发生过类似问题，是这样解决的：
设置好后就别再按settings了，接好目标板和电源后按了就出错。断开目标板，stlink，退出mdk，等待一段时间（推荐半小时以上），再打开MDK，PC接上STlink，STlink接目标板，给目标板上电，直接下载试试。我的Jlink就是这样搞好的。另外你看看settings中的reset选项改为sysreset试试。或者接个NRST线看看效果。