不能。信用卡的违约金不可以退还的，是必须要缴纳的，违约金的意思就是指持卡人在信用卡到期还款日的实际还款金额低于最低还款额的情况下，央行对最低还款额未归还部分收取罚金，收取标准为未还部分的5%，一次性收取。

《刑法》第一百九十六条，有下列情形之一，进行信用卡诈骗活动，数额较大的，处五年以下有期徒刑或者拘役，并处二万元以上二十万元以下罚金；数额巨大或者有其他严重情节的，处五年以上十年以下有期徒刑，并处五万元以上五十万元以下罚金；数额特别巨大或者有其他特别严重情节的，处十年以上有期徒刑或者无期徒刑，并处五万元以上五十万元以下罚金或者没收财产：

（一）使用伪造的信用卡，或者使用以虚假的身份证明骗领的信用卡的；

（二）使用作废的信用卡的；

（三）冒用他人信用卡的；

（四）恶意透支的。

前款所称恶意透支，是指持卡人以非法占有为目的，超过规定限额或者规定期限透支，并且经发卡银行催收后仍不归还的行为。盗窃信用卡并使用的，依照本法第二百六十四条的规定定罪处罚。