口頭收訂疑問 - 汽車

請問，
小弟前天去看了一台私人的二手車，
後來回家後，
先匯款一萬當作訂金，
（口頭約定賣車）
隔天家人反對，
我跟賣家取消，
因為賣家說我讓他有機會成本的損失，
所以要扣一半，
我當下也覺得很抱歉，所以同意。
可是，嗎的，
他今天就把車順利賣出了，
那他說的機會成本5000元，
是合理的嗎？
如果雙方沒有書面合約的情況下，
這筆被扣的5000元，
是否可以尋正常管道要回？

--