السلام عليكم ورحمة الله وبركاته ...

الحمدلله أنك أخي الفاضل عرفت الحق, وما تصرفك في الحقيقة إلا ردة فعل للموقف الذي حدث لك, ونصيحتي لك ــ وفقك الله ــ ألا تستعجل في اتخاذ القرار, فمع عدم جواز ما حلفت عليه شرعاً, فإنك يجب ألا تجعل أحداً مهما كان سبباً في حرمانك من الفطرة التي أنعم الله بها عليك, كما أنه من غير المعقول أن يكون الشخص الذي غضبت عليه سبباً في مضرتك ومن داخل ذاتك! ,,

بالنسبة لكفار اليمين:
http://www.islamqa.com/ar/ref/108862

أسأل الله لك التوفيق ...