임대차 계약 만료 전에 매장 제3자에게 양도 시 권리금 회수 문제로 건물주랑 갈등 중입니다

개인 사정으로 계약 기간 6개월 남겨두고 새로운 임차인을 구해서 권리금 계약서까지 도장을 찍었습니다. 건물주에게 새로운 사람이랑 임대차 계약서 써달라고 요청했더니, 자기는 새로운 임차인이 마음에 안 든다며 계약을 거부하고 만기 되면 그냥 원상복구하고 나가라고 으름장을 놓네요.. 이렇게 임대인이 정당한 사유없이 방해해서 상가 양도 시 중간 권리금 회수 기회를 날리게 될 문제일 때 법적으로 소송 가야 하나요?