외국인 근로자가 갑자기 사업장 변경 신고해달라는데 거부해도 되나요?

이제 겨우 일 가르쳐 놨더니 친구 따라 다른데 간다고 사업장 변경 신고해달라네요. 제가 잘못한 것도 없는데 이렇게 쉽게 옮겨도 되는 건가요? 제가 거부하면 어떻게 되는지, 그리고 사업주가 대응할 수 있는 법적 근거가 있는지 궁금합니다. 진짜 허무하네요..