在劳务派遣法律关系中，用工单位与被派遣劳动者之间是劳务关系,并无劳动合同关系。用工单位与劳动者签订劳务协议，在劳动过程中，用工单位对被派遣劳动者进行管理和指挥，劳动者遵守用工单位的规章制度，在用工单位的安排下提供劳动。

用工单位辞退被派遣的劳动者，应符合劳动法律规定的条件，根据《劳动合同法》第六十五条第二款的规定，被派遣劳动者有本法第三十九条和第四十条第一项、第二项规定情形的，用工单位可以将劳动者退回劳务派遣单位，劳务派遣单位依照本法有关规定，可以与劳动者解除劳动合同。

换言之，用工单位退回被派遣劳务者只能是因为劳动者不符合录用条件、严重违纪，以及不能胜任工作等情形。这样，劳务派遣单位再依据劳动合同和法律的有关规定，解除与劳动者的劳动合同。如劳动者并无违反《劳动合同法》及劳务协议约定的行为，则用工单位不得随便将劳动者退回劳务派遣单位，劳务派遣单位亦不得随便与劳动者解除劳动合同，否则应承担相应的法律责任。