淘宝退货不直接返钱，是因为淘宝采用了一种“担保交易”的模式。在这种模式下，卖家将货款先交给淘宝平台，等买家确认收货后，淘宝再将货款转给卖家。这种模式可以保障买家的利益，避免了卖家欺诈的情况。但是，如果买家退货后，淘宝直接将钱返还给买家，那么卖家就会遇到无法退回货款的情况，因为货已经退回给了卖家，但是货款却已经被转给了买家。

为了解决这个问题，淘宝采用了一种叫做“退款至余额”的方式。也就是说，淘宝会将退货款项先退回到买家的淘宝账户余额中，待卖家确认收到退货后，再将款项转给卖家。通过这种方式，既可以保障买家的权益，又可以确保卖家的利益不受损失。

当然，买家在退货时也可以选择直接要求淘宝将款项退回原支付渠道，如支付宝或银行卡。但是，这种方式可能会存在一些延迟和手续费的问题，因此退款至余额的方式更为便捷和快捷。

总之，淘宝采用“退款至余额”的方式退货款项，主要是为了保障买家的权益和卖家的利益，避免欺诈和损失的情况出现。