Win11 > 设置 > 系统 > 声音 > 更多声音设置 > 播放 > (选择连接的蓝牙音箱) > 右键 > 设置为默认设备;
然后正常不用重启就能直接播放声音了(刚试的成功了,如果没成功的话可以删除蓝牙设备重新连接一下)