基于大模型的高并发轻量级数据通道自适应负载均衡方法

本发明涉及分布式计算技术领域，尤其涉及一种基于大模型的高并发轻量级数据通道自适应负载均衡方法，该方法在当前LLM推理请求到达均衡负载器时，根据任一服务器的历史请求记录集合中每个历史请求与当前LLM推理请求的硬度相似性，对利用项进行初始优化，得到任一服务器处理当前LLM推理请求的初始优化利用项；构建预期残差补偿因子，利用预期残差补偿因子对初始优化利用项进行再次优化，得到最佳利用项；根据任一服务器的最佳利用项，得到任一服务器的决策得分，根据每个服务器的决策得分，对当前LLM推理请求进行自适应负载均衡，使得在长期运行中保持高效的负载均衡能力。