- ✓
暂未采集到具体套餐,价格以官网为准
tritify
跨多台机器的确定性 AI 推理
tritify 是什么?
tritify 是 Pelloran 开源的确定性 AI 推理运行时,支持同一模型跨多台机器执行,并通过统一的执行调度确保结果可复现、可逐位验证。其采用 Apache 2.0 开源许可,专为可复现性、审计与分布式推理场景设计,而非单纯追求吞吐量。
产品详细介绍
跨多台机器的确定性 AI 推理
tritify 是 Pelloran 开源的确定性 AI 推理运行时,支持同一模型跨多台机器执行,并通过统一的执行调度确保结果可复现、可逐位验证。其采用 Apache 2.0 开源许可,专为可复现性、审计与分布式推理场景设计,而非单纯追求吞吐量。
定价方案
需要付费创始人评论
你好,
我们开发 tritify,是因为我们一直在反复思考一个问题:
如果同一个 AI 模型运行两次,为什么我们不能复现出完全相同的计算?
大多数推理栈主要围绕吞吐量进行优化,而 tritify 探索的是另一个维度:确定性。
它采用精确整数执行,因此在模型、输入和执行调度相同的情况下,每次运行都能复现相同的比特结果。
这一能力同样适用于分布式推理。
一个模型可以拆分到多台机器上,每台机器仅承载其中一部分,而分布式运行的结果仍可复现,并可通过哈希与参考运行结果进行校验。
我们使用 GLM-4.5-Air 验证了这一点——该模型约有 106.9B 个参数和约 427 GB 的整数编码,分布在三台机器上。
这并不是在宣称速度方面的提升。
我们的目标是实现可复现、可审计且可验证的执行。
tritify 依据 Apache 2.0 许可证开源。
GitHub:
https://github.com/pelloran-inc/tritify
论文:
https://doi.org/10.5281/zenodo.23986737
我们尤其欢迎独立的测试、批评意见以及可复现性实验结果。