Skip to content

代理上下文限制 #1896

@an-1024

Description

@an-1024

Self Checks / 自检

Related App / 涉及应用

Claude Code

Problem or Motivation / 问题或动机

在通过 cc-switch 代理使用阿里百炼大模型时,我经常因输入上下文过大,超出模型计费的第一阶梯 token 限制,导致请求自动进入更高计费档位,产生不必要的高额费用。
目前代理没有任何请求前的 token 校验机制,付费用户无法避免这种意外超额消费,尤其在处理大代码库、全项目上下文、长对话历史时,很容易触发高价计费。为付费用户增加请求前的 token 阈值校验,是极具价值的成本控制功能。

Proposed Solution / 建议方案

在 cc-switch 代理中新增请求前 token 校验与成本控制功能,具体实现如下:
可配置 token 阈值:允许用户在配置文件中自定义输入 token 上限(如 100000 tokens)
请求前校验:在发送请求前,代理自动计算当前请求的输入 token 总数
超额提示与拦截:
若输入 token 超出阈值,向用户弹出明确警告,展示当前 token 数与阈值对比,询问是否继续执行请求,或直接终止请求
支持「自动中止」模式,超额时直接拦截请求并通知用户
成本可视化(可选):根据模型计费档位,展示本次请求的预估费用,让用户在发送前做出决策
该功能可有效帮助付费用户避免意外高额计费,降低 API 不必要支出,让 cc-switch 更适配成本敏感的开发场景。

Additional Context / 补充信息

No response

Contribution / 参与贡献

  • I am interested in contributing to this feature.
    我有兴趣参与开发此功能。

Metadata

Metadata

Assignees

No one assigned

    Labels

    enhancementNew feature or request

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions