DeepSeek Harness桌面壳开源
开发者开源 DeepSeek Harness 轻量桌面版 dsh-desktop,在不改动原项目内容的前提下封装为 macOS 与 Windows App。该版本内置 Node.js 运行时,并加入版本管理与切换,降低命令行启动和环境不一致带来的使用门槛。
开发者开源 DeepSeek Harness 轻量桌面版 dsh-desktop,在不改动原项目内容的前提下封装为 macOS 与 Windows App。该版本内置 Node.js 运行时,并加入版本管理与切换,降低命令行启动和环境不一致带来的使用门槛。
MCP 2026-07-28规范移除协议会话,改为每个请求携带版本、客户端身份和能力,便于横向扩缩和负载均衡。新规范要求Streamable HTTP请求包含Mcp-Method与Mcp-Name标头,使网关可直接按工具和方法做路由、限流、计量与治理,也引发“是否回到传统API”的讨论。
一篇手写长文梳理了 Apple Silicon 上本地模型推理的最新状态,重点提到现有软件栈在 prefix caching、speculative decoding、paged KV cache、continuous batching 等能力上仍明显落后于 CUDA/NVIDIA 生态。文章结论是,想在 Mac 上跑得快仍需要在框架、调度和内存管理上继续补课。
有人在 Reddit 介绍了一个面向 4B/9B 小模型的平台,主打无代码微调、RAG 和快速部署,并提供 API 推理能力。发帖者认为多数生成式任务并不需要前沿大模型,轻量开源模型配合合适工具链就足够。
Cloudflare 推出开源运行时 Cloudflare Computer,旨在为 AI 智能体提供带持久状态的“计算机”环境,而非依赖临时容器。其架构以 isolates/Durable Objects 承载智能体,并按需调用容器沙箱和共享 SQLite 文件系统,以降低成本、提升启动速度和并发扩展能力。
作者更新了本地 LLM 仓库,把内容重构为可直接复用的 presets、证据包和原始实验记录。重点围绕 RTX 5060 Ti 上的 Qwen3.8 27B 配置和高上下文实测,方便用户直接照抄部署。
社区用户称单张 RTX 5090 运行 NInfer 上的 Qwen3.8-27B 4-bit NVFP4,可达 880 tok/s 聚合吞吐,并支持完整 262k 上下文。该引擎并非 llama.cpp 或 vLLM 分支,但使用封闭式格式且需转换权重。
ggml-org/llama.cpp 收到新增 Kimi-K3 文本模型支持的 Pull Request。该动态属于本地大模型推理生态的常规适配进展,后续是否合并仍待项目维护者审核。
社区开发者发布 Gemma 4 E4B IQ2_XXS 量化版本,通过张量级精度分配在 3.3GB 预算下将推理成绩从 28.9 提升至 69.5。作者称该方法在极低比特量化下保留了 BF16 源模型约 96.7% 的推理表现,对本地小显存部署有参考价值。
Reddit用户称用自研Blaze编译器与推理引擎,在单张RTX 4090和64GB内存上跑通DeepSeek-v4-flash-0731的Unsloth IXQ2/Q3检查点。其方案将高频专家保留在内存,当前约5-8 tokens/s,后续计划公开技术栈细节。
V2EX用户分享在 DeepSeek Harness 中调用 V2EX 提供的 deepseek-v4-flash:0731 的配置方法,包括 Base URL、模型名和 API token 获取入口。该帖还附带 V2EX LLM API 用量规则链接,属于社区工具接入教程。
ThoughtDAG 是一个面向 LLM 对话的可编辑上下文图工具,用图结构把历史消息、证据和分支显式连接起来,便于控制哪些内容会进入下一轮请求。作者强调它能减少无关上下文污染,让摘要、推理和后续提问更可控。
xiaobright开源dsh-anchored-standard,先以最小对齐配置完成启动,再切换至完整Standard工具集。项目在Project2测试中取得98/99,GitHub已获658星。
mlx-dspark 0.10.0加入Qwen3.8-27B支持,利用推测解码在M4 Pro上将8位模型平均提速2.45倍,数学任务最高约3倍。测试称输出与普通贪心解码一致,8位模型加速后速度还能超过未加速的4位模型。
社区用户对Qwen3.8 27B原始Jinja聊天模板与此前改进版进行对比,指出两者存在格式偏差和潜在输出质量问题。新模板尽量保持训练时提示格式,同时修复已知问题,面向本地推理和基准测试场景。
开源项目《DeepSeek Harness橙皮书》整理完整系统提示词、129行启动清单及三份原始会话日志,提供官方文档之外的一手实测分析。项目支持PDF、EPUB和HTML格式,GitHub已获545星。
NInfer宣布首日支持Qwen3.8-27B,并发布适配权重。作者称在单张RTX 5090上借助推测解码可达约200 tok/s,同时加入共享分页KV缓存、并发请求和CUDA内核优化。
谷歌展示 Private Computing Toolkit 新工具 HEIR,这是面向同态加密的开源编译器,可支持加密数据上的私密 AI 推理。该技术旨在让医疗、金融等敏感场景在不暴露原始数据的情况下使用 AI 服务。
GitHub新项目Small-tailqwq/dsh-deep-whale获得约540星,提供DSH Web“鲸鱼娘”皮肤系列,采用CC BY-NC-SA 4.0许可。项目偏向社区美化与生态扩展,热度较高但技术信息有限。
Android Remote Control MCP发布1.11.0版,可让AI Agent免Root、免数据线操作手机应用。新隐私模式会在端侧识别并遮蔽邮箱、电话、银行卡及证件号等个人信息,作者称基准测试召回率约87%。