Apple Silicon本地推理现状讨论
一篇手写长文梳理了 Apple Silicon 上本地模型推理的最新状态,重点提到现有软件栈在 prefix caching、speculative decoding、paged KV cache、continuous batching 等能力上仍明显落后于 CUDA/NVIDIA 生态。文章结论是,想在 Mac 上跑得快仍需要在框架、调度和内存管理上继续补课。
一篇手写长文梳理了 Apple Silicon 上本地模型推理的最新状态,重点提到现有软件栈在 prefix caching、speculative decoding、paged KV cache、continuous batching 等能力上仍明显落后于 CUDA/NVIDIA 生态。文章结论是,想在 Mac 上跑得快仍需要在框架、调度和内存管理上继续补课。
用户在 128GB M5 Max 上测试 Qwen3.8 27B,给出了不同上下文长度下的 token/s 数据。结果显示 0-50k 上下文速度下降不大,50k 之后才明显变慢,适合评估本地大模型的实际吞吐。
有人在 Reddit 介绍了一个面向 4B/9B 小模型的平台,主打无代码微调、RAG 和快速部署,并提供 API 推理能力。发帖者认为多数生成式任务并不需要前沿大模型,轻量开源模型配合合适工具链就足够。
Cloudflare 推出开源运行时 Cloudflare Computer,旨在为 AI 智能体提供带持久状态的“计算机”环境,而非依赖临时容器。其架构以 isolates/Durable Objects 承载智能体,并按需调用容器沙箱和共享 SQLite 文件系统,以降低成本、提升启动速度和并发扩展能力。
作者更新了本地 LLM 仓库,把内容重构为可直接复用的 presets、证据包和原始实验记录。重点围绕 RTX 5060 Ti 上的 Qwen3.8 27B 配置和高上下文实测,方便用户直接照抄部署。
一名女性加入田纳西青少年针对 xAI 的诉讼,称继父使用 Grok 将其童年照片转成逾 7000 张露骨图像。案件指控 xAI 未采取基本防护措施,凸显生成式 AI 在儿童性虐待材料治理上的法律风险。
社区用户称单张 RTX 5090 运行 NInfer 上的 Qwen3.8-27B 4-bit NVFP4,可达 880 tok/s 聚合吞吐,并支持完整 262k 上下文。该引擎并非 llama.cpp 或 vLLM 分支,但使用封闭式格式且需转换权重。
Meta将AI押注为广告收入未来,但多家媒体报道称其AI广告工具仍会生成乱码文案、扭曲商品图像,甚至把连衣裙变成上衣和裤子。报道称部分功能还因Bug自动开启,叠加品牌AI广告引发消费者反感,凸显AI广告落地质量与信任问题。
SK海力士据报将在美国印第安纳州动工建设一座造价38.7亿美元的AI芯片封装工厂,继续加码先进封装产能。该项目反映出AI芯片供应链正向美国本土进一步延伸。
WSJ称苹果正测试长鑫存储、长江存储芯片,用于在中国销售的设备。美国商务部长卢特尼克表示已明确反对,标准现货采购合法,但定制芯片信息共享需美国许可;AI数据中心需求也加剧全球存储供应紧张。
Nature Reviews Drug Discovery发表综述,梳理AI在药物发现中的实际作用、当前瓶颈与未来路径。文章聚焦从靶点识别、分子生成到临床转化的进展,也强调数据质量、验证成本和监管仍是关键限制。
DeepX披露其AI芯片在量产首年已拿下77笔订单,合计约1300万美元,覆盖全球多个市场。对一家新进入者来说,这说明边缘AI芯片商业化已开始落地,但规模仍处早期。
Anthropic发布博客说明Claude生成文本水印机制,以满足欧盟《AI法案》透明度准则对AI生成内容可识别性的要求。公司回应了水印如何嵌入、编辑后是否仍可识别以及对代码生成影响等用户关切,相关决定已在Claude用户社区引发争议。
报道指长鑫存储的DDR5内存已达到9000 MT/s、CL28时序两个里程碑,显示国产DRAM在频率和延迟上继续推进。若消息属实,这对国内存储芯片能力和后续量产节奏都有参考意义。
文章认为,AI在高难数学问题上的优势未必主要来自更强推理,而可能来自近乎无限的外部符号工作空间。其核心观点是,大上下文和可持续展开的符号记忆,让模型能保留并操作远超人类工作记忆容量的中间步骤。
报道指美国准备要求合作伙伴在中美AI竞争中明确站队,并围绕技术、芯片与供应链设立更强约束。这反映出AI竞争正在从产业扩展到外交与地缘政策层面。
Nature报道,一种旨在改善脑部引流的阿尔茨海默病手术在中国因患者视频和康复证言走红,声称可逆转症状。该技术仍具争议,科学证据有限,但正进入全球多地临床试验阶段。
TechCrunch报道称,AI编程工具公司 Cursor 已正式并入 SpaceX,此前交易包含最高600亿美元的收购选择权。Cursor称加入后将获得 SpaceX 计算基础设施支持,若属实将是AI开发者工具领域的重大并购。
Reddit 转载讨论科技公司高管频繁发布 AI 相关宣言的现象。文章关注这些公开信和愿景叙事如何塑造行业预期、企业战略与公众对 AI 未来的认知。
TechCrunch发布指南,介绍如何检查 ChatGPT、Claude、Perplexity 等AI平台账号是否被入侵。文章建议使用密码管理器、唯一密码和多因素认证,并指出不同平台的登录与安全机制差异。