三波知识百科

展开菜单

14MB内存跑起Gemma3!打印机一分钟一个token

14MB内存跑起Gemma3!打印机一分钟一个token
      快科技11月20日消息,Google DeepMind工程师Omar Sanseviero在社交平台上展示了一次实验,他把270M参数的Gemma模型塞进一台办公激光打印机里跑了起来。整个过程没有改打印机固件,也没有外接计算板。打印机里的算力一直被认为不够用,这次的做法是把推理编译成一份PostScript打印文件,交给打印机自带的解释器执行,模型就在机器内部完成计算。      搭档是一个叫Carbon的轻量推理引擎,它把模型压到打印机能承受的体量。为了不把内存...