标签：降低训练成本

它仅用8k大小的token文档进行训练，就能将Llama-2窗口扩展至128k。 最重要的是，在这个过程中，只需要原来1/6的内存，模型就获得了10倍吞吐量。 除此之外，它还能大大降低训练成本： 用该方法对7B大小的羊驼2进行改造，只需要一...

赞(0)Xmebiz2024-06-14行业资讯 阅读(19)