六日行 · 熊猫熊猫看过来！

使用LLAMA.CPP推演百川13B大语言模型

脱离PyTorch，使用C++实现百川大语言模型的高效推理。

编译并使用基于华为CANN的ONNXRUNTIME C++库

为ONNXRUNTIME启用CANN支持，以无缝支持华为昇腾计算设备的C++开发。

Guanaco的秘密QLoRA

Guannaco说低精度也能获得好效果