All info about AI!
Colossal-AI首个开源了650亿参数LLaMA低成本预训练方案。 相比业界其他主流选择，该方案可提升预训练速度38%，仅需32张A100/A800即可使用，并且不限制商业使用。https://github.com/hpcaitech/ColossalAI
百川大模型(baichuan-7B)微调实战 - GPT 模型微调实战指南（六）
QLoRA: Efficient Finetuning of Quantized LLMs
Mosec is a high-performance and flexible model serving framework for building ML model-enabled backend and microservices. It bridges the gap between any machine learning models you just trained and the efficient online service API.
2023.06.27 《大模型时代的科研》之2: Prompt Engineering (提示词工程)
| [开源开放 | 开源知识图谱抽取工具发布大模型版DeepKE-LLM](https://mp.weixin.qq.com/s__biz=MzAxMTU5Njg4NQ==&mid=2247494530&idx=3&sn=8cd99c2c18c8a1c29e54f28885915f6d&chksm=9bbc0eb8accb87ae00517116c376ba1cf107c8111adb3c7b6131ab42cbdcbea892ac8f7f4606&from=industrynews&version=4.1.6.6020&platform=win#rd) |
Nougat：一种用于科学文档OCR的Transformer 模型
NLP（十七）：从 FlashAttention 到 PagedAttention, 如何进一步优化 Attention 性能
开源原驼（Guanaco）及背后的QLoRA技术，将微调65B模型的显存需求从780GB以上降低到48GB以下，效果直逼GPT-4，技术详解