随着ChatGPT等大语言模型的迅速发展，大语言模型已经成为人工智能领域发展的快车道，不同领域涌现出各种强大的新模型。发者想要独立构建、部署符合自身需求的大语言模型，需要理解大语言模型的实现框架和基本原理。 本书梳理大语言模型的发展，首先介绍Transformer模型的基本原理、结构和模块及在NLP任务中的应用；然后介绍由只编码（Encoder-Only）到只解码（Decoder-Only）的技术路线发展过程中对应的 BERT、GPT等大语言模型；下来介绍大语言模型在部署、训练、调优过程中涉及的各种关键技术，如自动并行、预训练与微调、RLHF等，并提供相应的实践指导；最后以源大语言模型BLOOM和LLaMA为样例，介绍其架构和实现过程，帮助读者理解并构建、部署自己的大语言模型。本书还提供了基于MindSpore框架的丰富样例代码。 本书适合人工智能、智能科学与技术、计算机科学与技术、电子信息工程、自动化等专业的本科生和研究生阅读，同时也为从事大语言模型相关工作的软件发工程师和科研人员提供翔实的参考资料。<br/>【推荐语】<br/>1、本书以MindSpore人工智能框架在大语言模型领域的应用为主要内容，详尽阐述了MindSpore框架在大语言模型中的应用。 2、无论是发者、从业者还是学生，希望能够快速理解并构建大模型，本书以实践为主，能够帮助发者快速理解并造自己的大模型。 3、本书强调实战应用，提供了丰富的实战案例和代码示例，助力读者在实践中掌握构建和优化大语言模型的关键技术。<br/>【作者】<br/>陈雷 加拿大滑铁卢大学计算机博士。现担任香港科技大学(广州)信息枢纽院长，数据科学与分析学域讲座教授，广州市大数据智能重实验室主任。研究方向包括数据驱动的人工智能、大数据分析、知识图谱、众包、区块、图数据库、概率和不确定数据库，以及时空和时间序列数据库。曾获2020年度中国电子学会科学技术奖一等奖、2015年ACM SIGMOD时间检测奖2022 WLDB研究论文奖、2014LDB示范奖。曾担任ICDE2023和VLDB2019 PC联合主席、VLDB Journal联合主编、VLDB基金会执行委员。目前担任IEEETKDE主编、DASFAA国际会议指导委员会主席、长江讲座教授，当选IEEE会士和ACM杰出科学家，获得国家杰出青年科学基金海外青年学者合作研究项目支持。<br/>
評論0