內容簡介
本書「手把手」帶領讀者實現深度學習推理框架,並支持大語言模型的推理 全書共9章,以實現開源深度學習推理框架KuiperInfer為例,從基礎的張量設計入手,逐步深入講解計算圖、核心運算元等關鍵模塊的設計與實現。此外,書中還介紹了如何支持基於CNN的模型,如ResNet YOLOv5,以及大語言模型Llama 2的推理。書中代碼基於C++,貼近業界實踐 本書面向深度學習初學者、希望進一步了解深度學習推理框架的開發者,以及其他對相關內容感興趣的AI從業者。跟著本書,你不僅能夠掌握深度學習推理框架的核心知識,還能在本項目的基礎上進行二次開發。作者簡介
傅莘莘,AI系統工程師,專註于深度學習推理框架與AI編譯器的研發。曾主導多款深度學習推理框架從0到1的設計與實現,在推理效率與精度優化方面取得了實際成果。 在B站開設了「自製推理框架」「自製大模型推理框架」等系列視頻公開課(累計播放數超過10萬),以通俗易懂的方式講解技術,深受學生及其他技術愛好者的喜愛。目錄
第1章 深度學習推理框架基礎