TeleChat3

星辰語義大模型- TeleChat3是一款由中國電信人工智能研究院開發的高性能大語言模型，專注於自然語言處理任務。該模型基於國產算力訓練，具有強大的推理和微調能力，適合各類應用場景。產品致力於為開發者提供高效、靈活的AI 解決方案，特別是在知識、創作、指令、代碼等多個維度展示出色的性能。

需求人群：

"該產品適合自然語言處理、AI 開發者和研究人員，特別是那些需要進行文本生成、知識問答、代碼生成等任務的人群。 TeleChat3強大的推理能力和靈活的微調選項使其成為研究和開發中的理想工具。"

使用場景示例：

使用TeleChat3進行文本生成，適合寫作助手應用。

在教育領域中，通過TeleChat3提供知識問答服務。

開發代碼助手工具，利用TeleChat3的代碼生成能力。

產品特色：

高性能推理：支持單卡和多卡推理，優化長文處理。

微調支持：利用LLaMA-Factory 進行模型的微調和權重合併。

適配國產硬件：支持昇騰Atlas 800T A2 訓練服務器，實現高效訓練和推理。

多種能力評測：在知識、數學、創作等多個維度進行全面評測，展示出色的模型性能。

服務化推理：支持vLLM 和SGLang 框架的快速推理和服務功能。

使用教程：

下載模型和相應的庫。

導入所需的庫，例如transformers 和torch。

加載模型和tokenizer，設置推理設備。

準備輸入數據，格式化成模型所需的結構。

調用模型生成方法，獲取生成的結果。