Jockey

Jockey是一個基於Twelve Labs API和LangGraph構建的對話式視頻代理。它將現有的大型語言模型(Large Language Models, LLMs)的能力與Twelve Labs的API結合使用，通過LangGraph進行任務分配，將復雜視頻工作流程的負載分配給適當的基礎模型。 LLMs用於邏輯規劃執行步驟並與用戶交互，而與視頻相關的任務則傳遞給由視頻基礎模型(Video Foundation Models, VFMs)支持的Twelve Labs API，以原生方式處理視頻，無需像預先生成的字幕這樣的中介表示。

需求人群：

" Jockey主要面向需要處理複雜視頻工作流程的開發者和團隊，尤其是那些希望利用大型語言模型來增強視頻內容創作和編輯流程的用戶。它適合需要高度自定義和自動化視頻處理任務的專業用戶。"

使用場景示例：

視頻編輯團隊使用Jockey自動化視頻剪輯和字幕生成。

內容創作者利用Jockey生成視頻草稿和故事板。

教育機構使用Jockey創建交互式視頻教程。

產品特色：

結合大型語言模型與視頻處理API進行複雜視頻工作流程的負載分配。

使用LangGraph進行任務分配，提高視頻處理效率。

通過LLMs邏輯規劃執行步驟，增強用戶交互體驗。

無需中介表示，直接利用視頻基礎模型處理視頻任務。

支持自定義和擴展，以適應不同的視頻相關用例。

提供終端和LangGraph API服務器部署選項，靈活適應開發和測試需求。

使用教程：

1. 安裝必要的外部依賴，如FFMPEG、Docker和Docker Compose。

2. 克隆Jockey的GitHub倉庫到本地環境。

3. 創建並激活Python虛擬環境，安裝所需的Python包。

4. 配置.env文件，添加必要的API密鑰和環境變量。

5. 使用Docker Compose部署Jockey API服務器。

6. 通過終端運行Jockey實例進行測試或使用LangGraph API服務器進行端到端部署。

7. 使用LangGraph Debugger UI進行調試和端到端測試。