Blockify 改寫企業 RAG：用 IdeaBlock 取代 chunking、壓縮 40 倍、token 減 3 倍
企業 AI 資料優化新工具 Blockify 5 月 9 日由 akshay_pachaar 整理推廣、宣稱在 RAG（Retrieval-Augmented Generation）流程中、可把企業資料庫壓縮 40 倍、查詢 token 用量減 3 倍、向量搜尋準確率提升 2.3 倍。Blockify 官方 GitHub說明：產品由 Iternal Technologies 推出、用「IdeaBlock」結構化知識單元取代傳統 chunking、並透過去重合併讓知識庫保持精簡、連貫、可治理。
核心概念：用 IdeaBlock 取代傳統 chunking
Blockify 的技術設計：
- 傳統做法：把長文件切成固定大小的 chunk、嵌入向量、檢索時取 top-k
- Blockify 做法：把原始內容轉換為 IdeaBlock—XML 結構化知識單元
- 每個 IdeaBlock 內含：自帶問題、可信答案、tag、實體、關鍵字
- 相似 IdeaBlock 自動去重合併、知識庫不會隨內容增長膨脹
傳統 chunking 的問題是同一資訊可能在多個 chunk 中重複出現、造成檢索冗餘與 token 浪費；IdeaBlock 透過去重把資訊密度提升、同樣內容用更小的儲存空間表達。
廣告 - 內文未完請往下捲動
具體效益：壓縮 40 倍、token 減 3 倍、準確率升 2.3 倍
Blockify 公布的具體效益指標：
- 資料壓縮：企業資料庫縮減至原大小約 2.5%（40 倍壓縮）、保留 99% 以上資訊
- 每查詢 token：從約 303 個（傳統 chunk）降至約 98 個（IdeaBlock）—3.09 倍效率
- 向量檢索準確率：提升 2.29 倍
- 整體準確率改善：約 78 倍（含去重與檢索改進綜合效應）
- 成本節省試算：1 億查詢／年、節省 token 成本約 73.8 萬美元
78 倍的整體準確率提升是綜合效應—去重減少噪音、IdeaBlock 結構化內容對向量檢索友善、單次回答 token 數下降同時減少模型出錯空間。
整合範圍：LlamaIndex、LangChain、Milvus、Cloudflare 等主流框架
Blockify 已整合的開發者工具與基礎設施：
- RAG 框架：LlamaIndex、LangChain
- 知識管理：Obsidian
- 向量資料庫：Milvus、Elastic、Supabase
- 邊緣運算：Cloudflare
- 低程式碼整合：n8n（透過工作流程模板）
Blockify 的整合策略是「作為既有 RAG 框架的前置資料優化層」。開發者可在現有 LlamaIndex 或 LangChain 流程中、用 Blockify 替換原本的 chunking 步驟、其餘流程不變。
後續可追蹤的具體事件：Blockify GitHub 星數成長與社群採用率、Iternal Technologies 是否就 IdeaBlock 結構申請或揭露技術細節（目前標榜「patented ingestion」）、以及主流 RAG 框架是否將類似去重邏輯內建為預設功能。
風險提示
加密貨幣投資具有高度風險，其價格可能波動劇烈，您可能損失全部本金。請謹慎評估風險。
