Vision Model

YOLOv9

YOLO (You Only Look Once) v9 是一個深度學習物件偵測模型系列的最新版本。

主要特點:

• 比舊版本如 YOLOv8 更快、更準確
• 改進的主幹網路架構,增加了模型對物體的識別能力
• 更高效的資源利用,可以在較低配置的設備上運行
• 更好的小物件偵測能力

應用場景:

• 即時影像監控和分析
• 自動駕駛車輛的物件識別
• 工業生產線的品質檢測
• 醫學影像分析
• 智慧零售中的商品識別

這種技術之所以叫「You Only Look Once」,是因為它只需要看一次圖片就能同時:

1. 定位出物件在圖片中的位置 (用邊界框標示)
2. 辨識出物件的類別 (例如是人、車、貓等)
3. 計算出辨識結果的信心分數

LLaVA (Large Language and Vision Assistant) 模型

LLaVA是一個多模態AI模型,它結合了:

1. 視覺編碼器(Vision Encoder):

• 使用Vision Transformer (ViT)架構
• ViT將圖像分割成小塊(patches)
• 通過自注意力機制處理這些圖像塊
• 輸出圖像的向量表示

2. 大語言模型(LLM):

• 接收ViT處理後的圖像特徵
• 將圖像特徵與文本輸入結合
• 能夠理解圖像內容並用自然語言回應

主要特點：

• 端到端訓練
• 可以看圖回答問題
• 可以描述圖像內容
• 支援多輪對話
• 具備視覺推理能力

給它看一張貓的圖片,它不僅能認出這是貓,還能描述貓的顏色、動作、周圍環境等。