12/31/2024 跨年夜

Happy New Year

Vision Model

YOLOv9

YOLO (You Only Look Once) v9 是一個深度學習物件偵測模型系列的最新版本。

主要特點:

• 比舊版本如 YOLOv8 更快、更準確
• 改進的主幹網路架構,增加了模型對物體的識別能力
• 更高效的資源利用,可以在較低配置的設備上運行
• 更好的小物件偵測能力

應用場景:

• 即時影像監控和分析
• 自動駕駛車輛的物件識別
• 工業生產線的品質檢測
• 醫學影像分析
• 智慧零售中的商品識別

這種技術之所以叫「You Only Look Once」,是因為它只需要看一次圖片就能同時:

1. 定位出物件在圖片中的位置 (用邊界框標示)
2. 辨識出物件的類別 (例如是人、車、貓等)
3. 計算出辨識結果的信心分數

LLaVA (Large Language and Vision Assistant) 模型

LLaVA是一個多模態AI模型,它結合了:

1. 視覺編碼器(Vision Encoder):

• 使用Vision Transformer (ViT)架構
• ViT將圖像分割成小塊(patches)
• 通過自注意力機制處理這些圖像塊
• 輸出圖像的向量表示

2. 大語言模型(LLM):

• 接收ViT處理後的圖像特徵
• 將圖像特徵與文本輸入結合
• 能夠理解圖像內容並用自然語言回應

主要特點：

• 端到端訓練
• 可以看圖回答問題
• 可以描述圖像內容
• 支援多輪對話
• 具備視覺推理能力

給它看一張貓的圖片,它不僅能認出這是貓,還能描述貓的顏色、動作、周圍環境等。

AI 在日常生活中的應用與服務設計

 目前AI 雲端運用如 ChatGPT, Claude, Gemini 等皆無法保證你輸入的資料不被用作訓練或外流，請謹慎使用。  

為避免隱私外流，請注意勿上傳個人隱私資料如身分，金融，病史...至雲端AI 。

家中與環境安全檢測

危害鏈

營養與熱量

旅遊

規劃旅遊行程 Plan an itinerary 

Monte Carlo

 

upload photo to generate Python code

change to js

Visualize (mistaken)

Fix it

Simulate with 1000 pts w/o animation

add animation

refresh every second

Monte Carlo Code

Strange family crossing a river

 problem statement

Use react to illustrate the process

(fails to solve. Helps illustrate.)

artifact (js)

I really like ChatGPT o1 reasoning performance.

Monologue is best.

Talking to itself

Running into difficulties? Cute

hours? Ha Ha Ha

How about relaxing one of the constraints:

One daughter case

Spectrum Auction in Game Theory

 

game theory

競爭頻譜

公司每日策略

autoplay

策略分析

color coding

Reasoning vs. Heuristics for AI

 

• A* search

• Reasoning vs. Heuristics for AI

題目來自網路

A* search

 

A* search algorithm

one more

initial

avoid obstacles(aesthetics)

considering Voronoi

Visualize TSP (Traveling Salesman Problem) by A* search (一個推銷員要拜訪所有客戶城市，每個城市只能拜訪一次，最後要回到出發城市，請為他/她計算最短的拜訪路徑)

Add editing on canvas by click and drop. (在網頁畫布上直接增加刪除城市)

River crossing interactive visualization 2

 渡河問題 1

渡河問題2

Claude solution (incorrect)

ChatGPT o1 solution 1

Problem via 許元銘

direct derivation failed

A* (default python)

change to js

wrap as html

text display

visualize scenario step-by-step (default demo)

visualize scenario step-by-step (real case)

add autoplay

visualize Manhattan distance and cost functions 

completion

change to grid

2d grid

additional condition