untrained instances

 未曾訓練，也無從推理

1. strawberry, how many r

2.  Devise a strategy for the dog in the picture to retrieve its ball that fell into the pond without getting its body wet, with no humans nearby to help."

This is a problem-solving or creative thinking exercise asking someone to come up with a plan for how a dog could get its ball back from water without getting wet and without human assistance.

Animate your strategy in svg or in 3d.

Use of stick, share （unsatisfactory)

Use of float（人機協作）

nudge Claude

nudge ChatGPT

When AI fails

 多個限制條件的複雜問題 

超出記憶長度

untrained instances (未曾訓練，也無從推理)

藝術人文

洞察力 (Challenge to LLM)

複雜結構: 例如彈珠檯 pinball，2

take home messages

AI 開場

課程目標: 任務設計，系統開發，動畫模擬 (Hand out)

電子學滿分，其他教科書考試亦然

完成史丹佛博班期末專題

至少一千行工程系統模擬程式

實際工業水準問題解決

撰寫20,000字以上學術論文/科學繪圖

 

AI 的答案是怎麼來的?

生成式AI 是什麼

AI 求解在數學上是如上圖在一個複雜非線性函數尋找最小誤差的數學過程， 以這張圖為例 每次答案之所以不一樣是因為AI每次啟動都會給予一個新的起始點 以至於每次最後收斂的誤差最低點都不會一樣

滾球滾向谷低點

如何生成 (動畫)

• 故事
• 內在機制

 

English and AI

最好的程式語言重新被定義 (Python? JavaScript?)

Vibe coding

When ＡＩfails

算力

提示使用英文的重要性

AI語言模型使用技巧講義

這份講義涵蓋了對話中提到的核心概念：

1. 為什麼使用英文效果更好 - 因為大型語言模型主要用英文訓練
2. 語言能力不足的解決方案 - 可以使用翻譯或破英文
3. Transformer架構的技術原理 - 注意力機制會抓取關鍵詞彙
4. 實用的應用技巧 - 重視關鍵詞勝過完美語法

講義的設計讓讀者能夠理解AI語言模型的工作原理，並提供具體的使用建議。

實例

核心觀念：語言的選擇與效果

為什麼建議使用英文？

主要原因：

• 另外試著使用科技英文，出來的效果會較好
• 西方的大型語言模型主要是使用英文訓練的，使用中文的語境會限縮，效果會受限

語言能力不足的解決方案

如果英文不好怎麼辦？

• 可以先翻譯再輸入
• 不害怕翻譯也沒關係，使用破英文也沒關係

技術原理解析

Transformer架構的特性

現在的大型語言模型核心都是transformer，具有內建注意力機制：

注意力機制的作用：

• 會去抓你的核心字彙
• 不太在乎你的文法
• 只要用對字彙，效果就會挺好的

實際應用建議

語言使用策略：

1. 優先考慮英文輸入

   • 科技英文效果最佳
   • 即使是破英文也比中文效果好

2. 中文使用場景

   • 需要中文輸出時
   • 特定文化語境的內容

3. 混合使用

   • 關鍵詞用英文
   • 說明用中文
   • 充分利用注意力機制

實用技巧總結

輸入優化

• 關鍵字優先：確保重要概念用正確的詞彙表達
• 語法次要：不必過度擔心語法完美性
• 語言選擇：技術內容優先使用英文

效果提升方法

1. 識別核心概念和關鍵詞
2. 使用模型訓練語言（英文）表達關鍵概念
3. 善用翻譯工具輔助
4. 不要因為語言能力限制而放棄嘗試

結論

大型語言模型的transformer架構讓我們可以更靈活地使用語言。重點在於：

• 內容重於形式
• 關鍵詞重於語法
• 英文優於中文（在技術領域）
• 嘗試重於完美

記住：現代AI的注意力機制會幫你抓重點，所以勇敢嘗試，用對字彙比完美語法更重要！

Engineering simulation using Claude

realistic, v6, boxer, Claude

boxer, AIStudio

v8 (3d, share)

Jet Engine    

share

Turbofan Jet Engine

Turbofan higher accomplishment parallel version

RAMJet (how it works)

RAMJet higher accomplishment

stealth fighter, share

Animate PECVD (Plasma-Enhanced Chemical Vapor Deposition), 3d， artifact

(credit: 碩專作品)

Animate

PECVD industrial (share)

PECVD thin film deposition 

PVD (1)

PVD (2)

示範: AI 快速開發 無人機飛行模擬視覺化 (1094 lines of code)

AI 對話撞到長度限制 max length reached

 每個對話( chat) 都有容許的記憶長度(context window)，這跟人類是不一樣的，人類可以在老年時依然記得初戀，或是回想起小時候第一次抱起乳貓小三花時鮮明的情感的湧現，但AI的記憶會受到這個context window 的限制，比較誇張的比喻是金魚腦，正如金魚會忘記兩秒以前發生的事情，只活在當下，忘記過去。當你跟AI的對話長度接近這個記憶長度時，如果系統放任不管，AI 接下來會開始遺忘先前討論的事情，像一個失智者開始胡言亂語，明明剛剛在聊去年住在巴黎的事，突然改口說我這輩子沒有出過國，當然系統會去阻止這種事情發生。至此，你有三個選項：

1. 縮短您的訊息：請求更簡潔的回應或以較少的回應請求資訊。

2. 開始新的對話：開始一個新的聊天以重置(reset 歸零)長度限制，先前的結果建議打包（例如最後的 artifact）帶走，餵給新的對話，以便保留情境(context)。

3. 升級至Claude Pro：這個付費選項可以提供更高的訊息長度限制。(ChatGPT 也有類似 Pro 付費服務)

如需立即解決，我建議開啟一個新的對話，並以較少的回應請求內容。例如，可以一次請求報告的一或兩個部分，而不是整個文件。

無法繼續輸入，是context window 問題，與限流無關，但可能剛好某一個chat 的 context window 用完時你也剛好被限流

只要開啟新的對話，記憶歸零

AI 的關鍵提問 Q&A

 規模的迷思 : AI 的規模與問題解決策略

有了 AI 之後，大學的價值是甚麼(MIT 研究材料科學的例子，學習AI和讀碩士孰輕孰重)

AI 真的有創意嗎?

AI 聰明如何衡量?

AI 人機協作

當 AI 推理模式跟你想的不一樣，怎麼辦

4. 有了 AI 之後，大學的價值是什麼

以 MIT 研究材料科學為例：

- 大學教育提供：

  - 基礎理論知識

  - 實驗操作經驗

  - 研究方法訓練

  - 專業人脈網絡

  - 批判性思維能力

  - 團隊合作經驗

學習 AI 和攻讀碩士學位服務於不同目的。碩士學位提供專業知識和研究經驗，而 AI 知識提供分析和自動化工具。選擇取決於職業目標 - 這兩者並不互斥，反而可以相輔相成。

多個限制條件的複雜問題

  當AI面對包含多個限制條件的複雜問題時，確實存在難度。

在注意力機制(Attention mechanism)中，模型需要同時關注多個條件，並且每個注意力分配都是基於概率的。當條件數量增加時，要同時滿足所有條件的概率會顯著降低，這就像是連續投擲硬幣並期望全部正面朝上一樣——條件越多，全部滿足的概率越低。

這種情況下，模型可能會:

• 忽略某些條件
• 錯誤理解條件之間的關係
• 在滿足一些條件的同時違反其他條件

如果您有一個包含多個複雜條件的問題需要解決，我建議將問題分解成較小的部分，逐步處理每個條件，這樣會更容易得到準確的解答。

illustration

為什麼  ( non-RL LLM) 不擅長規劃 (source paper)

source

Claude man in the loop

Gemini 2.5 Pro got it right twice in a row

Attention model

一輛最多可載3人的汽車需要運送5個人 - Alice、Bob、Carlos、Diana 和 Elena。請考慮以下條件：

• Alice 拒絕和 Bob 同車
• Carlos 必須與 Diana 同行
• Elena 是唯一持有駕照的人
• 在起點或終點都不能留下單獨一位女性

請擬定一個運輸計畫，能夠減少運輸人次更好。 

failed plan normal

success

Neutron star collision

  (story from Nature)

Interactive Telescope

gravitational wave detectors

Interactive Gravitational Wave Simulation

left panel

right panel

Earth Observatories

場域應用與服務設計 Syllabus 2025 Fall

張耀仁教授

9/9, 9/16 Introduction

示範: AI 快速開發 無人機飛行模擬視覺化 (1094 lines of code)

AI 在半導體產業的應用

百工如何使用ＡＩ (SVG)

什麼是「場域應用與服務設計」？AI 如何賦能服務設計？ -> 介紹學期專案

AI 入門

9/16, 9/23 Prompts

AI 互動的基礎：如何與 AI 有效溝通 (Prompt 基礎篇)

合成物件

9/23 - Visualization

演算法視覺化

工程動畫

9/30 Enhanced Visualization

Enhance visualization (M. I. P.)

10/7 Reasoning

推理模式

推理模式 special topic: Smart Dog Ball Retrieval

10/14 Reasoning for Complex Problems

Make AI smarter (Dog Retrieving Ball)

Reasoning with AI for Complex Constrained Problems: Dinner Scheduling 

10/21 Dinner Operation

Catch up

Follow up

Animation for dinner scheduling

10/28 Backtrack

backtrack

A* macro thinking for electronic engineering problems

11/4 - 期中考暫停上課一次

11/11 颱風

11/18 Solving Electronics

Catch up

Follow up

A* macro thinking for electronic engineering problems

Solving Electronics (Long Chain of Thought)

11/25 Circuit Optimization

Catch Up

AI is the new UI

AI is the new development and prototyping environment

Follow Up

Optimize Circuit Design Using A*

12/2  RL

follow up (Circuit Optimization)

RL pt.1

12/9 RL

Follow up RL

RL pt.2

Reinforcement Learning (an introduction)

12/16 RL

Follow up RL 2

Financial analysis

12/23 

ＡＩ 在PCB產業的應用

12/30 RL

Follow up RL 3

規模 9.0 程式設計的地震 

backup

Prompt Engineering Guide

Japan in Geological evolution

• Financial 2

  Financial 3

End of Class

12/31/2024 跨年夜

Monte Carlo

upload photo to generate Python code

change to js

Visualize (mistaken)

Fix it

Simulate with 1000 pts w/o animation

add animation

refresh every second

Monte Carlo Code

 

A* search

 

A* search algorithm

one more

Traveling Salesman Problem 簡稱TSP

(一個推銷員要拜訪所有客戶城市，每個城市只能拜訪一次，最後要回到出發城市，請為他/她計算最短的拜訪路徑)

TSP在工業界有重要應用，包括物流（UPS/Amazon配送路線優化）、製造業（電路板鑽孔、機器人組裝路徑）、電信（網路路由、線路安裝）和能源（電網維護、管線檢查）。凡是需要造訪多個地點同時最小化成本、時間或距離的場合都適用。現代變體能處理容量限制、時間窗口等實際約束。企業使用OR-Tools、Gurobi等專業軟體解決這些問題，透過優化倉儲揀貨、切割模式、3D列印路徑和車隊管理等作業，往往能節省數百萬成本。

(樸素) Visualize TSP (Traveling Salesman Problem) by A* search 使其可以改變網路節點個數

(美學) 視覺化 A* for Traveling Salesman Problem 使其可以改變網路節點個數

給定一個電路板，進行鑽孔程序模擬的優化 (建議 AI 一個演算法，例如A*, Greedy Method...)

A* Drilling

電路板鑽孔程序模擬

AI 在 PCB 產業的應用

Routing

initial

A*

avoid obstacles(aesthetics)

Voronoi routing + A*

considering Voronoi

分享研究經驗

 

Nutrition & calories

計算一天三餐的營養與熱量

晚餐

中餐

早餐

下午茶

 

使用內省思路逐一針對缺失改進論文

思維鏈，思路，Chain of Thought: 一種按部就班，將複雜任務化為連續較為簡單步驟，使理路更為清晰，每個步驟較容易執行，最後目標因而更容易達成的思考方法。(例如:渡船問題)

 

you are a professor. criticize chap 2 of the thesis

List of Weakness

According to weakness 1, improve chap 2, mark the difference in bold.

依據弱點1. 改寫chap 2, 改寫處以黑體字表示

改寫結果

According to weakness 2, keep improving chap 2, mark the difference in bold.

依據弱點2. 繼續改寫chap 2, 改寫處以黑體字表示

改寫結果