Thursday, June 12, 2025

Wednesday, June 11, 2025

AI 對話撞到長度限制 max length reached

 每個對話( chat) 都有容許的記憶長度(context window),這跟人類是不一樣的,人類可以在老年時依然記得初戀,或是回想起小時候第一次抱起乳貓小三花時鮮明的情感的湧現,但AI的記憶會受到這個context window 的限制,比較誇張的比喻是金魚腦,正如金魚會忘記兩秒以前發生的事情,只活在當下,忘記過去。當你跟AI的對話長度接近這個記憶長度時,如果系統放任不管,AI 接下來會開始遺忘先前討論的事情,像一個失智者開始胡言亂語,明明剛剛在聊去年住在巴黎的事,突然改口說我這輩子沒有出過國,當然系統會去阻止這種事情發生。至此,你有三個選項:


1. 縮短您的訊息:請求更簡潔的回應或以較少的回應請求資訊。

2. 開始新的對話:開始一個新的聊天以重置(reset 歸零)長度限制,先前的結果建議打包(例如最後的 artifact)帶走,餵給新的對話,以便保留情境(context)。

3. 升級至Claude Pro:這個付費選項可以提供更高的訊息長度限制。(ChatGPT 也有類似 Pro 付費服務)

如需立即解決,我建議開啟一個新的對話,並以較少的回應請求內容。例如,可以一次請求報告的一或兩個部分,而不是整個文件。


無法繼續輸入,是context window 問題,與限流無關,但可能剛好某一個chat 的 context window 用完時你也剛好被限流

只要開啟新的對話,記憶歸零

Tuesday, June 10, 2025

AI 的關鍵提問 Q&A

 規模的迷思 : AI 的規模與問題解決策略




4. 有了 AI 之後,大學的價值是什麼
以 MIT 研究材料科學為例:
- 大學教育提供:
  - 基礎理論知識
  - 實驗操作經驗
  - 研究方法訓練
  - 專業人脈網絡
  - 批判性思維能力
  - 團隊合作經驗

學習 AI 和攻讀碩士學位服務於不同目的。碩士學位提供專業知識和研究經驗,而 AI 知識提供分析和自動化工具。選擇取決於職業目標 - 這兩者並不互斥,反而可以相輔相成。


多個限制條件的複雜問題

  當AI面對包含多個限制條件的複雜問題時,確實存在難度。

在注意力機制(Attention mechanism)中,模型需要同時關注多個條件,並且每個注意力分配都是基於概率的。當條件數量增加時,要同時滿足所有條件的概率會顯著降低,這就像是連續投擲硬幣並期望全部正面朝上一樣——條件越多,全部滿足的概率越低。

這種情況下,模型可能會:

  • 忽略某些條件
  • 錯誤理解條件之間的關係
  • 在滿足一些條件的同時違反其他條件

如果您有一個包含多個複雜條件的問題需要解決,我建議將問題分解成較小的部分,逐步處理每個條件,這樣會更容易得到準確的解答。









Claude man in the loop
Gemini 2.5 Pro got it right twice in a row



一輛最多可載3人的汽車需要運送5個人 - Alice、Bob、Carlos、Diana 和 Elena。請考慮以下條件:

  • Alice 拒絕和 Bob 同車
  • Carlos 必須與 Diana 同行
  • Elena 是唯一持有駕照的人
  • 在起點或終點都不能留下單獨一位女性

    請擬定一個運輸計畫,能夠減少運輸人次更好。 
    failed plan normal

    Neutron star collision

      (story from Nature)










    Monday, June 09, 2025

    場域應用與服務設計 Syllabus 2025 Fall

    9/9, 9/16 Introduction

    示範: AI 快速開發 無人機飛行模擬視覺化 (1094 lines of code)

    AI 在半導體產業的應用

    百工如何使用AI (SVG)

    什麼是「場域應用與服務設計」?AI 如何賦能服務設計? -> 介紹學期專案

    AI 入門

    9/16, 9/23 Prompts

    AI 互動的基礎:如何與 AI 有效溝通 (Prompt 基礎篇)

    合成物件

    9/23 - Visualization

    演算法視覺化

    工程動畫

    9/30 Enhanced Visualization

    Enhance visualization (M. I. P.)

    10/7 Reasoning

    推理模式

    推理模式 special topic: Smart Dog Ball Retrieval

    10/14 Reasoning for Complex Problems

    Make AI smarter (Dog Retrieving Ball)

    Reasoning with AI for Complex Constrained Problems: Dinner Scheduling 

    11/4 - 期中考暫停上課一次

    11/11 颱風

    11/18 Solving Electronics


    Solving Electronics (Long Chain of Thought)

    12/9 RL

    Follow up RL

    RL pt.2

    Reinforcement Learning (an introduction)


    Sunday, December 08, 2024

    A* search

     

















    Traveling Salesman Problem 簡稱TSP

    (一個推銷員要拜訪所有客戶城市,每個城市只能拜訪一次,最後要回到出發城市,請為他/她計算最短的拜訪路徑)

    TSP在工業界有重要應用,包括物流(UPS/Amazon配送路線優化)、製造業(電路板鑽孔、機器人組裝路徑)、電信(網路路由、線路安裝)和能源(電網維護、管線檢查)。凡是需要造訪多個地點同時最小化成本、時間或距離的場合都適用。現代變體能處理容量限制、時間窗口等實際約束。企業使用OR-Tools、Gurobi等專業軟體解決這些問題,透過優化倉儲揀貨、切割模式、3D列印路徑和車隊管理等作業,往往能節省數百萬成本。


    (樸素) Visualize TSP (Traveling Salesman Problem) by A* search 使其可以改變網路節點個數

    (美學) 視覺化 A* for Traveling Salesman Problem 使其可以改變網路節點個數









    給定一個電路板,進行鑽孔程序模擬的優化 (建議 AI 一個演算法,例如A*, Greedy Method...)




    Wednesday, November 20, 2024

    Tuesday, October 29, 2024

    使用內省思路逐一針對缺失改進論文

    思維鏈,思路,Chain of Thought: 一種按部就班,將複雜任務化為連續較為簡單步驟,使理路更為清晰,每個步驟較容易執行,最後目標因而更容易達成的思考方法。(例如:渡船問題)

     

    you are a professor. criticize chap 2 of the thesis








    According to weakness 1, improve chap 2, mark the difference in bold.

    依據弱點1. 改寫chap 2, 改寫處以黑體字表示





    According to weakness 2, keep improving chap 2, mark the difference in bold.


    依據弱點2. 繼續改寫chap 2, 改寫處以黑體字表示


    改寫結果

    Monday, October 28, 2024

    #6 Enhance Writing by AI

    課堂練習 

    使用 Claude Sonnet 3.5 

    ChatGPT 4o


    Deadline: This is an in-class exercise. 無需繳交作業。


    1. 使用一組關鍵字(約四到五個),探索性產生一篇論文。具備清楚章節,引用,文獻,並且使用台灣正式文字用法。


    3. 接續前一題,撰寫更好的文獻回顧(使用思維鏈)

    4. 依據實驗方法或實驗數據簡報,摘要報告生成完整碩論 歡迎使用你的資料,但注意機敏議題。(實驗方法簡報參考)

    5. 接續前一題,撰寫更好的文獻回顧(使用思維鏈, CoT)





    Wednesday, October 23, 2024

    AI 輔助學術論文寫作(使用大型語言模型,Large Language Model, LLM)











    實例1

    AI 輔助面試 app
    • 參考實驗結果簡報,或是使用自己的實驗資料(注意請先衡量資料機敏性再決定使否上傳) 
    • 生成論文 example

    實例 2



    實例3

    跳舞評分機 source



    精煉階段

    撰寫更好章節的各種方法簡介
    • 生成結果實例 example (9 pages, 2463 words)


    進階運用




    補充資料







    需要注意的地方(checklist)

    1. 為了生成更好品質的中文文本,最好全部用英文來做提示,到了最後再翻譯為中文。

    2. 使用中文提示產生論文文獻回顧,常會出現幻覺,因為中文資料集太少,所以常會發生,英文資料集很龐大的,通常不會有問題,因此建議使用英文做為提示。

    3. 建議一次生成一章,一次生成全篇論文會像是論文綱要。如果一次生成一章, 配合思維鏈步驟,可生成較長較為詳盡的內容,舉例可生成76頁的虛擬碩士論文

    4. 如果寫碩論時不知從何開始,可以使用上述方法運用AI提供範例。AI 輔助寫作最大的價值之一是它能在極短的時間內,協助你在心中將一個你過往不甚熟悉的寫作主題搭建起一個結構與表達的大方向,並奠基在其上透過啓發式的對話去快速地產出具有洞見且切中主題的內容。

    5. Claude 付費版可使用Opus 3,適合生成論文水準的文本。ChatGPT 付費版生成文本品質也是較佳。

    6. 檢查文獻真實性可以使用Google Scholar

    7. 建議翻譯成中文的時候,提示使用"台灣正式文字"提示它,通常繁體版本的語氣預設是中國用語(會得到質量而非品質,模塊而非模組)。


    一些有用的提示
    1. 如果生成文章時出現條列式,像在寫投影片,給予提示「in prose」
    2. 如果生成文章還沒有結束,卻在中間停止了,給予提示「continue」
    3. 如果出現簡體字和中國用詞,給予提示「使用台灣正式文字」