ihower
@ihower
Followers
10,596
Following
1,155
Media
183
Statuses
6,107
生成式 AI 全端工程師 | 愛好 AI Engineer 電子報
Hsinchu, Taiwan
Joined August 2007
Don't wanna be here?
Send us removal request.
Explore trending content on Musk Viewer
Tuchel
• 164446 Tweets
#FGO
• 113600 Tweets
#sbhawks
• 48780 Tweets
カズラドロップ
• 47629 Tweets
バーニス
• 38359 Tweets
#deprem
• 36482 Tweets
#baystars
• 34164 Tweets
FY RECAP BLANK SS2EP4
• 31218 Tweets
#BlankReactSS2Ep4
• 28528 Tweets
ZETA
• 23817 Tweets
ソフトバンク
• 19958 Tweets
ジェロニモ
• 19709 Tweets
ホークス
• 17286 Tweets
スタメン
• 14523 Tweets
ジャイアンツ
• 14382 Tweets
カノウさん
• 12440 Tweets
ベイスターズ
• 12014 Tweets
日本シリーズ
• 10773 Tweets
Last Seen Profiles
Pinned Tweet
這是最近在 Hello World Dev Conference 的演講投影片:
題目是 評估驅動開發: 生成式 AI 軟體不確定性的解決方法
聽眾對象是軟體工程師，我採用對比的方式，來說明 確定性軟體 和 生成式 AI 機率軟體的開發差異，加上我自創的 5-Level 開發成熟度等級當作主軸。
0
9
47
尹相志老師用 GPT-4o 偽代碼的方式做繪本生成，真的是見鬼了，這樣也行，超強。
透過偽代碼可以讓模型更能執行複雜的控制流程，例如 for loop 迴圈中呼叫自訂 function。
實際的 prompt 如下，可產生15頁畫風一致的小蝌蚪繪本 (實際執行若 gpt-4o 停下來，請輸入繼續即可):
18
155
606
把 Full Stack LLM Bootcamp 的影片全部看完了，至今看到內容最廣又深入的 LLM 技術系列影片，超級推薦。
我的筆記:
5
135
462
Apple Intelligence 這樣看來是由三個 LLM 所組成:
* Apple 地端 Siri: 判斷問題類型、基本文字任務、呼叫本機 function 等簡單任務，這是個 Apple 自製的 3B 小模型。另外本機還要負責做 semantic search 找出要參考的個人 context 資料。
* Apple 雲端 Private Cloud Compute 的 LLM:
3
66
298
台大李宏毅教授的 "生成式人工智慧導論" 課程全部完結啦! 包括課程影片、投影片和作業 🤩
> 這門課程旨在讓已經熟悉生成式 AI 工具（例如：網頁版 ChatGPT）的同學，深入探索更多生成式 AI
1
73
280
話說大語言模型 LLM 的運算和推論成本都是用 Tokens 數量來計算的，輸入的內容都得轉成 Tokens 序列來運算，輸出則轉回來。
但是呢，其實每一家用的 Tokenizer (分詞器)都不太一樣，因此相同的文本，拆出來的 tokens 數量是不一樣的。因此很多模型的推論成本比較、Context window
4
27
135
"The power of Serverless for front-end developers" # # 整理了前端工程師可以用到的 serverless 線上服務，不只提供靜態檔案，連表單、金流、影音串流、E-mail、SMS、CMS 管理、全文搜尋、即時通訊、權限認證都有，後端工程師要失業了嗎? XD
0
56
132
我也來開電子報啦 ，定位是針對會寫 code 的朋友，提供關於 AI Engineer, LLM 應用開發, Prompt Engineering 等比較深入的內容跟推薦文章 👉 # 不求發布最快的 AI 相關新聞，或是分享最前沿的研究
4
16
132
無論網頁 table 做的多精緻還有互動操作功能(filtering, sorting...etc)，B2B客戶最重要的需求就是匯出Excel 🤯🤯
8
17
128
要如何理解生成式 AI 會如何影響軟體開發?
GitHub 是目前做 AI coding 最厲害的公司，不但有全世界最多的 source code 可以訓練，也有微軟爸爸的算力。
最近他們 CEO Thomas Dohmke 有場 TED 科普演講: 透過 AI 任何人都可以成為 Coder (15分鐘、有簡中字幕) 值得一看:
* 目前可用 Github Copilot
1
27
129
這是今天 4/17 在 生成式 AI 小聚 做的一場10分鐘短講的投影片內容 ，介紹了幾套 Prompt 自動最佳化的工具和 Papers 發展。
話說去年7月有短講了一場講 Prompt Engineering 工具評測，現在手工寫 Prompt 最佳化已過時，這領域已經進展到建議你用自動最佳化的方式找 Prompt
1
26
118
買了台 Mac mini M1 用了一週多，非常滿意。開發 Rails 沒問題，homebrew, ruby, node, mysql, redis, nginx 通通 ok 可以裝。實測 Rails HTTP benchmark 效能還比年攻頂 13吋MBP 還快1.8倍!
# Apple Silicon 超讚，又快又省電不會燙
4
6
80
"Announcing: Our Online Learning Platform Upcase is Now Free!" … # thoughtbot 免費了他們的線上教學課程，內容有 Rails, Ruby, TDD, Git, Vim... 等等
0
34
75
升了 MacOS 10.14 Mojave，發現字變不習慣了。Apple 為了 Retina 螢幕砍了反鋸齒，結果 non-Retina 外接螢幕就 gg 了.......
5
40
72
Waves in AI 2024 的錄影出爐啦！
個人推薦這四場比較好理解:
1. 利用大型語言模型自動評分學生作業：案例研究 (李宏毅)
講用 LLM 批改作業和學生如何 prompt injection 的攻擊防禦
2. 從機器人到閨蜜：使聊天機器人的會話更具人性 (陳縕儂)
講
4
17
70
看了 Linkedin 團隊寫的關於打造 RAG 產品的實戰心得: Musings on building a Generative AI product
* 使用小模型用於將用戶問題進行路由，決定查詢是否在範圍內，然後轉發給不同 AI agent 來回答。使用大模型用在最後生成回答
* 有負責整體體驗、評估、基礎設施、UI
1
13
64
有些 LLM 的 Benchmark 表現好，是因為先看了題目把答案背起來了，而不是腦子好。
這個月 Scale AI 的一篇論文 Careful Examination of Large Language Model Performance on Grade School Arithmetic 實驗表明了資料集污染卻有其事。
最大苦主是 Mixtral 8x22B 和 Phi-3，準確率的真實表現比
3
10
62
讀 paper 的好 prompt:
請以markdown心智圖筆記的概念來為我整理這份pdf文件，從文件目錄結構作為第一層，向下深入整理出重要的知識點、研究方法、研究成果、實驗數據洞察、結論，輸出包括階層式標題，筆記內容以及可以豐富視覺化的表情符號。
0
7
61
話說這個月 OpenAI 有發了一篇 Model Spec 規範，我覺得非常重要。
這份文件不但描述了 OpenAI 心目中理想的模型行為，也默默預告了一些之後新模型會有的功能，對於開發者來說非常值得一讀。
而且都有對話舉例，非常具體，很多設計難題隱藏在棘手的場景中，如何回答的好真的見仁見智。
1
12
60
看了 Generative AI in a Nutshell 生成式 AI 概論: 介紹了 GenAI 是什麼、基本原理、AI 時代的心態
非常棒的入門科普影片，插圖動畫非常讚，片長18分鐘
中文字幕版:
2
18
56
昨天做了一場針對 Ruby developer 的大語言模型 LLM 應用開發的 talk
1
7
55
分享今天我在 ALPHACamp AI Builder Day 分享「 淺談 LLM 應用開發 Roadmap 」的投影片
0
12
53
mac 上的 docker 改用 看看，蠻多人推薦的樣子，跑起來目前還挺順的。
0
3
49
「給 OpenAI text-embedding-3-small 搭配一個 Reranker 做二階段檢索，命中率就可以超越最強的 Embedding 模型」
相比於上次的一階段檢索，只用 embedding 模型挑出 top 5，這次採用二階段檢索是先用 embedding 模型挑出 top-k 10/50/100，然後再用 Reranker 模型重排取出 top 5 後，再評分命中率和
1
10
48
自架了 website analytics 來用，即時就顯示收集到的數據，簡單的介面馬上就看懂，頓時有種為什麼還要用 GA 的感覺，特別是被強迫換成 GA4 之後一直沒用習慣 :|
2
3
48
"A free Argo Tunnel for your next project
" # cloudflare 出的，跟 ngrok 一樣的工具，可 tunnel 至本機，免費
0
11
45
"給現代網站及細膩開發者使用，超棒的前端開發者清單" # Front-End Checklist
1
23
47
換了 Mac Studio M1 Max，終於有 32G RAM 可以用了。這年頭大多是在家工作coding，有出門主要也都是開會，不需要帶台攻頂MBP。原先用了一年多的 Mac mini M1 六折賣很快就脫手了，比投資美股賠的還少... 😅
6
2
44
"最近公司在用 java 重写一个 ruby on rails 应用，我的一些碎碎念。" # 當然是要來個前後端分離、微服務分散式架構，再來個數據中台，這樣才能創造工作讓工程師有活可以忙麻... XD
1
10
43
這次 Llama 3 的評價(至少Benchmark上)大家都說好，特別是 8B 的表現令人驚艷。
原因除了換了更有效率的 Tokenizer，主要就是提高了訓練計算量，以下引述 Llama 3 發布公告:
「雖然對於 8B 參數模型而言，Chinchilla 最佳的訓練計算量大約對應到 200B
1
4
44
這幾天改用 LanceDB 這個向量資料庫，不錯!
等不及 sqlite-vec 的發展了，就想找一套 embedded 的來用。比較了 chroma 跟 lancedb， 發現 lancedb 好強大，甚至可以 sql 查詢跟 全文搜尋來做 hybrid search (要自己做中文斷詞)，跟 pandas, pydantic 整合也非常 python 道地!
1
7
44
話說 AI Engineer World's Fair 2024 大會的錄影好多要看，如何用最短時間，吸收這麼長的英文演講內容呢?
我跟 Claude 3.5 Sonnet 協作寫了程式，將影片轉成 不重複圖片 搭配 語音辨識字幕
2
11
42
另一個也是用 gpt-4o 偽代碼的案例，來做營銷分析報告: 透過 for loop 呼叫內建上網瀏覽功能來抓取資料
0
9
43
"TablePlus" # Mac 上的資料庫 GUI，支援 PG, MySQL, Redshift, SQL Server, Redis, SQLite 好多啊，可免費使用～
2
8
42
使用繁體中文做 Embedding 模型大評測 ，總共 33 個模型比較檢索能力:
在 RAG 系統中，將文字轉語意向量的 embedding 模型，是非常重要的關鍵檢索環節。
很多人在問繁體中文的 embedding 建議選哪一套，通常大家就推薦比較熟的 OpenAI embedding 模型。
我參考了 Llamaindex 針對 RAG 場景評測
1
5
38
話說 OpenAI 今年新出的 Embeddings 模型(將文字轉成語意向量)，可以透過傳參數指定不同的維度大小，這背後使用的是一種叫做 Matryoshka 俄羅斯套娃的嵌入表示方式，非常酷。
這酷的地方在於，你可以丟棄任意長度的尾部，僅使用開頭也是有效的!
例如呼叫 text-embedding-3-large 模型得到 3072
3
6
38
試用了一下 Notion Doc + Wiki + Todo list 好厲害的介面，相比之下 Dropbox Paper 跟 Quip 真是相形失色，有種長江後浪推長浪的感覺～
1
10
37
覺得偽代碼很神奇嗎? 尹相志老師的 twitter
@AllanYiin
上線了，最新作品是 gpt-4o 設計寶可夢卡牌，一個 prompt 跑出十張卡牌。
實際 prompt 長這樣(丟到 chatgpt，若中斷輸入 請繼續 即可):
以下**偽代碼prompt**，請依照語意以及流程一步一步地來執行
回覆內容請以繁體中文撰寫
4
6
36
"做產品真是哭夭難！ — Marty Cagan 演講 70 分鐘中文逐字翻譯（附贈 YouTube 錄影）" # INSPIRED: 產品專案管理全書 的作者
1
15
35
“A Branch in Time - Tekin Süleyman
“ # 一個要你好好做 git rebase 寫好 commit message 的故事，以免後人 git blame 不完 # 新學了一招 git log -S “keyword” --patch 來追 code
0
11
35
RubyConf China 中午的餐點是我吃過最高檔的程式研討會餐點啊啊啊！酒店吃到飽自助餐有牛羊燒烤、生魚片海鮮、港式、甜點蛋糕、冰淇淋..... 這門票錢光吃就值了 😂😂
2
5
34
Reading: "當代資料工程與資料分析" # 我客戶A的資料分析部門自從採用 ELT 方案之後，就把應用系統裡的 ETL code 拆光光了.... 現代資料工程超厲害 😳
1
10
34
Data Science 入門好書入手！本來覺得會 Ruby 就沒機會用到 Python 了，結果修了一堂 edX Spark 課是用 PySpark，越學越有興趣。
http://t.co/rSb9TbqydA
2
12
33
又修完一門課了: edX LLM Application through Production 的 Verified Certificate 到手。
整體來說有增廣見聞，特別是 Hugging Face 的部分。但論應用的實用性還是直接呼叫 OpenAI API 更簡單效果又好啦。筆記在
0
2
34
Generative AI 年會的錄影最近很佛心的陸續免費公開中 # 馬上訂閱按讚分享開啟小鈴鐺
1
8
33
"The Product-Minded Software Engineer" # product mindset 是我認為 application developer 工程師能獨當一面最重要的關鍵能力
0
13
31
主打 RAG 的 llamaindex 框架，分享了一篇關於 long context-window 的論點:
## 會被緩解的痛點
* 開發者將不再擔心如何精確調整 chunking 算法，因為整份文件都可以塞進去，或是至少相關的幾頁都可以
* 在單一文件上，不需要再花時間調整 retriever 進行多跳推理了
*
1
8
32
話說 Llama 3 有更換 Tokenizer 進步非常非常多，數據已更新到我上回做的繁體中文評測:
* 繁體中文比 OpenAI 節省 37% 的 tokens 量，比 Gemini 差些，但比 Claude 3 好
* 英文的表現則和 OpenAI 幾乎一樣好，並列第一
2
4
32
在 LLama2-70b 模型中，針對數學推理問題的最佳提示詞是 Star Trek 星際爭霸戰啊 🤣
system promot:「指揮官，我們需要你規劃一條路徑穿越這場亂流，並找出異常的源頭。使用所有可用的資料和你的專業知識，引導我們度過這個充滿挑戰的情況。」
user prompt 開頭:「船長日誌，星曆 [此處插入日期] :
1
4
32
"從 2013 到 2023: Web Security 十年之進化與趨勢!" # 今天在 webconf 聽
@orange_8361
講給 web developer 超精彩的一場 Web Security 分享!
0
2
32
聽了一場超棒的 Fine-Tuning vs. RAG 的 webinar，講者是 OpenAI 的 Solution Architect
0
6
31
Watching: AlphaGo 世紀對決 # Netflix 有 AlphaGo 的紀錄片了，比看新聞評論看的更感動，深刻感受到李世石的背水一戰的極限，還有電腦科學家改變世界的驕傲，推薦一看！
3
9
31
Watching: GitHub Universe 2023 opening keynote # 使用 Github Copilot 生產力增加 55%，能用會用這種技術的個人和公司真是要逐漸世代差距了。不只是 code completion，而是從開發、測試、部署整個流程都可用自然語言透過 Copilot 來輔助完成。
0
5
30
發了 愛好 AI Engineer 電子報 🚀 第 16 期，這期分享的內容有:
- What We’ve Learned From A Year of Building with LLMs
- How to think about AI application development
- 用繁體中文評測 RAG 的 Chunking 切塊策略
- Vision Agent
- AI Agents That Matter
- 家常軟體和草根開發者
-
2
5
31
Release It! 第二版跟第一版差了11年，前半講 Stability 的內容一樣(也是這書最精彩的部分)，但整個後半章節幾乎用新的 DevOps 內容改寫了，十年間的變化還是很大的 :>
0
3
29
"史上最全的CDN内容分发网络实战技巧之中国的网络真的是非常非常的复杂!" # 最近想試用看看中國境內的 CDN，發現都要先備案...orz
1
11
29
Prompt Engineering 工具評測 # 昨晚在 Generative AI 小聚 ft. HappyDesigner Meetup 竹北場分享的內容
2
2
29
"Hacker News readers as Progressive Web Apps" # 用 PWA 技術示範做 Hacker News 閱讀器，有 react, vue.js, angular 各種版本
0
13
25
樞紐分析表 PivotTable.js # 意外的好用，好幾萬筆的資料丟進去跑得很順 # 可拖拉X,Y維度、過濾、排序，有圖表插件，可匯出 TSV 格式到 excel
0
8
27
"StackShare's top 50 developers tools of 2018" # 看看有沒有什麼新工具
0
7
25
"When to use JSON data type in database schema design?" # 各種不需要正規化和加索引的場景，越來越愛用 JSON data type 了
0
5
26
Gemini API 推出了一個新功能是 Context caching 蠻有意思的，你可以將長內容傳給模型做快取(預設一小時)，這樣後續呼叫可以直接引用，文件寫這樣的好處是成本較低。
這適合於大量長內容被短 prompt 反覆引用的情境，例如
* 有很多系統指令的聊天機器人
* 重複分析冗長的視頻文件
*
1
4
26
隨著任務變困難，Gemini 1.5 Pro, Llama 3 和 Command R+ 的勝率明顯降低。
LMSys 的 Chatbot Arena Leaderboard 用兩個匿名模型的投票來做競技排行，是一種非常公正的排行方式。
1
1
25
嚴格的輸出格式限制，恐讓模型的推理變笨! 🤯
呼應 OpenAI 剛剛推出的 Structured Outputs 可以 100% 嚴格輸出 JSON，這麼巧就看到前幾天 8/5 剛出的這篇 Appier AI Research 和台灣大學合作的論文: Let Me Speak Freely? A Study on the Impact of Format Restrictions on Performance of Large
1
3
24
實測還要多一個指令才有效
defaults write -g CGFontRenderingFontSmoothingDisabled -bool NO
0
10
24
1. 為了改進我的筆記系統，先看了兩本書: 卡片盒筆記、子彈筆記，然後裝了N套筆記軟體 SiYuan, Logseq, Obsidian, Heptabase, Roam Research 之後，最後決定從原先的 (熊掌記+Trello) 搬家到 Obsidian 啦
2
0
24
# 兩百行的 Node.js 區塊鏈簡單實作 1. 用 websocket 實作了 P2P 網絡 2. 用 express 做了 HTTP API 3. 可惜沒有實作共識系統，想看 PoW 機制
0
9
24
OpenAI API 文件新增了一份 GPT best practices 還不錯，言簡意駭地提供幾種 prompt engineering 策略和戰術
0
4
23
讀 "Waterfall" doesn't mean what you think it means"
1. 其實提到 waterfall 軟體開發的原始三篇論文，是主張 iterative 迭代開發的
2. 文檔是成功軟體專案的關鍵。特別是開源專案，花時間做好文檔，比去提升功能或code的品質更容易成功
0
7
22
日本樂天的創辦人三木谷浩史有個「3/10法則」，意思是當公司規模每擴大3倍、10倍時，每件事都會變得行不通，裡裡外外都需要大幅改變，重新適應。每件事真的是指每一件事，從人資管理、開會安排、溝通方式、預算制定、決策方式等等。
0
9
22
除了 Netflix 最近也在看 Amazon Prime video 美劇，蠻多有中文字幕的，前六個月每月 USD $2.99，再之後 $5.99 超便宜的。
# 奇怪的是用 PS4 跟電視內建的 app 看沒有中文字幕， 用電腦、iPad、Apple TV 看沒問題
# 推薦 Mozart in the Jungle 給有在聽古典樂的朋友
2
1
22
"Monoliths are the future
" # 都2020年了，我還是不會 Kubernetes，連 Docker 也很少用.... XD
4
4
21
週末看完了 "Domain-Driven Rails" # Bounded Contexts, Value Objects, Entity, Aggregates, Services 都算基本知識了，Domain Events 就是用 Pub/Sub 處理 BC 之間的溝通。接著講到 CQRS 跟 Event Sourcing 就覺得這工程太耗大了吧.... 😅
3
4
21
一間 SaaS 公司七年來的軟體開發方法演進史 # Scrum換Kanban、用模型來排優先權、簡單估計、反省會議偶爾開、Pair編程和TDD後來都沒用、單一分支做CD失敗、monolith大應用很難CD，軟體開發流程沒有終點啊!
1
7
21
AWS EC2 竟然出 Mac Instances，買了一整車的 Mac mini 當 Servers
0
8
20
iPad 竟然有種保護膜產品叫做 "類紙膜"，貼上去之後觸控筆的感覺更像在真實紙張上書寫，不會這麼滑，寫起來蠻不錯的。缺點是會犧牲一點螢幕的清晰度，但還可以接受，生產力比較重要。
7
0
21
"InfoQ: 对话Ruby on Rails之父DHH：我们需要重新审视软件开发" # 重點不在於做一件事情要花多長時間，而是要知道做這件事有多大價值
0
3
20
1. Python 是 Ruby 做 Data Science 最好的朋友 2. 透過 PyCall 就可以調用 Pandas, seaborn, matplotlib, scikit-learn, Keras 等等工具
0
14
20
「第一性原理」(First Principle) 1. 學習前期用具體技術成長比較快，但後期就需要掌握知識本質才能突破，產生知識爆炸點 2. 知識從沒有爆炸，現在爆炸的只是垃圾資訊
1
9
19
內容超級豐富的 Web Performance 課程
http://t.co/46J8xuDvGz
從 TCP, HTTP, SPDY, Mobile 到瀏覽器 render 都講到了～
0
13
17