About Me: Yi-Chang Chen

Posted on April 05, 2024 in Life. View: 4,033


Continue reading

極簡說明Multi-thread/Multi-process、CPU-bound/IO-bound和GIL

Posted on November 26, 2022 in CS. View: 6,307

Python GIL 究竟怎麼影響我們應該採用Multi-thread或Multi-process? Multi-thread和Multi-process又是什麼?什麼是CPU-bound和IO-bound呢?


Continue reading

Tesla AI Day 2022 筆記

Posted on October 15, 2022 in AI.ML. View: 807

在2022年舉辦的Tesla AI Day上,他們推出了人形機器人Optimus,以及介紹他們在自動駕駛上的技術推進。這篇是YC觀賞完AI Day後的筆記,摘要了一些重點,並且在最後提出我的觀點。


Continue reading

Tesla AI Day 2021 筆記

Posted on October 09, 2022 in AI.ML. View: 1,051

在2021年舉辦的Tesla AI Day上,Tesla 揭露了他們開發自動駕駛的技術,並且預告他們將開發人形機器人。這篇是YC觀賞完AI Day後的筆記,我摘要了一些重點,並且在最後提出我的觀點。


Continue reading

擴散模型(Diffusion Model):生成模型的新成員

Posted on May 20, 2022 in AI.ML. View: 8,759

本篇從概念到深入數學的介紹擴散模型(Diffusion Model)。


Continue reading

OCR:CRNN+CTC開源加詳細解析

Posted on October 12, 2020 in AI.ML. View: 10,170

Pytorch CRNN+CTC 開源囉!並且在這篇中會仔細介紹 CRNN 的架構,以及 CTC 的架構、訓練的參數優化和其三種 Inference 方法(greedy decode, beam search decode, prefix beam search decode)


Continue reading

資源整理:跟上AI前沿知識

Posted on July 04, 2020 in AI.ML. View: 3,950

AI領域日新月異,在這領域的玩家應該要持續的跟上最前沿的知識和技術,本篇文章整理了相關學術研討會、部落格,讓讀者可以輕易的接觸到可靠的新資源。(也歡迎讀者補充更多資訊)(持續更新)


Continue reading

剖析深度學習 (4):Sigmoid, Softmax怎麼來?為什麼要用MSE和Cross Entropy?談廣義線性模型

Posted on March 14, 2020 in AI.ML. View: 26,630

學習一段時間深度學習的你是不是有一個疑惑:Activation Function為什麼要用Sigmoid和Softmax?Loss Function為什麼要用MSE和Cross Entropy?其他狀況要用什麼?當然你可以把它們看作是個合理定義,但是學習深度就端看你是不是可以用最少的定義表示最多的東西,如果你仔細google一下就會發現有一個相關的名詞—廣義線性定理,但是大部分的文章和教材都沒辦法將它講的很清楚,原因是因為沒有先介紹「充分統計量」的概念。在本講你會學到如何用「充分統計量」來說明在廣義線性定理中的Canonical Link Function,進而推導出Activation Function,你會學到如何藉由MLE和MAP來推導出Loss Function,學完以後你會對Activation Function和Loss Function有更深的認識。


Continue reading

剖析深度學習 (3):MLE、MAP差在哪?談機器學習裡的兩大統計觀點

Posted on March 07, 2020 in AI.ML. View: 20,559

本講主要探討統計的兩大學派(頻率學派和貝氏學派)對於機器如何學習的觀點。頻率學派主張Maximum Likelihood Estimation (MLE),會提到這等同於最小化data與model之間的Cross Entropy或KL Divergence。而貝氏學派則主張Maximum A Posterior (MAP) ,會提到這會等同於極大化Likelihood並同時考慮Regularization Term,我們也可以在本講看到L1和L2 Regularation Term是怎麼被導出的。


Continue reading

剖析深度學習 (2):你知道Cross Entropy和KL Divergence代表什麼意義嗎?談機器學習裡的資訊理論

Posted on February 25, 2020 in AI.ML. View: 41,426

在深度學習裡面,尤其是分類問題,常常會用到Cross Entropy,教學上通常會從Maximum Likelihood推導而來,但是Cross Entropy其實具有更廣義的涵義,甚至不限於分類問題使用。還有學習過程也經常會出現KL Divergence這樣既熟悉又陌生的東西,甚至到了GAN會用到更多種類的Divergence,例如:JS Divergence。這全部都與資訊理論息息相關,這一講讓我們來搞清楚Entropy、Cross Entropy、KL Divergence和f-Divergence到底具有什麼涵義。


Continue reading

剖析深度學習 (1):為什麼Normal Distribution這麼好用?

Posted on February 18, 2020 in AI.ML. View: 15,004

如果你已經學了好一陣子的機器學習或深度學習,應該對於Normal Distribution不陌生,但是你真的懂Normal Distribution嗎?本講會詳細的探討Normal Distribution,並且引入中央極限定理(Central Limit Theorm)來解釋為何自然界的隨機誤差大都呈現Normal Distribution,再來介紹Entropy,並且利用Entropy揭示Normal Distribution具有最少先驗知識(Prior Knowledge)的特性。


Continue reading

[入埃及記] Day9-10: 開羅【埃及博物館、哈利利市集】

Posted on February 13, 2020 in Life. View: 588


Continue reading

[入埃及記] Day8: 開羅Cairo【吉薩金字塔群、人面獅身像、香精專賣店、紙莎草專賣店】

Posted on February 12, 2020 in Life. View: 1,345


Continue reading

[入埃及記] Day7: 虎加達Hurghada【紅海渡假勝地】

Posted on February 11, 2020 in Life. View: 1,409


Continue reading

[入埃及記] Day6: 路克索【帝王谷、曼儂巨像】、虎加達

Posted on February 10, 2020 in Life. View: 649


Continue reading

[入埃及記] Day5: 艾得夫 Edfu【艾得夫神殿】、伊斯納水匣門、路克索【路克索神殿、卡納克神殿】

Posted on February 09, 2020 in Life. View: 765


Continue reading

[入埃及記] Day4: 阿布辛貝Abu Simbel【阿布辛貝雙神殿】、康孟波Kom Ombo【康孟波雙神殿】

Posted on February 08, 2020 in Life. View: 951


Continue reading

[入埃及記] Day3: 亞斯文【亞斯文大水壩、騎駱駝拜訪努比亞人家、三角風帆船】

Posted on February 07, 2020 in Life. View: 633


Continue reading

[入埃及記] Day1-2: 開羅 穆罕默德阿里清真寺

Posted on February 05, 2020 in Life. View: 759


Continue reading

[Paper] Wide & Deep Learning for Recommender Systems

Posted on June 01, 2019 in AI.ML. View: 1,794

以往認為deep learning有辦法完全取代feature engineering,Google在2016年寫下的這篇paper,指出在數據相對稀疏(sparse)的情況下feature engineering仍然有其重要性


Continue reading

尾牙表演 - Sweet Child Oh Mine

Posted on March 30, 2019 in Life. View: 498

尾牙吼起來


Continue reading

物件導向武功秘笈(3):內功篇 — 物件導向指導原則SOLID

Posted on April 14, 2018 in CS. View: 9,142

物件導向怎麼用才能成就好的程式碼? / UML類別圖 / 單一職責原則(Single Responsibility Principle, SRP) / 開閉原則(Open-Closed Principle, OCP) / 里氏替換原則(Liskov Subsititution Principle, LSP) / 迪米特法則(Law of Demeter, LoD) / 依賴倒置原則(Dependence Inversion Principle, DIP) / 接口分隔原則(Interface Segregation Principle, ISP)


Continue reading

物件導向武功秘笈(2):招式篇 — Python與Java的物件導向編程介紹

Posted on April 10, 2018 in CS. View: 14,109

物件導向編程 / 類別(Class)與物件(Object) / 方法多載(Method Overloading) / 物件導向三大特性—封裝(Encapsulation) / 物件導向三大特性—繼承(Inheritance) / 抽象化:抽象類別(Abstract Class)、抽象方法(Abstract Method)和接口(Interface) / 物件導向三大特性—多型(Polymorphism) /


Continue reading

物件導向武功秘笈(1):認知篇 — 什麼是好的程式?

Posted on April 05, 2018 in CS. View: 5,910

物件導向為何重要? / 程式的好壞? / 低耦合、高內聚 / 程式碼精練之旅 / 形塑出物件導向


Continue reading

自私的基因:基因觀點下的天擇

Posted on February 03, 2018 in Reading. View: 1,663

物競天擇? / 生命源自於複製 / 基因的代理人—神經網絡 / 再談利他行為 / 文化的複製者—迷因(Meme)


Continue reading

實作Tensorflow (6):Recurrent Neural Networks (RNN) and Long Short-Term Memory (LSTM)

Posted on November 25, 2017 in AI.ML. View: 12,738

概論RNN / 梯度消失與梯度爆炸 / Long Short-Term Memory (LSTM) / 使用LSTM實作文章產生器


Continue reading

實作Tensorflow (5):Word2Vec

Posted on November 19, 2017 in AI.ML. View: 6,207

Word2Vec觀念解析 / Word2Vec的架構 / Word2Vec的兩種常用方法:Skip-Gram和CBOW / 準備文本語料庫 / 實作Skip-Gram / 實作CBOW (Continuous Bag of Words)


Continue reading

實作Tensorflow (4):Autoencoder

Posted on November 18, 2017 in AI.ML. View: 13,797

Autoencoder觀念解析 / Autoencoder程式碼 / 測試Autoencoder / 壓縮碼Code與視覺化 / 去雜訊(De-noise) Autoencoder


Continue reading

實作Tensorflow (3):Build First Convolutional Neurel Network (CNN)

Posted on November 12, 2017 in AI.ML. View: 8,104

影像有什麼特性 / DNN用在影像上的侷限 / Convolutional Neurel Network (CNN) / Convolution Layer / Pooling Layer / 最簡單的CNN架構:LeNet5 / 圖像化


Continue reading

[吉他] 方大同-三人遊

Posted on November 09, 2017 in Life. View: 200

有窩表演


Continue reading