Machine-Learning

OpenAI 在去年 11 月開放 ChatGPT 後，Large Language Model (LLM) 開始席捲各行各業。從跨服務整合所帶來的應用面來看，ChatGPT 背後的模型，帶來了一個有點糢糊、有別於既有 API 的概念：Fuzzy API。 ...

一個多禮拜前，Andrej Karpathy 發佈了一則 tweet，它的開頭是這麼寫的： The ongoing consolidation in AI is incredible. When I started ~decade ago vision, speech, natural language, reinforcement learning, etc. were completely separate; You couldn’t read papers across areas - the approaches were completely different, often not even ML based. ~tweet AI，正在朝向一個大一統的方向前進。 大約十多年前，當我開始投入做研究時， 電腦視覺，電腦語音，自然語言，強化學習…等這些領域， 還處於彼此很不一樣的時候。 就是說，你不太容易讀到同時跨這些領域的研究論文。 大部分的時候，每個領域的研究人員提出來的研究方法與演算法，都非常不同。 而且，也幾乎很少有基於幾器學習的研究論文被應用在這些領域。 ...

前幾天有一個新服務 Comet.ml 在 TechCrunch 下了個這樣的標題與介紹： Comet.ml wants to do for machine learning what GitHub did for code The service provides you with a dashboard that brings together the code of your machine learning (ML) experiments and their results. In addition, the service also allows you to optimize your models by tweaking the hyperparameters of your experiments. As you train your model, Comet tracks the results and provides you with a graph of your results, but it also tracks your code changes and imports them so that you can later compare all the different aspects of the various versions of your experiments. 大意是說，這個 Comet.ml 的服務，是被開發來給資料科學家用的服務。 它就像 GitHub 是給 developer 用的一樣，扮演著類似的功能，只是是特別對 model training 做一些特化。 所以它會把每次的建立模型的 1) 程式碼; 2) 參數; 3) 設計的模型; 4) 安裝了什麼 Python packages; 5) 模型練習的過程/成效/結果; 6) stdout; 7) 其它文字註解… 這幾項給通通存起來，方便日後回來校閱或比對。 更方便讓幾位資料科學家或演算法開發的工程師可以一起研究，有個依據。 一言以蔽之， 它是一個用來 紀錄 / 追蹤 / 比對 一個模型設計與開發的服務。 感覺挺有趣的，決定來試試看。 本著上次在公司裏頭鐵頭的 Data Team Workshop 的一些些印象， 加上它又有 repo，而且還是友善到不行的手把手 notebooks 型式， 很有機會可以拿來試驗一下這個 Comet.ml，即使我至今還沒完整看過 Tensorflow 或是 Keras 的文件或教學影片！ 看來看去，就拿裏頭的 MNIST 來試好了。 用最簡單的兩個 Dense (Just your regular densely-connected NN layer) 做一個 model， 第一個 layer 的 output vector size 用 64， 第二個（最後一個） layer 的 output vector size 則是 10，設成與 MNIST 要分類的個數一樣。 丟下去跑一跑，在 Comet.ml 上跑出了這麼一個 Experiment 。 在 Comet.ml 上頭，每一次的實驗，就叫一個 Experiment。 透過它 monkey patched 過後的 Keras， 一旦你開始執行你的程式做 training， 它就會開始自動紀錄你 model training 的整個過程， 它會自動幫你把每次 training step 的 (loss, accuracy) 給記下來， 然後最後（按官方文件的說法）自動上傳到 Comet.ml 平台。 也可以再自行加上呼叫幾個 log function 來特意把一些想記的參數給上傳上去。 這個是我第一次的 experiment 的程式碼 。 相當的有意思，忍不住多把玩了幾下。 （結果就是睡到半夜四點醒來，還多下了一個 experiment XD） ...