語言模型的物理學 Physics of Language Models - ICML 2024 Tutorial

圖片
這是一個ICML 2024的tutorial talk，同時也是 一系列的研究 ，talk的youtube link在 這裡 本篇主要把看這個talk的一些讀書筆記記錄下來，雖然實際上talks是從 3 -> 2 -> 1 這個順序去講的，但這裡仍然以投影片的順序來描述，並把講者最後的感概放在Part 1的最後。 Intro 把智慧分為1.結構、2.知識以及3.推論 在可控制、理想的環境下做研究 (控制資料、調整參數) 可重複性高的實驗 (使用100M大小的模型，推出通用法則) 使用 probing 技巧去看模型裡面如何運作 1. Language Structures 這個部分有兩個目標:  1. 大型語言模型的解讀 (interpretation of LLMs)  並不是基於token level，而是使用更困難的階層式演算法來更精確地解釋LLM如何學習解決這樣的演算法 2.大型語言模型的結構 LLM如何學習格式(format)? → hallucination(幻覺) hallucination只是LLM學習到格式的速度比底層任務快而造成的現象 希望能觀察LLM如何解決更階層式、複雜的語言架構 他們使用的方法是CFG(context-free grammar)作為課題來達成以上兩個目標 他們設計了自己的CFG，大約有20+的長度，這是一個非常長的CFG CFG會從root開始 →  leaf 完成整個推論的樹，這樣長度的CFG會非常難從最終結果回推到他們的源頭，要完全記住這些samples也不可能，因為會有10的80次方個sample  他們從三個面向來測試模型是否能學習這樣的CFGs: accuracy, diversity, distribution 如果使用相對或旋轉嵌入的位置編碼，準確度會很高，但如果是用絕對的位置編碼就會得到很差的結果 為什麼會這樣呢? 因為使用相對/旋轉的位置編碼對於語言架構的注意力來說非常有幫助 相對注意力表現比旋轉好，但相對注意力太慢了 但如果用一個GPT_stupid也可以發現不錯的表現 (這個GPT的head h會往回看2^h-1個token) 例如第一個head會往前看第1個token，第二個head往前看前3個token，第三個head往前看前7個token，這些tok...
張貼留言

機器學習工具大整理 Collections of Machine Learning Tools

Best of ml: https://github.com/ml-tooling/best-of-ml-python

EDA make easy : Pandas-Profiling, Sweetviz,  Autoviz, D-Tale

Classification metrics
  • Confusion Matrix
  • ROC AUC
  • Gini Coefficient
  • Gain and Lift Charts
  • KS Chart (Kolmogorov-Smirnov)
Regression metrics
  • MSE, RMSE
  • MAE
  • MAD
  • RAE (Relative Absolute Error)
  • RSE (Relative Squared Error)
  • R-squared and Adj R-squared
  • Analysis of Residuals
Competition
  • Feature Selection: eli5, lofo,
  • Data loading: Faker, Tensorflow Datasets, datasets, Pdfminer.six
  • Imbalanced data: imblearn
  • Parameter Optimization: Optuna, Keras Tuner, skopt(scikit-optimize), Hyperopt
  • AutoML: H2O, NNI (Neural Network Intelligence), auto sklearn, auto keras, TPOP
  • Algo: Lightgbm, Xgboost, Catboost, Lazypredict
  • More effetive pandas: Vaex
  • Model Interpretability: LIME, SHAP, interpret, alibi
  • Missing value imputer: sklearn.impute.IterativeImputer
  • Training ( Workflow & Experiment Tracking): Tensorboard, MLFlow, TensorWatch, Data Version Control(DVC), Metaflow
NLP
  • NLP: Kashgari, FastNLP, TextBlob
  • QA: NeuralQ
  • NER: NeuroNER
  • Neural Relation Extraction(NRE): OpenNRE
  • Label: Docanno
  • Seq2Seq: fairseq
CV
  • Image: Pillow, torchvision, scikit-image
  • Image model: PyTorch Image Models, GluonCV
  • Image label: labelImg
  • Object detection: deectron2, mmdectection
  • Face Recognition: face_recognition, facenet_pytorch
  • Segmentation: segmentation_models
  • Image data augmentation: imgaug, Albumentations, Augmentor
  • Finding duplicate image: imagededup
  • Explainable : cv2.saliency
  • Faster image loading : libjpeg-turbo, PyVips
Time Series
  • Time Series Feature extraction: tsfresh
  • TS smoothing and outliner dectection: tsmoothie
  • Time Series forecasting: Prophet and NeuralProphet,  sktime, pytorch-forecasting, pmdarima
  • Better datetime: python-dateutil
  • generalized framework : Kats
  • markov model: Deeptime
OCR
  • OCR: Tesseract, EasyOCR, PaddleOCR
Medical
  • Medical: MNE-Python, Nilearn, Lifelines
Recommendation System
  • Building and analysis : recommenders, torchrec, TensorFlow Recommenders, Pyspark.mlib.recommendation, surprise
  • Collaborative Filtering : Implicit
  • Factorization Machine : lightFM
Face detection
  • Facenet, OpenFace, VGG-Face, DeepFace, Dlib
Visualization
  • Data visualization: Plotly, Bokeh, Holoviews, Datashader pydantic, schema
  • Ploting Architecture: PlotNeuralNet
  • High Dimensional Data :  UMAP
Production
  • Training pipeline: Kubeflow, Airflow,  Prefect, Metaflow, Tensorflow Extended
  • Data Versioning: DVC
  • Data Validation: TensorFlow Data Validation (TFDV), datatest
  • Distributed: Ray, PySpark, DeepSpeed
  • Model Monitoring:  Seldon, MLWatcher
  • Model registry : MLFlow
  • Explainable : SHAP
  • Experiment Monitoring : TensorBoard, Weights & Biases
  • Measurement of  Model time : PyTorch Profiler, Tensorflow Profiler
  • Code Review: ReviewNB
  • API: Flask, FastAPI
  • Large scale: Pyspark, TensorFlowOnSpark, Horovod, BigDL
  • Python SQL: BlazingSQL, dask-sql
  • CI/CD: GoCD, AutoRABIT
  • C++: Dlib, mlpack
  • Label : labelstudio
  • Model testing: checklist (NLP bias)
low-code
  • pycaret
Probabilistic Programming
  • PyMC
  • pyro


留言

張貼留言

這個網誌中的熱門文章

機器學習競賽王者演算法：XGBoost、LightGBM、CatBoost

圖片
若是有參加過機器學習競賽的人應該都會聽過 XGBoost 這個橫掃各種競賽的演算法，其實後來也有衍生出 LightGBM 和 Cat boost 這兩種演算法可以使用，只是比較少人聽過，又鑒於這方面資料似乎比較少，就自己吃了一些學習資源來介紹，順便推動自己的學習，希望才疏學淺的本人可以幫助你更了解這三個常見演算法。 The map of machine Learning algorithms Source 不論是 XGBoost,  LightGBM 還是 Catboost，他們都屬於 Ensemble learning (集成式學習)中的 Boosting 方法。Ensemble learning 的基本想法就是一個不夠，你有沒有試過兩個？兩個不夠，你有沒有試過三個？也就是將多種學習方法都集合在一起使用，彼此互相補足，讓演算法的架構更加靈活。 Boosting Boosting 是 循序 的演算法，一開始會先產生多個弱學習器(Weak learner)並讓它們不斷改正舊模型的錯誤，最後合成起來變成一個強學習器(Strong learner)。而所謂的弱學習器是指比隨機猜的表現還要更好一點的模型，這種學習器的訓練成本低、複雜度也低，同時也不易 Overfitting。正因為這些特性，所以我們才可以在短時間內訓練很多種弱學習器，彼此組合起來得到一個強力的模型。 Gradient Boosting Gradient boosting 指的則是將梯度下降法(Gradient descent)應用到這些弱學習器的學習上，幫助最小化 error。這個方法的主要問題在於每跑一次 Gradient descent都需要重新建立一次學習器，這樣非常沒有效率，也因此 XGboost 出現了。 Gradient Boosting Decision Tree (GBDT) 當我們剛剛所提到的每一個弱學習器都是一個決策樹的時候，這個意圖學習並組合出最好的決策樹的Gradient Boosting就叫做GBDT。這也是我們目前最常見用來實作Gradient boosting的做法，同時， 這樣做也正好緩和了決策樹容易Overfitting 的問題。今天的三大主題 XGBoost, LightGBM, CatBoost 都是基於 GBDT 的改進方法。 XGBoost XGBoost...
Read more »

十種常見的軟體架構模式 10 Common Software Architectural Patterns

圖片
剛升上大四，發現大四的課程開始接觸到許多各種不同的領域，像是 Mobile App 這種跟 OOP 密不可分的領域，剛好這周談到軟體架構相關的東西，像是 MVC(Model-View-Controller) 之類的，讀起來蠻有趣的，同時有點好奇這種軟體架構有沒有一個大補帖可以一窺究竟，於是就爬了幾篇文之後，著手撰寫了這篇文章。 首先，架構模式 (architectural patterns) 與軟體工程的設計模式 (design patterns) 有些類似，兩者都是為了解決一些常見的軟體問題，但前者更為廣泛，且較能重複應用。我認為前者較有"架構"的感覺，也就是可重複使用性較高。前者的架構可以是跨領域應用的，而後者比較像是在某種情況下可以使用哪種模型。 軟體架構模式有以下10種常見的模式: 1. Layered pattern 最經典的例子就是網路的 OSI 七層設計 另外還有我曾在系統分析與設計學到的Three-layer  architecture 分別是View layer、logic layer、Data layer View layer : 系統的UI、外觀 logic layer: 功能的實作層 data layer : 存取資料的function 至於常見的應用當然是 Web application，以 Chrome 手機版為例，打開來看到的所有功能像是輸入網址欄、最近的瀏覽紀錄、左上的首頁按鈕等等都屬於 view layer，至於 logic layer 則是使用者開始在網址欄中輸入後對你所搜尋的事物的預測，比如輸入了"天氣"，則會跑出像是天氣預報的推薦搜尋，當然還有按下搜尋後，根據使用者的輸入來推測他想查詢的是甚麼，這都屬於在實作這個搜尋功能。最後，Data layer 是介於資料庫與軟體之間的中介，Google 搜尋若想顯示出在 logic layer 的那些推薦搜尋，勢必得從他們的資料庫中調出關於使用者的資料還有較為宏觀的搜尋資料，只要是需要跟資料庫作互動的都屬於data layer。 2. Client-server pattern 這個模式可能是最常見的但也最簡單，就只有客戶端與伺服器端。客戶端作為主動方提出服務的要求，而伺服器端被動接收 到之後負責提供服務給客戶端。 最常見的應用就是瀏覽網站。當瀏覽...
Read more »

為什麼只能在訓練資料上平衡不平衡的資料集? Why should you deal with an imbalanced dataset only on training data?

圖片
最近有位同學向我詢問一些資料競賽相關的內容，剛好發現他在程式上犯了這個初心者可能會犯的常見錯誤，也就是將 SMOTE (Synthetic Minority Oversampling Technique) 這種針對不平衡資料集  (imbalanced Dataset)  產生資料來讓其平衡的相關演算法應用在整個資料集上，而非只用在訓練資料集上。 目前的數據分析相關競賽通常都是給參賽者一些不平衡的資料集或者是特徵非常多的資料集(通常多達上百個特徵，尤其是金融相關競賽)，此時初學者也常常會查詢到像是  Imblearn  這種專門處理不平衡資料及的套件使用。但其實無論是上採樣或者下採樣又抑或是混合上下採樣的方法， 它們其實都只能應用在訓練資料上，不能直接對整個資料集做平衡。 錯誤的使用會造成模型 作弊 ，並訓練出非常非常高的準確率，但實際上表現完全不好，就像過擬合(Overfitting)發生的時候那樣。 平衡資料集的方法 在面對上圖這種不平衡資料集時，基本上會有上採樣 (Oversampling) 和下採樣(Undersampling) 兩種方法可以使資料集平衡。上採樣指的是把資料少的類別複製幾份，直到兩類資料平衡。下採樣會將資料多的類別資料數減少或者是只從中選取少數資料出來代表這個類別。常見的方法有上採樣的 ADASYN、SMOTE、BorderlineSMOTE，還有結合上下採樣的 SMOTEENN，可參考 imblearn API doc 。 總之無論是使用哪種方法，都可以預期會得到下圖這樣平衡的資料集。 為什麼不可以直接平衡整個資料集呢? 為了回答這個問題，得先知道為什麼資料分割的獨立性是必須優先在所有方法之上的。這裡借用 Google 的 MLCC(Machine Learning Crash Course)  教材來講解。 當你拿到一份資料並想對其使用機器學習演算法來解決你的任務時，至少得將資料分割為訓練資料 (Training Set) 與測試資料 (Test Set)，訓練資料是用來教你的模型從x推理到y，測試資料是用來測試這個訓練資料所訓練出來的模型在沒有見過的資料 (unseen data) 上表現如何，測試資料得必須與訓練資料 完全沒有交集， 否則就等於是數學老師直接在上課的時候告訴你期中考的題目...
Read more »