機器學習是什麼?
機器學習 (Machine Learning) 是一種透過算法和統計模型,讓電腦系統能夠自動從數據當中發掘相關性,從而作出數據預測及輔助人類進行決策的技術。
機器學習是人工智能的一個範疇,使電腦系統能夠在不需要明確的人手編程的情況下,通過大量訓練數據自行學習和改進。
MLflow 是一個開放源始碼 (Open Source) 平台,其目標是管理機器學習的生命周期,包括實驗追蹤、模型管理、部署以及集中儲存。MLflow 亦幫助數據科學家 (Data Scientist) 更有效地開發、訓練和管理機器學習模型。
以下列出使用 Microsoft Azure Machine Learning 和 MLflow 的十大優勢:
- 集成環境:Azure Machine Learning 提供了與 MLflow 的無縫集成 (Seamless Integration),使您管理機器學習實驗和部署過程更加簡單高效。
- 自動化機器學習:Azure 提供自動化機器學習功能,能夠自動選擇最合適的算法和超參數,提升模型準確性。
- 可擴展性:Azure 的雲服務架構可隨意擴展,以處理大量數據和突發的運算需求,滿足不同規模的機器學習任務。
- 實驗追蹤:使用 MLflow 可以輕鬆追蹤和比較不同的模型實驗,記錄每次運行的參數和結果,方便您人手選擇最佳模型。
- 模型管理:MLflow 支持模型版本控制和儲存,確保模型的可重現性和可追溯性,便於在生產環境中的部署和管理。
- 靈活的部署選項:Azure Machine Learning 提供多種部署選項,包括雲端 (Cloud)、邊緣 (Edge) 設備和本地 (On-Premises) 環境,滿足不同的業務需求。
- 安全性:Azure 提供企業級的安全措施,保護數據和模型的安全性,確保合規性和隱私。
- 可視化工具:內建的可視化工具和儀表板幫助用戶更直觀地了解數據和模型的表現,提升分析效率。
- 協作功能:支持多用戶協作,團隊成員可以共享實驗結果和模型資源,促進團隊合作和知識共享。
- 高效的資源管理:Azure 的計算資源可以按需分配和管理,避免資源浪費,降低運營成本。
這些優勢使得使用 Microsoft Azure Machine Learning 和 MLflow 成為許多企業和開發者進行機器學習開發和部署的首選方案。
以下是在不同行業的應用機器學習的真實例子:
- 金融業
風險管理與欺詐檢測:利用 Azure ML 和 MLflow 建立模型來分析交易數據,識別潛在的欺詐行為,提高風險管理效率。
投資分析:使用機器學習算法預測股票市場趨勢,幫助投資決策。
- 醫療健康
疾病診斷:通過 Azure ML 訓練圖像識別模型,協助醫生進行疾病診斷,提升診斷準確性。
個性化治療:分析病患數據,提供個性化的治療方案,提高治療效果。
- 零售業
需求預測:使用 MLflow 追蹤和管理模型來預測商品需求,優化庫存管理。
客戶分析:分析消費者行為數據,進行精準營銷,提升客戶滿意度。
- 製造業
預測性維護:通過 Azure ML 建立設備故障預測模型,減少停機時間和維修成本。
質量控制:運用機器學習來檢測產品缺陷,提高生產質量。
許多世界五百強企業正在使用 Azure Machine Learning 和 MLflow 來提升業務效率和創新能力,例如:
- 沃爾瑪 (Walmart):利用機器學習進行需求預測和庫存管理。
- 雀巢 (Nestle):使用機器學習優化供應鏈管理和產品質素。
- 輝瑞 (Pfizer):應用於藥物研發和個性化醫療方案。
- 豐田 (Toyota):預測性維護和生產自動化,提升生產效率,減少維修停機時間。
- 美國銀行 (Bank of America):應用於欺詐檢測和客戶服務優化,降低欺詐損失,提升客戶體驗。
- 殼牌 (Shell):應用於設備監控和能源管理,為旗下全球44,000個油站實行即時監控及減低火災風險,提高能源利用效率,降低營運成本。
- 福特 (Ford):應用於自動駕駛技術和產品設計優化,推動創新,加速產品開發。
- AT&T:應用於網絡性能優化和客戶預測分析,提升網絡穩定性,降低客戶流失。
- 強生 (Johnson & Johnson):應用於醫療設備診斷和預測分析,提高產品可靠性,改善患者結果。
- 埃克森美孚 (ExxonMobil):應用於油田生產優化和資源管理,提高生產力,降低資源消耗。
這些世界五百強企業透過使用 Azure Machine Learning 和 MLflow,獲得了更高的營運效率和市場競爭力,並推動了創新與可持續發展。
關於 Data Scientist 的行業角色、認證及本課程
成為微軟認證的 Azure Data Scientist Associate,您可以幫助您的企業或機構達到以下目標:
- 提升決策質量:通過準確的數據分析和預測模型,幫助企業做出更明智的決策。
- 提高運營效率:優化流程和資源配置,利用機器學習自動化重複性任務。
- 持續創新:推動創新項目,探索新的商業機會和產品。
- 風險管理:通過分析和預測,幫助企業降低風險,提升安全性。
而透過學習本課程,您將會獲得深入的 Azure 機器學習及 MLflow 知識,提高 A.I. 相關的技術專長,增加就業及晉升競爭力。
Microsoft Certified: Azure Data Scientist Associate
我們的資深講師 Larry Chan 將為您提供各種 Microsoft Azure Machine Learning 及 MLflow 相關產品的建議和操作技巧,令您為企業或機構實施以下的日常職務:
- 數據建模:設計和實施數據模型,使用 Azure Machine Learning 來解決商業問題。
- 機器學習實驗:設計和運行機器學習實驗,選擇合適的算法和方法。
- 數據分析:分析數據並生成有意義的見解,支持商業決策。
- 模型部署和管理:使用 MLflow 管理模型的版本控制和部署,確保模型在生產環境中運行順利。
在本課程內操作 Azure Machine Learning 及 MLflow 去訓練數據模型的實例:
在本課程內對訓練數據模型進行監察及優化的實例:
在本課程內對訓練數據模型進行分析實例:
在本課程內對訓練數據模型部署至雲端實例:
在本課程內以 Python REST API Request,利用自行訓練的數據模型作出預測的實例:
課程名稱: |
Microsoft Certified Azure Data Scientist Associate (1科 Azure Machine Learning 及 MLflow) 國際認可證書課程 - 簡稱:Azure Data Scientist Training Course |
課程時數: | 30 小時 (共 10 堂,共 1 科) |
適合人士: | 有志考取 Microsoft Certified: Azure Data Scientist Associate 證書人士 |
授課語言: | 以廣東話為主,輔以英語 |
課程筆記: | 本中心導師親自編寫英文為主筆記,而部份英文字附有中文對照。 |
1. 模擬考試題目: | 本中心為學員提供模擬考試題目,每條考試題目均附有標準答案。 |
2. 時數適中: | 本中心的 Microsoft Certified Azure Data Scientist Associate (1科 Azure Machine Learning 及 MLflow) 國際認可證書課程時數適中,有 30 小時。 令學員能真正了解及掌握課程內容,而又能於短期內考獲以下 1 張國際認可證書:
|
3. 導師親自編寫筆記: | 由本中心已擁有五項 MCITP , 十多項 MCTS,MCSA 及 MCSE 資格,並有教授 Microsoft 相關課程 24年以上經驗的資深導師 Larry Chan 親自編寫筆記,絕對適合考試及實際管理之用,令你無須「死鋤」如字典般厚及不適合香港讀書格調的書本。 |
4. 一人一機上課: | 本課程以一人一機模式上課。 |
5. 免費重讀: | 傳統課堂學員可於課程結束後三個月內免費重看課堂錄影。 |
Microsoft 已公佈考生只要通過以下 1 個 Azure Data Scientist 相關科目的考試,便可獲發 Microsoft Certified Azure Data Scientist Associate 國際認可證書:
考試編號 | 科目名稱 |
DP-100 | Designing and Implementing a Data Science Solution on Azure |
本中心為Microsoft指定的考試試場。報考時請致電本中心,登記欲報考之科目考試編號、考試日期及時間
(最快可即日報考)。臨考試前要出示身份證及繳付每科HK$943之考試費。 考試不合格便可重新報考,不限次數。欲知道作答時間、題目總數、合格分數等詳細考試資料,可瀏覽本中心網頁 "各科考試分數資料"。 |
課程名稱:Microsoft Certified Azure Data Scientist Associate (1科 Azure Machine Learning 及 MLflow) 國際認可證書課程 - 簡稱:Azure Data Scientist Training Course |
DP-100 Designing and Implementing a Data Science Solution on Azure
Design and prepare a machine learning solution
- Design a machine learning solution
- Determine the appropriate compute specifications for a training workload
- Describe model deployment requirements
- Select which development approach to use to build or train a model
- Manage an Azure Machine Learning workspace
- Create an Azure Machine Learning workspace
- Manage a workspace by using developer tools for workspace interaction
- Set up Git integration for source control
- Create and manage registries
- Manage data in an Azure Machine Learning workspace
- Select Azure Storage resources
- Register and maintain datastores
- Create and manage data assets
- Manage compute for experiments in Azure Machine Learning
- Create compute targets for experiments and training
- Select an environment for a machine learning use case
- Configure attached compute resources, including Azure Synapse Spark pools and serverless Spark compute
- Monitor compute utilization
Explore data, and train models
- Explore data by using data assets and data stores
- Access and wrangle data during interactive development
- Wrangle data interactively with attached Synapse Spark pools and serverless Spark compute
- Create models by using the Azure Machine Learning designer
- Create a training pipeline
- Consume data assets from the designer
- Use custom code components in designer
- Evaluate the model, including responsible AI guidelines
- Use automated machine learning to explore optimal models
- Use automated machine learning for tabular data
- Use automated machine learning for computer vision
- Use automated machine learning for natural language processing
- Select and understand training options, including preprocessing and algorithms
- Evaluate an automated machine learning run, including responsible AI guidelines
- Use notebooks for custom model training
- Develop code by using a compute instance
- Track model training by using MLflow
- Evaluate a model
- Train a model by using Python SDK v2
- Use the terminal to configure a compute instance
- Tune hyperparameters with Azure Machine Learning
- Select a sampling method
- Define the search space
- Define the primary metric
- Define early termination options
Prepare a model for deployment
- Run model training scripts
- Configure job run settings for a script
- Configure compute for a job run
- Consume data from a data asset in a job
- Run a script as a job by using Azure Machine Learning
- Use MLflow to log metrics from a job run
- Use logs to troubleshoot job run errors
- Configure an environment for a job run
- Define parameters for a job
- Implement training pipelines
- Create a pipeline
- Pass data between steps in a pipeline
- Run and schedule a pipeline
- Monitor pipeline runs
- Create custom components
- Use component-based pipelines
- Manage models in Azure Machine Learning
- Describe MLflow model output
- Identify an appropriate framework to package a model
- Assess a model by using responsible AI principles
Deploy and retrain a model
- Deploy a model
- Configure settings for online deployment
- Configure compute for a batch deployment
- Deploy a model to an online endpoint
- Deploy a model to a batch endpoint
- Test an online deployed service
- Invoke the batch endpoint to start a batch scoring job
- Apply machine learning operations (MLOps) practices
- Trigger an Azure Machine Learning job, including from Azure DevOps or GitHub
- Automate model retraining based on new data additions or data changes
- Define event-based retraining triggers