Databricks ML Associate完全解説｜MLflow・AutoML対策

Databricks Certified Machine Learning Associate（ML Associate）は、Databricksを使って基本的な機械学習タスクをこなす力を証明する認定試験です。 AutoML・Unity Catalog・MLflowといったDatabricksの機械学習機能に加え、データの探索と特徴量エンジニアリング、 モデルの学習・チューニング・評価、モデルのデプロイまでが出題範囲です。 DatabricksのMLエンジニア向け認定のうち入門にあたるAssociateレベルの試験で、上位にMachine Learning Professionalがあります。

試験概要

日本語で受験可能です。 日本語ページからリンクされている日本語版の試験ガイドは2024年10月28日時点の版ですが、出題範囲の項目は英語版（2025年3月1日時点）と同じです。 残り時間は画面上部に常時表示され、問題のフラグ機能で後から見直す問題をマークできます。

4つの出題ドメインと配点

問題数の目安は、公式の配点を48問に当てはめた概算です。 Databricks Machine Learning（38%）とModel Development（31%）の2ドメインで約7割を占めます。 前者はAutoML・Feature Store・MLflow・モデルレジストリといったDatabricksの機能そのもの、後者はアルゴリズムの選択・チューニング・評価といった機械学習の基礎を問います。 公式ページで「ML Workflows」となっているドメインは、試験ガイドでは「Data Processing」という名前で、要約統計量・外れ値・欠損値の補完・エンコーディングなどのデータ処理を扱います。

ドメイン1: Databricks Machine Learning（38%）

AutoML

Databricks AutoMLは、分類（Classification）・回帰（Regression）・予測（Forecasting）の3タスクに対応した自動機械学習機能です。 UIまたはAPIから実行でき、内部ではデータの前処理・特徴量エンジニアリング・ハイパーパラメータチューニング・モデル選択を自動化します。

# API経由でAutoMLを実行
from databricks import automl

summary = automl.classify(
    dataset=train_df,           # Spark DataFrameまたはPandas DataFrame
    target_col="churn",         # 目的変数のカラム名
    primary_metric="f1",        # 最適化するメトリクス
    timeout_minutes=30          # 最大実行時間
)

# 最良のモデル・Run・ノートブックを取得
print(summary.best_trial)      # 最良のTrialオブジェクト
print(summary.best_trial.model_path)  # モデルのアーティファクトパス

試験で問われるのは、AutoMLの結果として生成されるノートブックの意味です。 AutoMLは各Trialの実行コードをEditable Notebookとして自動生成し、データサイエンティストが 前処理ロジックやハイパーパラメータを手動で調整できるようにします。 つまりAutoMLは「ブラックボックス」ではなく「出発点」としてのベースラインモデルを提供する設計思想です。 なお、以前のmax_trialsパラメータはDatabricks Runtime 11.0 ML以降では使えないため、実行時間はtimeout_minutesで制限します。

Feature Store

Databricks Feature Storeは、機械学習の特徴量を一元管理するリポジトリです。 Unity Catalog上のDelta Tableとして特徴量テーブルを登録し、訓練時とサービング時で同じ特徴量定義を共有します。 ワークスペースごとのFeature StoreではなくUnity Catalog（アカウントレベル）に特徴量テーブルを作る利点も試験ガイドの項目で、 Unity CatalogではFeatureEngineeringClient（Feature Engineering in Unity Catalog）を使います。

• 特徴量テーブルはDelta Lake上に保存され、タイムトラベルでポイントインタイムの特徴量を再現可能
• 作成: FeatureEngineeringClient.create_table()でテーブルを作り、データを書き込む（試験ガイドのサンプル問題の正解もこの方法）
• 訓練時: FeatureEngineeringClient.create_training_set() で特徴量を結合
• 推論時: FeatureEngineeringClient.score_batch() で自動的に最新の特徴量をルックアップ
• オンラインの特徴量テーブル（オンラインストア）に公開すると、リアルタイム推論でも同じ特徴量を低レイテンシで使える。オンラインとオフラインの特徴量テーブルの違いも試験ガイドの項目

MLflow Tracking

Databricks Machine Learningドメインでは、MLflow Trackingの基本操作（Experiment作成、Run記録、パラメータ/メトリクス/アーティファクトの保存）、 MLflow Client APIによる最良のRunの特定、MLflow UIで確認できる情報が問われます。 Databricks上では mlflow.autolog() がデフォルトで有効になっており、scikit-learn・XGBoost・LightGBM・PyTorch・TensorFlow等の 主要フレームワークでパラメータ・メトリクス・モデルが自動記録されます。 Runへのメトリクス・アーティファクト・モデルの手動記録も試験ガイドの項目なので、次のような明示的なAPI呼び出しも押さえておきましょう。

import mlflow
from mlflow.models import infer_signature

mlflow.set_experiment("/Experiments/fraud_detection")

with mlflow.start_run(run_name="lgbm_baseline") as run:
    # パラメータの記録
    mlflow.log_param("model_type", "LightGBM")
    mlflow.log_param("num_leaves", 31)
    mlflow.log_param("learning_rate", 0.05)
    mlflow.log_param("data_version", "delta_v3")

    # 訓練
    model = lgb.train(params, train_data, valid_sets=[val_data])

    # メトリクスの記録
    mlflow.log_metric("auc", 0.934)
    mlflow.log_metric("precision", 0.891)
    mlflow.log_metric("recall", 0.867)

    # Signatureの推論とモデルの記録
    signature = infer_signature(X_train, model.predict(X_train))
    mlflow.lightgbm.log_model(model, "model", signature=signature)

    # 補助アーティファクトの保存
    mlflow.log_artifact("feature_importance.png")
    mlflow.log_artifact("confusion_matrix.html")

試験では log_param（文字列/数値1個）、log_params（辞書で一括）、log_metric（数値1個、stepオプション付き）、log_metrics（辞書で一括）の使い分けが問われます。log_artifact はファイルパスを受け取り、log_model はフレームワーク固有のモデルオブジェクトを受け取るという違いも頻出です。 最良のRunは、MlflowClient().search_runs()でメトリクスを基準に並べ替えて（例: order_by=["metrics.auc DESC"]）特定します。

Model Registry

Model Registryはモデルのバージョン管理とライフサイクル管理を行います。 試験ガイドには、MLflow Client APIによるUnity Catalogのレジストリへの登録、旧Workspace Model Registryと比べたUnity Catalogのレジストリの利点、 モデルのタグの設定と削除、エイリアスによるchallengerモデルからchampionモデルへの昇格が含まれます。

# Unity Catalog Model Registryへの登録
mlflow.set_registry_uri("databricks-uc")
mlflow.register_model(
    model_uri=f"runs:/{run.info.run_id}/model",
    name="ml_prod.fraud.lgbm_model"  # catalog.schema.model の3レベル名
)

# エイリアスの設定
from mlflow import MlflowClient
client = MlflowClient()
client.set_registered_model_alias(
    name="ml_prod.fraud.lgbm_model",
    alias="champion",
    version=5
)

# モデルバージョンへのタグの設定（削除はdelete_model_version_tag）
client.set_model_version_tag(
    name="ml_prod.fraud.lgbm_model",
    version=5,
    key="validation_status",
    value="approved"
)

ドメイン2: ML Workflows（19%）

公式ページでは「ML Workflows」、試験ガイドでは「Data Processing（データ処理）」という名前のドメインで、 モデルに入れる前のデータの探索と前処理が問われます。試験ガイドの項目は9つです。

要約統計量・外れ値・可視化

• 要約統計量: Spark DataFrameの.summary()（count・mean・stddev・min・四分位・max）か、dbutils.data.summarize()で確認する
• 外れ値: 平均から標準偏差の一定倍（3倍がよく使われる）以上離れた値、またはIQR（第3四分位数−第1四分位数）の1.5倍を超えて四分位の外側にある値を除く
• 可視化と比較: カテゴリ特徴量は棒グラフ、連続特徴量はヒストグラムや箱ひげ図。2つの連続特徴量は相関係数や散布図、2つのカテゴリ特徴量はクロス集計やカイ二乗検定で比べる

欠損値の補完・エンコーディング・対数変換

• 欠損値: 平均値は外れ値の影響を受けやすいため、歪んだ分布では中央値、カテゴリ特徴量では最頻値を使うのが基本。分布を確認してから選ぶ（試験ガイドのサンプル問題の正解もこの考え方）
• ワンホットエンコーディング: カテゴリを数値の大小として扱えない線形モデルなどで必要。カテゴリ数が非常に多い特徴量や、決定木系のモデルでは向かない場合がある
• 対数変換: 右に裾の長い（歪んだ）特徴量や目的変数に使う。目的変数を対数変換したら、評価指標を計算する前に予測値を指数変換して元のスケールに戻す

from pyspark.ml.feature import Imputer, StringIndexer, OneHotEncoder

# 要約統計量
train_df.summary().show()

# 欠損値を中央値で補完
imputer = Imputer(strategy="median", inputCols=["income"], outputCols=["income_imputed"])

# カテゴリ列のワンホットエンコーディング（先にインデックス化してからエンコード）
indexer = StringIndexer(inputCol="plan", outputCol="plan_idx")
encoder = OneHotEncoder(inputCols=["plan_idx"], outputCols=["plan_ohe"])

ドメイン3: Model Development（31%）

モデルの学習・チューニング・評価を問うドメインで、試験ガイドの項目は15個です。 Spark MLlib（pyspark.mlパッケージ）のPipeline APIは、「EstimatorとTransformerの比較」「学習パイプラインの作成」「交差検証」の項目に関わります。 Transformer（変換: データを受け取ってデータを返す）とEstimator（推定: データを受け取ってモデル=Transformerを返す）の 区別は、最も基本的なポイントです。

from pyspark.ml import Pipeline
from pyspark.ml.feature import VectorAssembler, StringIndexer, StandardScaler
from pyspark.ml.classification import LogisticRegression
from pyspark.ml.tuning import CrossValidator, ParamGridBuilder
from pyspark.ml.evaluation import BinaryClassificationEvaluator

# Stage 1: カテゴリ変数のエンコード
indexer = StringIndexer(inputCol="category", outputCol="category_idx")

# Stage 2: 特徴量ベクトルの作成
assembler = VectorAssembler(
    inputCols=["amount", "category_idx", "hour_of_day"],
    outputCol="features"
)

# Stage 3: スケーリング
scaler = StandardScaler(inputCol="features", outputCol="scaled_features")

# Stage 4: ロジスティック回帰
lr = LogisticRegression(featuresCol="scaled_features", labelCol="label")

# Pipelineの構築
pipeline = Pipeline(stages=[indexer, assembler, scaler, lr])

# CrossValidatorでハイパーパラメータチューニング
param_grid = (ParamGridBuilder()
    .addGrid(lr.regParam, [0.01, 0.1, 1.0])
    .addGrid(lr.elasticNetParam, [0.0, 0.5, 1.0])
    .build())

evaluator = BinaryClassificationEvaluator(
    labelCol="label", metricName="areaUnderROC"
)

cv = CrossValidator(
    estimator=pipeline,
    estimatorParamMaps=param_grid,
    evaluator=evaluator,
    numFolds=3,
    parallelism=4   # 並列実行数（クラスタリソースに応じて設定）
)

cv_model = cv.fit(train_df)
best_model = cv_model.bestModel

CrossValidatorの parallelism パラメータは試験で問われやすいポイントです。 デフォルトは1（逐次実行）ですが、クラスタリソースに余裕があれば並列数を増やすことで チューニング時間を短縮できます。ただし各フォールドの訓練がSparkジョブとして分散実行されるため、 parallelismを上げすぎるとリソース競合が発生する点も把握しておく必要があります。

ハイパーパラメータ調整と学習されるモデル数

試験ガイドには、Hyperoptのfminによる調整、ランダムサーチ・グリッドサーチ・ベイズ最適化の使い分け、 単一ノードのモデルを並列にチューニングする方法が含まれます。HyperoptではSparkTrialsを使うと、 単一ノードのモデル（scikit-learnなど）の試行をSparkのワーカーに分散できます。

グリッドサーチと交差検証を組み合わせたときに学習されるモデル数を数える項目もあります。パラメータの組み合わせの数×分割数（fold数）で数え、 試験ガイドのサンプル問題では3値×2値×3値の18通りを5分割交差検証して90個です。 評価指標は、分類ではF1・Log Loss・ROC/AUC、回帰ではRMSE・MAE・R²が試験ガイドに挙がっています。 不均衡データへの対策（少数クラスの誤分類コストを高くするコスト考慮型学習など）や、モデルの複雑さとバイアス・バリアンスのトレードオフも範囲です。

ドメイン4: Model Deployment（12%）

推論の方式（バッチ・リアルタイム・ストリーミング）の違いと、Model Servingへのデプロイが問われます。 試験ガイドの項目は6つで、カスタムモデルのエンドポイントへのデプロイ、pandasによるバッチ推論、 Delta Live Tables（現在のLakeflow Pipelines）でのストリーミング推論、リアルタイム推論でのエンドポイント間のトラフィック分割が含まれます。

推論方式の違い

• リアルタイム推論: Model Servingでエンドポイントを作成し、REST API経由で推論
• バッチ推論: mlflow.pyfunc.spark_udf() でSpark DataFrameに適用
• ストリーミング推論: Structured Streaming + spark_udf() でリアルタイムデータに適用
• Delta Live Tables（現Lakeflow Pipelines）: パイプラインの中でモデルをSpark UDFとして適用。試験ガイドのサンプル問題では、イベント量の変動に合わせてコンピュートを自動で増減したい要件の正解がこの方法

# バッチ推論の典型パターン
predict_udf = mlflow.pyfunc.spark_udf(
    spark,
    model_uri="models:/ml_prod.fraud.lgbm_model@champion"
)
predictions = (spark.table("silver.transactions")
    .withColumn("fraud_score", predict_udf("amount", "merchant_category", "hour_of_day"))
)

pandasによるバッチ推論（Pandas UDF）

Pandas UDF（Vectorized UDF）は、単一ノードのPandas処理をSpark上で並列に実行するための仕組みです。 Apache Arrowでデータを受け渡すため、1行ずつ処理する通常のPython UDFより高速に処理できます。

import pandas as pd
from pyspark.sql.functions import pandas_udf
from pyspark.sql.types import DoubleType

@pandas_udf(DoubleType())
def predict_batch(features: pd.Series) -> pd.Series:
    """各パーティションでPandasベースの推論を実行"""
    model = load_model()  # ブロードキャスト変数やMLflowから読み込み
    return pd.Series(model.predict(features.tolist()))

# Spark DataFrameの各パーティションで並列実行
predictions = df.withColumn("prediction", predict_batch("features"))

エンドポイントへのデプロイとトラフィック分割

Model Servingでは、Unity Catalogに登録したモデル（カスタムモデルを含む）をエンドポイントにデプロイし、REST APIで呼び出します。 1つのエンドポイントに複数のモデルバージョンを載せ、トラフィックの割合（例: 90%と10%）を分けることもできます。

なお、TorchDistributorなどを使った深層学習の分散学習や、Pandas API on Spark（pyspark.pandas）は、 現行（2025年3月1日時点）の試験ガイドに項目がありません。データ並列とモデル並列の選び方やRayとSparkの比較といった大規模な分散学習は、 Machine Learning Professionalの試験ガイドに載っています。

MLflow頻出パターンまとめ

MLflowはDatabricks Machine Learning（38%）の中心で、Runの記録、Client API、Unity Catalogのモデルレジストリ、エイリアスが試験ガイドに並びます。Model Deploymentでも登録済みのモデルを使うため、以下のAPIパターンを正確に覚えることが合格の鍵です。

AutoML出題パターン

DEA（Data Engineer Associate）との重複と違い

DEAに合格済みの受験者は、Delta Lake・Spark DataFrame・Unity Catalogの基礎知識をそのまま活用できます。 追加で必要なのは、ML Associateの公式の4ドメインのほぼすべてです。Databricks Machine Learning（AutoML・Feature Store・MLflow・モデルレジストリ、38%）、 ML Workflows（データ処理、19%）、Model Development（31%）、Model Deployment（12%）がこれにあたります。 DEAの知識が直接役立つのは主にSpark DataFrameやUnity Catalogの基本操作なので、DEA合格者でも機械学習の部分は一から学ぶつもりで、下のロードマップを目安に計画してください。

学習ロードマップ（2〜3ヶ月）

第1フェーズ: 基礎固め（1〜3週目）

• MLflowの公式チュートリアル（Databricks Academy無料コース）を完走する
• Free Edition（Community Editionの後継）でExperiment作成 → Run記録 → Model Registry登録を一連で実施する
• Spark ML PipelineのTransformer/Estimator/Evaluatorの概念を公式ドキュメントで確認する
• scikit-learn・Pandas・NumPyの基本操作に不安があればここで補強する

第2フェーズ: 実践演習（4〜7週目）

• Spark DataFrameで要約統計量の確認・外れ値の除去・欠損値の補完・ワンホットエンコーディングを一通り実践する
• AutoMLをUI・APIの両方で実行し、生成ノートブックの構造を把握する
• CrossValidator + ParamGridBuilder でハイパーパラメータチューニングを実装する
• Feature Storeに特徴量テーブルを登録し、create_training_set() で訓練データを作成する
• Pandas UDFでバッチ推論パイプラインを構築する
• Unity Catalog Model Registryでエイリアス設定 → Model Servingデプロイの流れを実践する

第3フェーズ: 試験対策（8〜12週目）

• Exam Guideのサンプル問題と問題集を2周以上解き、苦手ドメインを特定する（Databricksは公式の模擬試験を提供していない）
• MLflow API表（log_param/log_metric/log_artifact/log_model）を暗記する
• Model Registryの旧ステージ遷移とUCエイリアスの違いを整理する
• グリッドサーチと交差検証で学習されるモデル数の数え方と、評価指標（F1・Log Loss・ROC/AUC・RMSE・MAE・R²）の選び方を確認する
• 本番は48問・90分（1問あたり2分弱）なので、時間を計って問題を解き、このペースに慣れておく

問題で確認

よくある質問