Databricks Certified Associate Developer for Apache Spark（通称Spark Developer）は、PySparkによるDataFrame API・Spark SQLの実装力を測定する認定試験です（試験のコードはすべてPython）。 純粋なApache Spark APIの深い知識が問われ、Unity Catalogなどのプラットフォーム機能は範囲外です。 配点が最も大きいのはDataFrame/DataSet APIを使ったアプリケーション開発のセクション（30%）のため、APIリファレンスの読み込みと実装演習が合格の鍵です。
| 項目 | 内容 |
|---|---|
| 試験名 | Databricks Certified Associate Developer for Apache Spark |
| 問題数 | 45問 |
| 試験時間 | 90分（1問あたり平均2分） |
| 合格ライン | 非公表（統計的分析で設定され、変更されうる） |
| 受験料 | $200（税別） |
| 言語 | 英語のみ |
| コードの言語 | Python（試験のコードはすべてPython） |
| 有効期間 | 2年間 |
| コード問題比率 | 非公表 |
英語のみの試験のため、問題文・選択肢・コードスニペットはすべて英語で出題されます。技術用語はそのまま英語で理解しておくと読み取り速度が上がります。
| セクション | 配点 | 出題数目安 |
|---|---|---|
| 1. Apache Spark Architecture and Components | 20% | 約9問 |
| 2. Using Spark SQL | 20% | 約9問 |
| 3. Developing Apache Spark DataFrame/DataSet API Applications | 30% | 約13〜14問 |
| 4. Troubleshooting and Tuning Apache Spark DataFrame API Applications | 10% | 約4〜5問 |
| 5. Structured Streaming | 10% | 約4〜5問 |
| 6. Using Spark Connect to deploy applications | 5% | 約2問 |
| 7. Using Pandas API on Apache Spark | 5% | 約2問 |
Sparkの内部動作を理解しているかを問います。コードではなく概念の選択問題が中心です。
配点が最も高いセクションです。PySpark DataFrame APIの主要メソッドの引数・戻り値・挙動を正確に理解しているかが問われます。
df.select("col1", "col2")は列の絞り込み、df.withColumn("new_col", expr)は列の追加・変換。selectは既存列のみ返し、withColumnは全列＋新列を返す違いdf.filter(col("age") > 30)とdf.where("age > 30")は同義。複数条件の結合には&（AND）、|（OR）を使い、各条件を括弧で囲むdf.groupBy("dept").agg(count("*"), avg("salary"))で集約関数を複数適用する。aggなしのgroupBy().count()との違いdf1.join(df2, "key", "inner")の第3引数でjoin typeを指定。inner / left / right / outer / cross / semi / anti の7種類。semi joinは右テーブルの列を返さず、anti joinは不一致行のみ返すWindow.partitionBy("dept").orderBy("salary")を定義し、row_number()、rank()、dense_rank()、lag()、lead()を適用する。row_numberは同順位でも連番、rankは同順位で同番号＋欠番、dense_rankは欠番なしspark.sql("SELECT ...")の戻り値はDataFrame。createOrReplaceTempView("view_name")でDataFrameをSQLからアクセス可能にするCOALESCE、NULLIF、CASE WHEN、CAST、日付関数（date_add、datediff、date_format）spark.read.format("csv").option("header", "true").option("inferSchema", "true")でCSV読み込み。JSON・Parquet・ORC・Avroの読み書き方法と各フォーマットの特徴StructTypeとStructFieldで明示的にスキーマを指定する方法。inferSchemaのオーバーヘッド（全データスキャン）を避ける目的df.write.partitionBy("year", "month")でデータをディレクトリ構造に分割。過剰なパーティション分割（高カーディナリティ列の指定）がもたらす小ファイル問題append（追記）、overwrite（上書き）、error/errorifexists（デフォルト、既存テーブルがあればエラー）、ignore（既存テーブルがあれば何もしない）の4モード配列（ArrayType）やマップ（MapType）に対するラムダ関数操作です。公式の出題目標には明記されていませんが、セクション3の配列の展開（explode）などと合わせて押さえておくと、配列データを扱う問題で迷いにくくなります。
transform(array_col, x -> x * 2)で全要素を2倍にするfilter(array_col, x -> x > 0)で正の要素のみ残すexists(array_col, x -> x == "target")spark.readStream.format("rate")やformat("socket")でテスト用ストリームを作成する方法append（新規行のみ出力、集約なしのストリーム向け）、complete（全結果を毎回出力、集約ありのストリーム向け）、update（変更行のみ出力）の3モードwithWatermark("timestamp", "10 minutes")で遅延データの許容範囲を設定。ウォーターマークを超えた遅延データは破棄されるtrigger(processingTime="5 seconds")（マイクロバッチ間隔指定）、trigger(availableNow=True)（全データを処理して停止）broadcast_var = sc.broadcast(lookup_dict)で全Executorに読み取り専用データを配布。大きな辞書やルックアップテーブルに使用acc = sc.accumulator(0)で分散環境での集計カウンタを作成。Transformationの中でaccumulatorを更新した場合、Actionの再実行で値が増加する問題df.cache()（メモリのみ）とdf.persist(StorageLevel.MEMORY_AND_DISK)の違い。同じDataFrameを複数回参照する場合にキャッシュが有効公式ページによると、Spark Developer試験のコードはすべてPythonで提示されます。以下は、実務で言語を選ぶときの参考としての比較です。
| 観点 | PySpark | Scala |
|---|---|---|
| 学習リソース | 豊富（公式Doc・Qiita・YouTube） | 限定的 |
| 実務での利用率 | 80%以上のDatabricksユーザーが使用 | 20%未満 |
| 型安全性 | 動的型付け（実行時エラー） | 静的型付け（コンパイル時エラー） |
| パフォーマンス | DataFrame APIはScalaと同等 | RDD操作はPySparkより高速 |
| 試験での扱い | 出題言語（コードはすべてPython） | 出題されない |
Databricks
問題 1
PySparkで100GBのDataFrame（df_large）と50MBのDataFrame（df_small）をinner joinする場合、最もパフォーマンスが高いアプローチはどれですか？
正解: B
50MBのDataFrameは十分に小さいため、broadcast()ヒントを使ってbroadcast hash joinを明示的に指定するのが最もパフォーマンスが高くなります。broadcast hash joinではdf_smallを全Executorにコピーし、シャッフルなしでjoinを実行するため、ネットワーク転送量が大幅に削減されます。選択肢AではCatalyst/AQEが自動でbroadcast joinを選択する可能性はありますが、spark.sql.autoBroadcastJoinThresholdのデフォルト値は10MBのため、50MBのテーブルは自動broadcastの対象外です。明示的なbroadcastヒントが確実です。選択肢Cのrepartitionは両テーブルでフルシャッフルが発生し、100GBのデータ移動が生じるため非効率です。選択肢Dのcacheはjoin自体の戦略を変えないため、パフォーマンス改善効果は限定的です。
Spark Developer試験のコードはPythonとScalaのどちらで出題されますか？
公式ページによると、Spark Developer試験のコードはすべてPythonで提示されます。受験時にScalaを選ぶことはできないため、PySparkに絞って学習してください。公式ドキュメント・Academy・コミュニティの学習リソースもPython版が圧倒的に多いため、学習面でも有利です。
コード問題の比率と対策方法を教えてください
コード問題の比率は公表されていません。公式ページによると、コードはすべてPythonで提示されます。配点が最も大きいセクション3（DataFrame/DataSet APIを使ったアプリケーション開発、30%）では列・行の操作、結合、集計、UDFなどが出題目標に挙がっており、Structured StreamingのreadStream/writeStreamも範囲です。コードの実行結果を問う形式が多いため、PySpark APIの戻り値の型と挙動を正確に把握しておくことが必要です。Free Edition（Community Editionの後継）でコードを実際に動かしながら学習するのが最も効果的です。
Spark Developer試験の難易度はData Engineer Associateと比べてどうですか？
DEAがDatabricksプラットフォーム全体を広く浅く問うのに対し、Spark DeveloperはSpark/PySpark APIの深い理解に特化しています。Unity CatalogやLakeflow Jobsなどのプラットフォーム機能は出題範囲になく、純粋なSpark APIの知識が問われます。コード問題の比率はどちらの試験も公表されていませんが、Spark DeveloperはコードがすべてPythonで提示され、DataFrame/DataSet APIのセクションが配点の30%を占めるため、APIリファレンスの読み込みとハンズオン演習が必須です。英語のみの試験であることも難易度を上げる要因です。
出題範囲を体系的に扱う教科書があります。全 16 章、登録なしで全部読めます。
第 0 部・無料
クラウド自体がはじめての方へ
サーバー・ネットワーク・データベースの前提知識なしで読める 8 章。登録不要・無料。
無料
Spark はどう動き、SQL で何をどこまで書けるか
実行の仕組みと SQL の守備範囲
無料
Databricks とレイクハウスの全体像
なぜこの製品が要るのか、何がどこに属するか
NicheeLab編集部
データエンジニアリング・クラウド資格の専門家。Databricks・Snowflake等の認定資格を保有し、実務経験に基づいた問題作成・解説を行っています。NicheeLab運営。
Databricks資格一覧｜全8試験・難易度・勉強法
Databricks認定資格（全8試験）の一覧・出題範囲・合格ライン・難易度を徹底解説。2026年10月時点の公式情報に...
Databricks試験の難易度ランキング｜7資格を徹底比較
Databricks認定試験のうち7資格の難易度をランキング形式で徹底比較。合格率・学習時間・出題傾向から難易度を分析。...
Databricks資格の勉強方法｜最短合格ルートと学習時間の目安
Databricks認定資格に最短で合格するための勉強方法を完全ガイド。公式リソース・問題集・学習スケジュールを徹底解説...
Databricks Data Engineer Associate完全解説｜出題範囲・問題例・合格戦略
Databricks Certified Data Engineer Associate試験を徹底解説。2026年5月版...
Databricks Data Engineer Professional完全解説｜上級試験の攻略法
Databricks Certified Data Engineer Professional試験を徹底解説。2026年...