Databricks 教科書

第 1 章

Databricks とレイクハウスの全体像

Databricks とは何をする製品なのかを、レイクハウスが生まれた理由・アカウントとワークスペースの階層・4 種類のコンピュートの選び分け・Photon まで通しで解説します。

第 2 章

データはどこに、どんな形で保存されるか

Databricks のテーブルが実際どこに何として保存されているのかを、Managed / External の違い、_delta_log とチェックポイント、Time Travel、テーブル制約まで解説します。

第 3 章

計算資源を作り込み、コードを書く場所を決める

クラスタのサイジング、クラスタポリシー、init script、ノートブックのマジックコマンド、%run と dbutils.notebook.run の違い、Databricks Connect までを実務目線で解説します。

第 4 章

Spark はどう動き、SQL で何をどこまで書けるか

Spark がどう動くのか（遅延評価・DAG・narrow と wide・Driver と Executor）と、Spark SQL の中核、ウィンドウ関数、複合型と高階関数を初学者向けに解説します。

第 5 章

PySpark でデータを加工し、遅いコードを見抜く

PySpark の DataFrame API の読み書き、UDF の性能序列（組込関数 > Pandas UDF > Python UDF > RDD）、JOIN が遅くなる原因と Broadcast Join・AQE・skew・spill を解説します。

第 6 章

流れ込むデータを受け止める

Structured Streaming の outputMode・watermark・checkpoint・Trigger と、Auto Loader のファイル検出モード・通知リソース・運用オプションを、実際の設定値まで解説します。

第 7 章

取り込み時にスキーマをどう扱うか

スキーマ強制と進化（mergeSchema / overwriteSchema）、Auto Loader の schemaEvolutionMode と rescuedDataColumn、COPY INTO の冪等性とオプション体系を比較して解説します。

第 8 章

ファイル以外からも取り込む

read_files とストリーミングテーブル、VARIANT 型、Lakeflow Connect のコネクタ分類と DB CDC の 4 要素、JDBC のチューニングと Statement Execution API を解説します。

第 9 章

生データを使える形に育てる

Bronze / Silver / Gold に分ける理由と実務での判断、MERGE INTO と Change Data Feed、Lakeflow Spark Declarative Pipelines、Expectations による品質チェックを解説します。

第 10 章

処理を1つのジョブに束ねる

Databricks のジョブに何を束ねられるのか、depends_on による依存関係、Run if の 6 条件と Excluded、If-else 条件タスク、For each の使い方を解説します。

第 11 章

ジョブを動かし、失敗から立て直す

5 種類のトリガーと Quartz cron・File arrival・Table update の制約値、リトライとタイムアウト、Repair run、パラメータ記法と taskValues、Jobs REST API を解説します。

第 12 章

書いたものを安全に本番へ届ける

Databricks Git Folders の権限と制約、Declarative Automation Bundles（databricks.yml / targets / variables）、Databricks CLI と GitHub Actions によるデプロイ自動化を解説します。

第 13 章

誰に何を見せるか

Unity Catalog のアクセス制御を、GRANT と USE の連鎖、継承の例外、行フィルタと列マスク、ABAC ポリシー、アイデンティティとシークレットの統制まで解説します。

第 14 章

誰が何をしたか、いくらかかったか、どこで詰まったかを見る

誰が何をしたか（system.access.audit とリネージ）、いくらかかったか（DBU 課金式と system.billing.usage）、どこで詰まったか（event log / Spark UI）の見方を解説します。

第 15 章

テーブルを保守して速くする

Delta の運用コマンド 5 種、VACUUM の 168 時間の根拠、data skipping と Liquid Clustering によるレイアウト設計、checkpoint 破損などの障害復旧を解説します。

第 16 章

DEA 直前仕上げ

Databricks Certified Data Engineer Associate の直前確認。取り込み方式の選定フロー、章と公式セクションの対応表、数値・既定値・構文の総まとめ、引っかけの型を扱います。