Databricks Certified Data Engineer Professional Exam (Databricks-Certified-Data-Engineer-Professional日本語版) Sample Questions:

1. 2人のデータエンジニアが、別々のブランチで同じDatabricksノートブックに取り組んでいます。両者ともコードの同じセクションを編集しています。一方がDatabricks GitフォルダーUIを使用して、もう一方のブランチを自分のブランチにマージしようとしたところ、そのノートブックファイルでマージの競合が発生しました。UIは競合をハイライト表示し、解決方法を提示します。データエンジニアは、Databricks Gitフォルダーを使用してこのマージの競合をどのように解決すればよいでしょうか？

A) クラスターの Web ターミナルで Git CLI を使用して、競合したマージを強制的にプッシュし (git push -force)、リモート ブランチをローカル バージョンで上書きして変更を破棄します。
B) マージを中止し、すべてのローカル変更を破棄して、競合するコードを確認せずにマージ操作を再試行します。
C) Databricks ワークスペース UI を介して競合しているノートブック ファイルを削除し、削除をコミットして、新しいコミットでノートブックを最初から再作成し、競合を完全に回避します。
D) Git フォルダー UI を使用してノートブック ファイルを手動で編集し、両方のバージョンから必要な行を選択し、競合マーカーを削除して、競合を解決済みとしてマークします。

2. データ エンジニアリング チームは Databricks プロジェクトで共同作業を行っていますが、各チーム メンバーは変更をメイン ブランチにマージする前に、コードを個別に開発してテストする必要があります。
すべての作業がバージョン管理され、CI/CD パイプラインに統合できることを保証しながら、偶発的な上書きやブランチ切り替えの問題を回避したいと考えています。
データエンジニアはどのようにコラボレーションを実現すべきでしょうか?

A) 各チーム メンバーは、同じリモート Git リポジトリにマップされた独自の Databricks Git フォルダーを作成し、個人用フォルダー内の独自の開発ブランチで作業します。
B) すべてのチーム メンバーは同じ Databricks Git フォルダーで作業し、その共有フォルダー内で直接 Git 操作 (プル、プッシュ、コミット、ブランチ切り替え) を実行します。
C) チーム メンバーは、ワークスペースの共有フォルダー内でノートブックを直接編集し、バージョン管理のために定期的に変更を Git フォルダーにコピーします。
D) チーム メンバーは、Databricks CLI を使用して Git リポジトリのクローンを作成し、クラスターの Web ターミナルから Git 操作を実行します。

3. 外部オブジェクト ストレージ コンテナーが /mnt/finance_eda_bucket の場所にマウントされました。
財務チーム用のデータベースを作成するために、次のロジックが実行されました。

データベースが正常に作成され、権限が構成された後、財務チームのメンバーが次のコードを実行します。

財務チームのすべてのユーザーが財務グループのメンバーである場合、tx_sales テーブルがどのように作成されるかを説明するステートメントはどれですか。

A) 論理テーブルは、物理プランを Databricks コントロール プレーンの Hive メタストアに保存します。
B) /mnt/finance eda バケットにマウントされたストレージ コンテナーに外部テーブルが作成されます。
C) /mnt/finance_eda_bucket にマウントされたストレージ コンテナーに管理テーブルが作成されます。
D) DBFS ルート ストレージ コンテナーに管理対象テーブルが作成されます。
E) 論理テーブルは、クエリ プランを Databricks コントロール プレーンの Hive メタストアに保存します。

4. データエンジニアは、顧客がレンタル自転車を利用中にどこに持ち込んでいるかを把握するためのデータ取り込みパイプラインを構築しています。エンジニアは、時間の経過とともに、自転車のセンサーから送信されるデータに緯度や経度などの重要な詳細情報が含まれていないことに気づきました。下流のアナリストは、クリーンなレコードと隔離されたレコードの両方を個別に処理する必要があります。
データ エンジニアはすでに次のコードを持っています。
インポートDLT
pyspark.sql.functionsからexprをインポートする
rules = {
"valid_lat": "(lat IS NOT NULL)",
"valid_long": "(long IS NOT NULL)"
}
quarantine_rules = "NOT({})".format(" AND ".join(rules.values()))
@dlt.view
def raw_trips_data():
return spark.readStream.table("ride_and_go.telemetry.trips")
How should the data engineer meet the requirements to capture good and bad data?

A) @dlt.table(name="trips_data_quarantine")
def trips_data_quarantine():
return (
spark.readStream.table("raw_trips_data")
.filter(expr(quarantine_rules))
)
B) @dlt.table
@dlt.expect_all_or_drop(rules)
def trips_data_quarantine():
return spark.readStream.table("raw_trips_data")
C) @dlt.view
@dlt.expect_or_drop("lat_long_present", "(lat IS NOT NULL AND long IS NOT NULL)") def trips_data_quarantine():
return spark.readStream.table("ride_and_go.telemetry.trips")
D) @dlt.table(partition_cols=["is_quarantined", ])
@dlt.expect_all(rules)
def trips_data_quarantine():
return (
spark.readStream.table("raw_trips_data")
.withColumn("is_quarantined", expr(quarantine_rules))
)

5. データエンジニアは、チームメイトが作成した新しいSparkアプリケーションを本番環境に移行する必要があります。このアプリケーションには、ライブラリを含む多数の外部依存関係があり、カスタム環境変数とSpark構成パラメータを設定する必要があります。データエンジニアがこのタスクを達成するのに役立つ2つの方法はどれですか？(2つ選択してください。)

A) コンピューティングポリシーにライブラリを追加する
B) コンピューティング ポリシーを使用して、システム プロパティ、環境変数、および Spark 構成パラメータを設定します。
C) DBFSにライブラリをインストールする
D) DBFS 上に init スクリプトを作成します。
E) 初期化スクリプトでシークレットを使用して設定データを保存します

Solutions: