Databricks Certified Professional Data Engineer Exam (Databricks-Certified-Professional-Data-Engineer Korean Version) : Databricks-Certified-Professional-Data-Engineer Korean

머신러닝 팀은 델타 레이크 레이크하우스에 있는 CDF(Change Data Feed)가 활성화된 customer_churn_params 테이블을 이탈 예측에 사용합니다. 이 테이블에는 여러 상위 소스에서 가져온 고객 정보가 포함되어 있습니다. 현재 데이터 엔지니어링 팀은 상위 데이터 소스에서 가져온 최신 유효 값으로 테이블을 덮어쓰는 방식으로 매일 밤 이 테이블을 업데이트하고 있습니다. 머신러닝 팀에서 사용하는 이탈 예측 모델은 프로덕션 환경에서 상당히 안정적입니다. 팀은 지난 24시간 동안 변경된 레코드에 대해서만 예측을 수행하는 데 관심이 있습니다. 이러한 변경된 레코드를 더 쉽게 식별할 수 있는 접근 방식은 무엇일까요?

• A. 배치 작업을 전체 출력 모드를 사용하는 구조화된 스트리밍 작업으로 변환합니다. 구조화된 스트리밍 작업이 customer_churn_params 테이블에서 데이터를 읽어 이탈 모델을 기반으로 점진적으로 예측하도록 구성합니다.
• B. customer_churn_params 테이블의 모든 행에 이탈 예측 모델을 적용하되, 예측값이 변경되지 않은 행은 무시하고 예측 테이블에 업서트하는 로직을 구현하십시오.
• C. 현재의 덮어쓰기 로직을 ​​변경된 레코드만 수정하는 MERGE 문으로 대체하고, 변경 데이터 피드에서 식별된 변경된 레코드에 대한 예측 로직을 작성합니다.
• D. 데이터가 기록될 때 current_timestamp()를 호출하여 채워지는 필드를 포함하도록 덮어쓰기 로직을 ​​수정합니다. 이 필드를 사용하여 특정 날짜에 기록된 레코드를 식별합니다.

데이터 엔지니어가 다음 PySpark 코드를 실행하려고 시도하고 있습니다.
df = spark.read.table("sales")
result = df.groupBy("region").agg(sum("revenue"))
하지만 실행 계획을 검토하고 Spark 작업을 프로파일링한 결과, 집계 단계에서 과도한 데이터 셔플링이 발생하는 것을 발견했습니다.
groupBy 집계 연산 중 셔플링을 줄이기 위해 어떤 기법을 적용해야 할까요?

• A. 브로드캐스트 참여를 사용하세요.
• B. 집계 전 지역별 재분할.
• C. 집계 후 coalesce() 함수를 사용하십시오.
• D. DataFrame df를 캐싱합니다.

데이터 엔지니어가 Lakeflow Declarative Pipelines의 Expectations 기능을 사용하여 수신되는 센서 데이터의 품질을 추적하고 있습니다. 센서에서 주기적으로 범위를 벗어난 잘못된 측정값이 전송되는데, 현재는 해당 행에 경고 플래그를 지정하고 정상 데이터와 함께 실버 테이블에 기록하고 있습니다. 그런데 새로운 요구 사항이 생겼습니다. 잘못된 행을 별도의 격리 테이블에 저장하고 더 이상 실버 테이블에 포함시키지 않아야 한다는 것입니다.
이것은 그들의 은색 테이블에 대한 기존 코드입니다:
@dlt.table
@dlt.expect( " valid_sensor_reading " , " reading < 120 " )
def silver_sensor_readings():
return spark.readStream.table( " bronze_sensor_readings " )
What code will satisfy the requirements?

• A. @dlt.table
  @dlt.expect_or_drop( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect( " invalid_sensor_reading " , " reading > = 120 " )
  def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
• B. @dlt.table
  @dlt.expect_or_drop( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect_or_drop( " invalid_sensor_reading " , " reading > = 120 " ) def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
• C. @dlt.table
  @dlt.expect_or_drop( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect( " invalid_sensor_reading " , " reading < 120 " )
  def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
• D. @dlt.table
  @dlt.expect( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect( " invalid_sensor_reading " , " reading > = 120 " )
  def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )

신입 데이터 엔지니어가 silver_device_recordings라는 Lakehouse 테이블에 대한 로직을 구현하는 작업을 진행하고 있습니다.
원본 데이터는 고도로 중첩된 JSON 구조에 100개의 고유 필드를 포함하고 있습니다.
silver_device_recordings 테이블은 여러 프로덕션 모니터링 대시보드와 프로덕션 모델을 구동하는 데 사용될 예정입니다. 현재 100개 필드 중 45개가 이러한 애플리케이션 중 하나 이상에서 사용되고 있습니다.
데이터 엔지니어는 데이터의 고도로 중첩된 구조와 수많은 필드를 고려하여 스키마 선언을 처리하는 최적의 접근 방식을 찾으려고 노력하고 있습니다.
다음 중 Delta Lake와 Databricks에 대한 정보를 정확하게 제시하여 그들의 의사 결정 과정에 영향을 미칠 수 있는 것은 무엇입니까?

• A. Delta Lake는 데이터 저장에 Parquet 형식을 사용하기 때문에 파일 바닥글 정보만 수정하면 데이터 형식을 쉽게 변경할 수 있습니다.
• B. Databricks에서 사용하는 Tungsten 인코딩은 문자열 데이터 저장에 최적화되어 있습니다. JSON 문자열 쿼리에 대한 새로운 네이티브 지원이 추가되어 문자열 유형이 항상 가장 효율적입니다.
• C. .Databricks의 스키마 추론 및 진화는 추론된 유형이 하위 시스템에서 사용되는 데이터 유형과 항상 정확하게 일치하도록 보장합니다.
• D. 데이터 엔지니어링 워크로드에서 가장 큰 비용은 코드 작성에 투입되는 인력입니다. 따라서 모든 마이그레이션 워크로드에서 테이블 선언 로직 자동화를 최우선 과제로 삼아야 합니다.
• E. Databricks는 관찰된 모든 데이터를 처리할 수 있는 유형을 사용하여 스키마를 추론하므로 유형을 수동으로 설정하면 데이터 품질 보장을 강화할 수 있습니다.

외부 객체 스토리지 컨테이너가 /mnt/finance_eda_bucket 위치에 마운트되었습니다.
재무팀을 위한 데이터베이스를 생성하기 위해 다음과 같은 로직이 실행되었습니다.

데이터베이스가 성공적으로 생성되고 권한이 구성되면 재무팀 구성원이 다음 코드를 실행합니다.

재무팀의 모든 사용자가 재무 그룹의 구성원인 경우, tx_sales 테이블이 생성되는 방식을 설명하는 문장은 무엇입니까?

• A. 논리 테이블은 Databricks 컨트롤 플레인의 Hive 메타스토어에 쿼리 계획을 저장합니다.
• B. DBFS 루트 스토리지 컨테이너에 관리형 테이블이 생성됩니다.
• C. /mnt/finance eda 버킷에 마운트된 스토리지 컨테이너에 관리형 테이블이 생성됩니다.
• D. /mnt/finance eda 버킷에 마운트된 스토리지 컨테이너에 외부 테이블이 생성됩니다.
• E. 논리 테이블은 물리적 플랜을 Databricks 제어 평면의 Hive 메타스토어에 저장합니다.