Databricks Databricks-Certified-Professional-Data-Engineer Korean : Databricks Certified Professional Data Engineer Exam (Databricks-Certified-Professional-Data-Engineer Korean Version)

팀의 주니어 데이터 엔지니어가 다음 코드 블록을 구현했습니다.

뷰 `new_events`에는 `events Delta` 테이블과 동일한 스키마를 가진 레코드 배치가 포함되어 있습니다. `event_id` 필드는 이 테이블의 고유 키 역할을 합니다.
이 쿼리가 실행될 때, 기존 레코드와 동일한 event_id를 가진 새 레코드는 어떻게 처리됩니까?

• A. 그들은 무시당합니다.
• B. 업데이트되었습니다.
• C. 병합되었습니다.
• D. 삭제되었습니다.
• E. 삽입됩니다.

다음 코드는 기존 워크로드에서 Databricks 노트북으로 마이그레이션되었습니다.

코드는 성공적으로 실행되어 논리적으로 올바른 결과를 제공하지만, 약 1GB의 데이터를 추출하고 불러오는 데 20분 이상이 소요됩니다.
다음 중 이러한 행동에 대한 가능한 설명은 무엇입니까?

• A. %sh는 드라이버 노드에서 셸 코드를 실행합니다. 이 코드는 워커 노드나 Databricks 최적화 Spark의 이점을 활용하지 않습니다.
• B. %sh는 Git을 수집 및 설치하기 위해 클러스터 재시작을 트리거합니다. 지연 시간의 대부분은 클러스터 시작 시간과 관련이 있습니다.
• C. 클론하는 대신, `%sh pip install` 명령어를 사용하여 Python 코드가 클러스터의 모든 노드에서 병렬로 실행될 수 있도록 해야 합니다.
• D. %sh는 파일 이동 작업을 분산 처리하지 않습니다. 마지막 코드 줄을 %fs를 사용하도록 업데이트해야 합니다.
• E. Databricks 환경에서 Python은 항상 Scala보다 느리게 실행됩니다. run.py 스크립트를 Scala로 리팩토링해야 합니다.

새로운 데이터 엔지니어가 Kafka 소스 데이터를 Delta Lake에 저장하는 애플리케이션에서 중요한 필드가 누락된 것을 발견했습니다. 해당 필드는 Kafka 소스 데이터에는 분명히 존재했음에도 불구하고 누락되었습니다. 더 나아가, 종속적인 장기 저장소에 저장되는 데이터에서도 해당 필드가 누락된 것이 확인되었습니다. Kafka 서비스의 데이터 보존 기간은 7일입니다. 해당 데이터 파이프라인은 3개월 동안 운영되어 왔습니다.
이는 델타 레이크가 향후 이와 같은 데이터 손실을 방지하는 데 어떻게 도움이 될 수 있는지를 설명하는 내용입니다.

• A. Delta 로그와 Structured Streaming 체크포인트는 Kafka 프로듀서의 전체 이력을 기록합니다.
• B. Delta Lake 스키마 진화는 원본 소스에 데이터가 있는 한 새로 추가된 필드에 대해 소급하여 올바른 값을 계산할 수 있습니다.
• C. Delta Lake에서는 데이터가 영구적으로 삭제되거나 제거되지 않으므로 어떠한 상황에서도 데이터 손실은 발생하지 않습니다.
• D. Kafka에서 모든 원시 데이터와 메타데이터를 브론즈 델타 테이블로 수집하면 데이터 상태에 대한 영구적이고 재생 가능한 기록이 생성됩니다.
• E. Delta Lake는 소스 데이터에 있는 모든 필드가 수집 레이어에 포함되어 있는지 자동으로 확인합니다.

비즈니스 인텔리전스 팀은 소매 관련 기사에 대한 다양한 요약 지표를 추적하도록 구성된 대시보드를 보유하고 있습니다.
여기에는 전날 총 매출액과 다양한 기간별 총액 및 평균이 포함됩니다. 이 대시보드를 채우는 데 필요한 필드는 다음과 같은 스키마를 따릅니다.

수요 예측을 위해 레이크하우스는 모든 품목별 판매 내역이 포함된 검증된 테이블을 보유하고 있으며, 이 테이블은 거의 실시간으로 점진적으로 업데이트됩니다. products_per_order라는 이름의 이 테이블에는 다음과 같은 필드가 포함되어 있습니다.

장기 판매 추세 보고는 변동성이 적기 때문에 새로운 대시보드를 사용하는 분석가는 하루에 한 번만 데이터를 새로 고치면 됩니다. 또한, 일반적인 업무 시간 동안 많은 사용자가 대시보드를 대화형으로 조회하므로 결과가 빠르게 표시되고 각 데이터 생성에 필요한 총 컴퓨팅 리소스가 줄어듭니다.
어떤 솔루션이 최종 사용자의 기대를 충족시키면서 동시에 발생 가능한 비용을 통제하고 제한할 수 있을까요?

• A. 대시보드를 채우기 위해 매일 밤 배치 작업을 구성하여 필요한 데이터를 저장하고 각 쿼리로 대시보드를 신속하게 업데이트합니다.
• B. Databricks 노트북 내의 products_per_order 테이블에 대한 실시간 대시보드를 구성하려면 Structure Streaming을 사용하십시오.
• C. Delta Cache를 사용하여 products_per_order 테이블을 메모리에 저장함으로써 각 쿼리 시 대시보드를 빠르게 표시할 수 있습니다.
• D. products_per_order 테이블에 대한 뷰를 정의하고, 이 뷰에 대한 대시보드를 정의합니다.

데이터 엔지니어가 세부적인 권한 설정이 가능한 Databricks Asset Bundle을 구성하여 작업을 배포하고 있습니다. 요구 사항은 다음과 같습니다.
* 데이터 엔지니어 그룹에 해당 작업에 대한 CAN_MANAGE 액세스 권한을 부여하십시오.
* 감사팀이 작업을 볼 수는 있지만 수정하거나 실행할 수는 없도록 하십시오.
* 의도하지 않은 권한을 다른 사용자/그룹에게 부여하지 마십시오.
데이터 엔지니어는 요구 사항을 충족하면서 어떻게 작업을 배포해야 할까요?

• A. permissions:
  - group_name: data-engineers
  level: CAN_MANAGE
  - group_name: auditors
  level: CAN_VIEW
  resources:
  jobs:
  my-job:
  name: data-pipeline
  tasks: [...]
  job_clusters: [...]
• B. resources:
  jobs:
  my-job:
  name: data-pipeline
  tasks: [...]
  job: [...]
  permissions:
  - group_name: data-engineers
  level: CAN_MANAGE
  permissions:
  - group_name: auditors
  level: CAN_VIEW
• C. resources:
  jobs:
  my-job:
  name: data-pipeline
  tasks: [...]
  job_clusters: [...]
  permissions:
  - group_name: data-engineers
  level: CAN_MANAGE
  - group_name: auditors
  level: CAN_VIEW
  - group_name: admin-team
  level: IS_OWNER
• D. resources:
  jobs:
  my-job:
  name: data-pipeline
  tasks: [...]
  job_clusters: [...]
  permissions:
  - group_name: data-engineers
  level: CAN_MANAGE
  - group_name: auditors
  level: CAN_VIEW