설명
스트림은 실제 테이블 열이나 데이터가 아닌 소스 개체에 대한 오프셋을 저장합니다. 큐에 저장되면 스트림은 소스 오브젝트와 동일한 형태(즉, 동일한 열 이름과 순서)로 기록 데이터에 액세스하고 다음과 같은 추가 열을 사용하여 반환합니다:
메타데이터$액션
기록된 DML 작업(삽입, 삭제)을 나타냅니다.
메타데이터1TP4티스업데이트
작업이 UPDATE 문의 일부인지 여부를 나타냅니다. 소스 오브젝트의 행에 대한 업데이트는 메타데이터 열 METADATA$ISUPDATE 값이 TRUE로 설정된 스트림에서 DELETE 및 INSERT 레코드 쌍으로 표시됩니다.
스트림은 두 오프셋 간의 차이를 기록한다는 점에 유의하세요. 현재 오프셋에 행이 추가되고 업데이트되면 델타 변경은 새 행이 됩니다. METADATA$ISUPDATE 행은 FALSE 값을 기록합니다.
메타데이터$OW_ID
시간에 따른 특정 행의 변경 사항을 추적하는 데 사용할 수 있는 행의 고유하고 변경 불가능한 ID를 지정합니다.

설명
데이터 시각화는 그래프, 도표 및 정보 그래픽을 사용하여 데이터를 시각적으로 표현하는 것입니다.
실무자들은 통계와 데이터 과학을 사용하여 윤리적이고 정확한 방식으로 데이터의 의미를 전달합니다.

설명
모델 버전 관리에는 이전에 빌드한 ML 모델의 변경 사항을 추적하는 방식이 포함됩니다.
달리 말하면, ML 모델의 구성을 변경하는 프로세스입니다. 다른 관점에서 보면 모델 버전 관리란 머신러닝 엔지니어, 데이터 과학자 및 관련 담당자가 동일한 모델의 여러 버전을 생성하고 유지하는 데 도움이 되는 기능으로 볼 수 있습니다.
하이퍼파라미터를 조정하고, 더 많은 데이터로 모델을 재학습하는 등 모델에 대한 변경 사항을 기록하는 방법이라고 생각하면 됩니다.
모델 버전 관리에서는 중요한 변경 사항을 추적할 수 있도록 여러 가지를 버전 관리해야 합니다. 아래에서 이를 나열하고 설명하겠습니다:
구현 코드: 모델 구축 초기부터 최적화 단계까지 코드 또는 이 경우에는 모델의 소스 코드가 중요한 역할을 합니다. 이 코드는 최적화 단계에서 상당한 변경이 발생하기 때문에 제대로 추적하지 않으면 쉽게 손실될 수 있습니다. 따라서 코드는 모델 버전 관리 프로세스 중에 고려되는 사항 중 하나입니다.
데이터: 모델 운영 최적화 단계에서 학습 데이터가 초기 상태보다 크게 개선되는 경우도 있습니다. 이는 기존 기능에서 새로운 기능을 엔지니어링하여 모델을 학습시킨 결과일 수 있습니다. 또한 버전 관리를 고려해야 할 메타데이터(학습 데이터 및 모델에 대한 데이터)가 있습니다. 메타데이터는 학습 데이터가 실제로 변경되지 않더라도 여러 번 변경될 수 있습니다. 버전 관리를 통해 이러한 변경 사항을 추적할 수 있어야 합니다: 모델은 앞서 설명한 두 개체의 산물이며, 설명에서 언급했듯이 ML 모델은 하이퍼파라미터 설정, 모델 아티팩트 및 학습 계수를 통해 최적화 단계의 여러 지점에서 변경됩니다. 버전 관리는 머신 러닝 모델의 다양한 버전을 기록하는 데 도움이 됩니다.
MLFlow 및 Pachyderm은 ML 라이프사이클 및 모델 버전 관리에 사용되는 툴입니다.

설명
지도 학습
개요:
지도 학습은 레이블이 지정된 데이터를 사용하여 머신 러닝 모델을 학습시키는 머신 러닝의 한 유형입니다. 레이블이 지정된 데이터에서는 출력이 이미 알려져 있습니다. 모델은 입력을 각 출력에 매핑하기만 하면 됩니다.
알고리즘:
가장 널리 사용되는 지도 학습 알고리즘은 다음과 같습니다:
선형 회귀
로지스틱 회귀
벡터 머신 지원
가장 가까운 이웃
의사 결정 트리
랜덤 포레스트
나이브 베이즈
작업 중입니다:
지도 학습 알고리즘은 레이블이 지정된 입력을 받아 이미 알려진 출력에 매핑하므로 목표 변수를 이미 알고 있습니다.
지도 학습 방법은 머신러닝 모델을 학습하기 위해 외부의 감독이 필요합니다. 따라서 지도 학습이라는 이름이 붙었습니다. 원하는 결과를 반환하려면 지침과 추가 정보가 필요합니다.
애플리케이션:
지도 학습 알고리즘은 일반적으로 분류 및 회귀 문제를 해결하는 데 사용됩니다.
날씨 예측, 판매 예측, 주가 분석 등이 대표적인 지도 학습 애플리케이션입니다.

설명
데이터 수집 단계의 주요 작업은 다음과 같습니다:
레이블: 레이블이 지정된 데이터는 모델이 학습할 수 있도록 하나 이상의 의미 있는 태그를 추가하여 처리된 원시 데이터입니다. 이러한 정보가 누락된 경우 수동 또는 자동으로 레이블을 지정하는 작업이 필요합니다.
수집 및 집계: 여러 데이터 소스에서 데이터를 통합하고 결합하는 것은 AI에서 데이터 수집의 일부입니다.
데이터 수집
ML 모델 학습을 위한 데이터 수집은 머신러닝 파이프라인의 기본 단계입니다. ML 시스템의 예측은 학습된 데이터만큼만 정확할 수 있습니다. 다음은 데이터 수집 시 발생할 수 있는 몇 가지 문제입니다:
부정확한 데이터. 수집된 데이터가 문제 설명과 관련이 없을 수 있습니다.
누락된 데이터. 하위 데이터가 누락되었을 수 있습니다. 이는 열에 빈 값이 있거나 일부 예측 클래스에 대한 이미지가 누락된 형태일 수 있습니다.
데이터 불균형. 데이터의 일부 클래스 또는 카테고리에는 해당 샘플 수가 불균형적으로 많거나 적을 수 있습니다. 그 결과 모델에서 과소 대표될 위험이 있습니다.
데이터 편향. 예를 들어 데이터, 주제 및 레이블을 선택하는 방법에 따라 모델은 성별, 정치, 연령 또는 지역에 대한 내재된 편견을 전파할 수 있습니다. 데이터 편향은 감지하고 제거하기가 어렵습니다.
이러한 문제를 해결하기 위해 몇 가지 기술을 적용할 수 있습니다:
사전 정리된, 무료로 제공되는 데이터 세트. 문제 진술(예: 이미지 분류, 객체 인식)이 깨끗하고 적절하게 구성된 기존의 데이터 세트와 일치하는 경우, 기존의 오픈 소스 전문 지식을 활용하세요.
웹 크롤링 및 스크래핑. 자동화된 도구, 봇, 헤드리스 브라우저는 웹사이트를 크롤링하고 스크래핑하여 데이터를 검색할 수 있습니다.
개인 데이터. ML 엔지니어는 자체 데이터를 생성할 수 있습니다. 이는 모델 학습에 필요한 데이터의 양이 적고 문제 진술이 너무 구체적이어서 오픈 소스 데이터 집합을 통해 일반화할 수 없을 때 유용합니다.
사용자 지정 데이터. 대행사는 유료로 데이터를 생성하거나 크라우드소싱할 수 있습니다.

설명
스칼라 함수(UDF)는 각 입력 행에 대해 하나의 출력 행을 반환합니다. 반환되는 행은 단일 열/값으로 구성됩니다.

설명
스트림 개체는 삽입, 업데이트, 삭제 등 테이블에 대한 DML(데이터 조작 언어) 변경 사항과 각 변경 사항에 대한 메타데이터를 기록하여 변경된 데이터를 사용하여 작업을 수행할 수 있도록 합니다. 이 프로세스를 변경 데이터 캡처(CDC)라고 합니다. 개별 테이블 스트림은 소스 테이블의 행에 대한 변경 사항을 추적합니다. 테이블 스트림(간단히 '스트림'이라고도 함)은 테이블의 두 트랜잭션 시점 사이에 변경된 내용을 하위 수준에서 '변경 테이블'로 만듭니다. 이를 통해 트랜잭션 방식으로 일련의 변경 레코드를 쿼리하고 사용할 수 있습니다.
스트림을 생성하여 다음 객체의 변경 데이터를 쿼리할 수 있습니다:
공유 테이블을 포함한 표준 테이블.
보안 보기를 포함한 보기
디렉토리 테이블
이벤트 테이블

설명
데이터 프레임을 인덱스 값으로 그룹화할 수 없습니다. 따라서 오류가 발생합니다.

설명기능 스케일링
피처 스케일링은 피처가 비슷한 규모를 갖도록 변환하는 프로세스입니다. 피처의 규모가 모델의 성능에 영향을 미칠 수 있기 때문에 머신 러닝에서는 이 작업이 중요합니다.
피처 스케일링의 유형:
최소-최대 스케일링: 최소값을 빼고 범위로 나누어 기능을 0에서 1 사이와 같은 특정 범위로 스케일 조정합니다.
표준 스케일링: 평균을 빼고 표준 편차로 나누어 피처의 평균이 0, 표준 편차가 1이 되도록 배율을 조정합니다.
강력한 스케일링: 피처를 사분위수 범위로 나누어 이상값에 대해 강건한 스케일링으로 재조정합니다.
기능 확장의 이점:
모델 성능 향상: 피처를 비슷한 규모로 변환하면 모델이 모든 피처를 동등하게 학습하고 몇 개의 큰 피처에 의해 지배되는 것을 방지할 수 있습니다.
모델 견고성 향상: 이상값에 대해 견고하도록 피처를 변환하면 이상값에 대해 모델이 더욱 견고해질 수 있습니다.
계산 효율성 향상: k-근접 이웃과 같은 많은 머신 러닝 알고리즘은 피처의 규모에 민감하며 규모를 확장한 피처에서 더 나은 성능을 발휘합니다.
모델 해석 가능성 향상: 기능을 비슷한 규모로 변환하면 모델의 예측을 더 쉽게 이해할 수 있습니다.

설명
스노우플레이크 공유 옵션
다음 옵션 중 하나를 사용하여 스노우플레이크에서 데이터를 공유할 수 있습니다:
리스팅은 하나 이상의 에이카운트에 공유 및 추가 메타데이터를 데이터 상품으로 제공하는 리스팅입니다,
특정 데이터베이스 개체(공유)를 해당 지역의 다른 계정과 직접 공유하는 직접 공유를 사용할 수 있습니다,
데이터 교환을 통해 계정 그룹을 설정 및 관리하고 해당 그룹에 공유를 제공할 수 있습니다.

설명
drop_duplicates() 메서드는 중복 행을 제거합니다.
dataframe.drop_duplicates(subset, keep, inplace, ignore_index)
데이터프레임에서 중복 행을 제거합니다:
1. 판다를 PD로 가져오기
2.data = {
3."name": ["Peter", "Mary", "John", "Mary"],
4."age": [50, 40, 30, 40],
5."적격": [참, 거짓, 거짓, 거짓]: [참, 거짓, 거짓]
6.}
7.
8.df = pd.DataFrame(data)
9.newdf = df.drop_duplicates()

설명
기능 엔지니어링이란 무엇인가요?
피처 엔지니어링은 원시 데이터를 머신러닝 모델에 적합한 피처로 변환하는 프로세스입니다. 즉, 보다 정확하고 효율적인 머신러닝 모델을 구축하기 위해 사용 가능한 데이터에서 가장 관련성이 높은 특징을 선택, 추출, 변환하는 프로세스입니다.
머신 러닝 모델의 성공 여부는 학습에 사용되는 기능의 품질에 크게 좌우됩니다.
피처 엔지니어링에는 기존 피처를 결합하거나 변형하여 새로운 피처를 생성할 수 있는 일련의 기술이 포함됩니다. 이러한 기술은 데이터에서 가장 중요한 패턴과 관계를 강조하여 머신러닝 모델이 데이터를 더 효과적으로 학습할 수 있도록 도와줍니다.
기능이란 무엇인가요?
머신 러닝의 맥락에서 특징(변수 또는 속성이라고도 함)은 머신 러닝 알고리즘의 입력으로 사용되는 데이터 포인트의 측정 가능한 개별 속성 또는 특성입니다. 특징은 숫자, 범주 또는 텍스트 기반일 수 있으며, 당면한 문제와 관련된 데이터의 다양한 측면을 나타냅니다.
예를 들어, 주택 가격 데이터 집합에서 특징에는 침실 수, 평방 피트, 위치, 부동산의 연식이 포함될 수 있습니다. 고객 인구 통계 데이터 세트에서는 나이, 성별, 소득 수준, 직업을 특징으로 포함할 수 있습니다.
머신 러닝에서는 모델의 정확도와 성능에 큰 영향을 미칠 수 있으므로 기능의 선택과 품질이 매우 중요합니다.
기능을 엔지니어링하는 이유는 무엇인가요?
Facebook은 관련성 있고 유익한 입력 데이터를 제공하여 머신러닝 모델의 성능을 향상시키는 기능을 설계합니다. 원시 데이터에는 노이즈, 관련 없는 정보 또는 누락된 값이 포함될 수 있으며, 이로 인해 부정확하거나 편향된 모델 예측을 초래할 수 있습니다. 기능을 엔지니어링하면 원시 데이터에서 의미 있는 정보를 추출하고, 중요한 패턴과 관계를 포착하는 새로운 변수를 만들고, 데이터를 머신러닝 알고리즘에 더 적합한 형식으로 변환할 수 있습니다.
피처 엔지니어링은 과적합, 과소적합, 높은 이차원성과 같은 문제를 해결하는 데도 도움이 될 수 있습니다. 예를 들어, 특징의 수를 줄임으로써 모델이 너무 복잡해지거나 학습 데이터에 과적합되는 것을 방지할 수 있습니다. 가장 관련성이 높은 특징을 선택함으로써 모델의 정확도와 해석 가능성을 향상시킬 수 있습니다.
또한 피처 엔지니어링은 금융, 의료, 마케팅, 사회과학 등 다양한 분야에서 분석과 의사 결정을 위한 데이터를 준비하는 데 있어 중요한 단계입니다. 숨겨진 인사이트를 발견하고, 트렌드와 패턴을 파악하며, 데이터 기반의 의사 결정을 지원하는 데 도움이 될 수 있습니다.
다양한 이유로 기능을 설계하는데, 주요 이유는 다음과 같습니다:
사용자 경험 개선: 기능을 설계하는 주된 이유는 제품이나 서비스의 사용자 경험을 향상시키기 위해서입니다. 새로운 기능을 추가함으로써 제품을 보다 직관적이고 효율적이며 사용자 친화적으로 만들어 사용자 만족도와 참여도를 높일 수 있습니다.
경쟁 우위: 기능을 설계하는 또 다른 이유는 시장에서 경쟁 우위를 확보하기 위해서입니다. 독특하고 혁신적인 기능을 제공함으로써 경쟁사와 제품을 차별화하고 더 많은 고객을 유치할 수 있습니다.
고객의 요구 충족: 진화하는 고객의 니즈를 충족할 수 있도록 기능을 설계합니다. 사용자 피드백, 시장 동향, 고객 행동을 분석하여 새로운 기능으로 제품의 가치를 높이고 고객의 요구를 충족할 수 있는 영역을 파악할 수 있습니다.
수익 증대: 더 많은 수익을 창출하도록 기능을 설계할 수도 있습니다. 예를 들어, 결제 프로세스를 간소화하는 새로운 기능으로 매출을 늘리거나 추가 기능을 제공하는 기능으로 상향 판매 또는 교차 판매를 늘릴 수 있습니다.
미래 대비: 엔지니어링 기능은 제품이나 서비스의 미래 대비를 위해서도 사용할 수 있습니다. 미래의 트렌드와 잠재적인 고객의 요구를 예측하여 장기적으로 제품의 관련성과 유용성을 유지할 수 있는 기능을 개발할 수 있습니다.
피처 엔지니어링과 관련된 프로세스
머신 러닝의 피처 엔지니어링은 크게 5가지 프로세스로 구성됩니다: 특징 생성, 특징 변환, 특징 추출, 특징 선택, 특징 스케일링입니다. 주어진 문제에 가장 적합한 특징의 조합을 찾기 위해 실험과 테스트가 필요한 반복적인 프로세스입니다. 머신러닝 모델의 성공 여부는 모델에 사용된 피처의 품질에 따라 크게 좌우됩니다.
기능 변환
특징 변환은 특징을 머신 러닝 모델에 더 적합한 표현으로 변환하는 프로세스입니다. 이는 모델이 데이터를 효과적으로 학습할 수 있도록 하기 위해 수행됩니다.
기능 변환의 유형:
정규화: 일부 기능이 다른 기능을 지배하는 것을 방지하기 위해 0에서 1 사이와 같이 비슷한 범위를 갖도록 기능의 배율을 조정합니다.
스케일링: 모델에서 모든 피처를 동일하게 고려하도록 표준 편차를 1로 설정하는 등 비슷한 스케일을 갖도록 피처의 스케일을 재조정합니다.
인코딩: 범주형 특징을 숫자 표현으로 변환하는 작업입니다. 원핫 인코딩과 레이블 인코딩이 그 예입니다.
변형: 수학 연산을 사용하여 특징을 변형하여 특징의 분포나 배율을 변경하는 것입니다. 예를 들어 로그, 제곱근 및 상호 변환이 있습니다.

설명
정규화는 데이터 준비 과정에서 데이터 세트의 숫자 열 값을 공통 스케일을 사용하도록 변경하기 위해 적용되는 머신 러닝의 스케일링 기법으로, 모델의 모든 데이터 세트에 필요한 것은 아닙니다. 머신러닝 모델의 특징이 서로 다른 범위를 갖는 경우에만 필요합니다.
Scikit-Learn은 정규화를 위해 MinMaxScaler라는 트랜스포머를 제공합니다.
이 기법은 모델의 스케일링에 최소값과 최대값을 사용하며, 특징 분포를 알 수 없을 때 유용하며 이상값의 영향을 받습니다.

설명
측면 평탄화 SQL 함수에 대한 자세한 내용은 여기를 참조하세요:
https://docs.snowflake.com/en/sql-reference/constructs/join-lateral#example-of-using-lateral-with-flatten

설명
스파크에서 스노우플레이크로 데이터 이동
데이터프레임의 내용을 스노우플레이크 테이블에 저장하는 단계는 스노우플레이크에서 스파크에 쓰는 단계와 유사합니다:
1. 데이터프레임의 쓰기() 메서드를 사용하여 데이터프레임라이터를 생성합니다.
2. format() 메서드를 사용하여 SNOWFLAKE_SOURCE_NAME을 지정합니다.
3. 옵션() 또는 옵션() 메서드를 사용하여 커넥터 옵션을 지정합니다.
4. dbtable 옵션을 사용하여 데이터가 기록될 테이블을 지정합니다.
5. 모드() 메서드를 사용하여 콘텐츠의 저장 모드를 지정합니다.
예제
1.df.write
2..format(SNOWFLAKE_SOURCE_NAME)
3..옵션(sfOptions)
4..option("dbtable", "t2")
5..모드(저장모드.덮어쓰기)
6..save()

설명
벡터화된 파이썬 UDF를 사용하면 입력 행의 일괄 처리를 Pandas 데이터 프레임으로 수신하고 결과의 일괄 처리를 Pandas 배열 또는 시리즈로 반환하는 파이썬 함수를 정의할 수 있습니다. 다른 파이썬 UDF를 호출하는 것과 같은 방식으로 벡터화된 파이썬 UDF를 호출할 수 있습니다.
기본 행 단위 처리 패턴과 비교하여 벡터화된 Python UDF를 사용할 때의 장점은 다음과 같습니다:
Python 코드가 행 배치에서 효율적으로 작동하면 성능이 향상될 가능성이 있습니다.
판다 데이터 프레임 또는 판다 배열에서 작동하는 라이브러리를 호출하는 경우 변환 로직이 덜 필요합니다.
벡터화된 Python UDF를 사용하는 경우:
Python UDF를 사용하여 쿼리를 작성하는 방법을 변경할 필요가 없습니다. 모든 일괄 처리는 자체 코드가 아닌 UDF 프레임워크에서 처리합니다.
벡터화되지 않은 UDF와 마찬가지로, 핸들러 코드의 어떤 인스턴스가 어떤 입력 배치를 보게 될지 보장할 수 없습니다.

설명
모두 맞습니다!
눈송이 마켓플레이스 정보
스노우플레이크 마켓플레이스를 사용하여 타사 데이터 및 서비스를 검색하고 액세스할 수 있을 뿐만 아니라, 스노우플레이크 데이터 클라우드에서 자체 데이터 제품을 마케팅할 수도 있습니다.
데이터 공급자는 개별 소비자와의 공유 관계를 유지하는 대신, 스노우플레이크 마켓플레이스의 리스팅을 사용하여 선별된 데이터 오퍼링을 많은 소비자와 동시에 공유할 수 있습니다.
유료 리스팅을 사용하면 데이터 상품에 대한 요금을 청구할 수도 있습니다.
소비자는 눈송이 마켓플레이스에서 제공하는 데이터를 사용하여 다음을 탐색하고 액세스할 수 있습니다:
연구, 예측 및 머신 러닝을 위한 과거 데이터.
현재 날씨 및 교통 상황과 같은 최신 스트리밍 데이터를 확인하세요.
구독자 및 오디언스 타겟을 이해하기 위한 전문화된 신원 데이터.
예상치 못한 데이터 소스에서 새로운 인사이트를 얻으세요.
스노우플레이크 마켓플레이스는 전 세계에서 Amazon Web Services, Google Cloud Platform 및 Microsoft Azure에서 호스팅되는 모든 비-VPS 스노우플레이크 계정에서 사용할 수 있으며, Microsoft Azure Government는 제외됩니다.
Microsoft Azure Government에 대한 지원이 계획되어 있습니다.

설명
선형 회귀란 무엇인가요?
선형 회귀 분석은 다른 변수의 값을 기반으로 한 변수의 값을 예측하는 데 사용됩니다. 예측하려는 변수를 종속 변수라고 합니다. 다른 변수의 값을 예측하는 데 사용하는 변수를 독립 변수라고 합니다.
선형 회귀는 관찰된 데이터에 선형 방정식을 맞춰 두 변수 사이의 관계를 모델링하려고 시도합니다. 한 변수는 설명변수로 간주되고 다른 변수는 종속변수로 간주됩니다. 예를 들어, 모델러는 선형 회귀 모델을 사용하여 개인의 가중치를 키와 연관시키고자 할 수 있습니다.
선형 회귀선은 Y = a + bX 형식의 방정식을 가지며, 여기서 X는 설명 변수이고 Y는 종속 변수입니다. 선의 기울기는 b이고, a는 절편(x = 0일 때 y의 값)입니다.
선형 회귀의 경우 Y=a+bx+오차.
오차를 무시하면 Y=a+bx입니다. x가 1씩 증가하면 Y = a+b(x+1)가 되며, 이는 Y=a+bx+b를 의미합니다. 따라서 Y는 기울기만큼 증가합니다.
선형 회귀의 경우 Y=a+bx+오차. 오차를 무시하면 Y=a+bx입니다. x가 1씩 증가하면 Y = a+b(x+1)가 되며, 이는 Y=a+bx+b를 의미합니다. 따라서 Y는 기울기만큼 증가합니다.

설명
표준 전용 스트림이 행 삽입만 추적하는 것을 제외하고는 모두 맞습니다.
표준(즉, 델타) 스트림은 삽입, 업데이트, 삭제(테이블 잘림 포함)를 포함하여 소스 개체에 대한 모든 DML 변경 사항을 추적합니다.

설명
소비자는 다음을 수행할 수 있습니다:
타사 데이터 소스를 검색하고 테스트하세요.
공급업체로부터 원시 데이터 제품에 원활하게 액세스할 수 있습니다.
새로운 데이터 집합을 기존 데이터와 Snowflake에서 결합하여 새로운 비즈니스 인사이트를 도출하세요.
사용자가 데이터셋을 즉시 사용할 수 있고 지속적으로 업데이