説明
ストリームはソースオブジェクトのオフセットを格納し、実際のテーブル列やデータは格納しません。キューを実行すると、ストリームはソース・オブジェクトと同じ形（つまり、同じ列名と順序）で、以下の列を追加した履歴データにアクセスし、それを返します：
メタデータ$action
記録されたDML操作（INSERT、DELETE）を示す。
メタデータ$isupdate
操作がUPDATE文の一部であるかどうかを示す。ソース・オブジェクトの行に対する更新は、メタデータ列METADATA$ISUPDATE値がTRUEに設定されたストリーム内のDELETEレコードとINSERTレコードのペアとして表されます。
ストリームは、2つのオフセット間の差分を記録することに注意。行が追加され、現在のオフセットで更新された場合、差分変更は新しい行となります。METADATA$ISUPDATE行はFALSE値を記録する。
メタデータ$row_id
このIDは、特定の行の変更を追跡するために使用することができます。

説明
データの視覚化とは、グラフ、プロット、情報グラフィックを使ってデータを視覚的に描写することである。
統計学とデータサイエンスを駆使し、倫理的かつ正確な方法でデータの背後にある意味を伝える。

説明
モデルのバージョニングは、ある意味で、以前に構築されたMLモデルに加えられた変更を追跡することを含む。
別の言い方をすれば、MLモデルの構成に変更を加えるプロセスです。別の観点からは、モデルのバージョニングは、機械学習エンジニア、データサイエンティスト、および関連する担当者が、同じモデルの複数のバージョンを作成し、保持することを支援する機能であると見なすことができます。
ハイパーパラメータを微調整したり、より多くのデータでモデルを再トレーニングしたりすることで、モデルに加えた変更をメモする方法だと考えてください。
モデルのバージョニングでは、重要な変更を追跡しやすくするために、多くのものをバージョン管理する必要があります。以下にそれらを列挙して説明しよう：
実装コード：モデル構築の初期段階から最適化段階まで、コード、この場合はモデルのソースコードが重要な役割を果たします。このコードは、最適化の段階で大きな変化を経験し、適切に追跡されないと簡単に失われてしまいます。このため、コードはモデルのバージョニング・プロセスで考慮されるものの1つです。
データ：場合によっては、モデルの最適化段階において、トレーニングデータが初期状態から大幅に改善されることがある。これは、モデルをトレーニングするために、既存の特徴から新しい特徴をエンジニアリングした結果である可能性があります。また、メタデータ（トレーニングデータとモデルに関するデータ）のバージョン管理も重要です。メタデータは、トレーニングデータが実際に変更されることなく、何度も変更される可能性があります。このような変更をバージョン管理によって追跡できるようにする必要があります：モデルは前の2つのエンティティの産物であり、その説明にあるように、MLモデルは最適化フェーズの異なる時点で、ハイパーパラメータの設定、モデルの成果物、学習係数を通して変化する。バージョン管理は、機械学習モデルの異なるバージョンを記録するのに役立ちます。
MLFlowとPachydermは、MLのライフサイクルとモデルのバージョニングを管理するためのツールです。

説明
教師あり学習
概要
教師あり学習は機械学習の一種で、機械学習モデルを訓練するためにラベル付きデータを使用する。ラベル付きデータでは、出力はすでに分かっている。モデルは入力をそれぞれの出力に対応させるだけでよい。
アルゴリズム：
最もよく使われる教師あり学習アルゴリズムには次のようなものがある：
線形回帰
ロジスティック回帰
サポートベクターマシン
K 最近傍
デシジョンツリー
ランダムフォレスト
ナイーブ・ベイズ
働いている：
教師あり学習アルゴリズムは、ラベル付けされた入力を受け取り、既知の出力にマッピングする。
教師あり学習法は、機械学習モデルの学習に外部からの監視を必要とする。これが教師ありという名前の由来である。望ましい結果を得るためには、ガイダンスと追加情報が必要なのだ。
アプリケーション
教師あり学習アルゴリズムは、一般に分類や回帰の問題を解くのに使われる。
教師あり学習の応用例としては、天気予報、売上予測、株価分析などがある。

説明
データ収集段階での主な行動は以下の通り：
ラベル：ラベル付けされたデータは、モデルがそこから学習できるように、1つ以上の意味のあるタグを追加して処理された生データである。そのような情報が（手動または自動で）欠けている場合、ラベルを付けるには多少の作業が必要になる。
取り込みと集約：多くのデータソースからデータを取り込み、組み合わせることは、AIにおけるデータ収集の一部である。
データ収集
MLモデルをトレーニングするためのデータ収集は、機械学習パイプラインの基本ステップである。MLシステムによってなされる予測は、学習されたデータと同程度のものでしかない。データ収集の際に発生する可能性のある問題を以下に挙げる：
不正確なデータ。収集されたデータが問題提起と無関係である可能性がある。
データの欠落。サブデータが欠落している可能性がある。それは、列の値が空であったり、ある予測クラスの画像が欠落していたりという形をとる。
データの不均衡。データ内のいくつかのクラスやカテゴリーは、対応するサンプル数が不均衡に多いか少ない場合があります。その結果、モデルで十分に表現されなくなる危険性がある。
データの偏り。データ、被験者、ラベル自体の選択方法によっては、例えば性別、政治、年齢、地域などに関する固有のバイアスがモデルに伝播する可能性がある。データのバイアスを検出し除去するのは難しい。
これらの問題に対処するために、いくつかのテクニックを適用することができる：
クリーンで自由に利用できるデータセット。問題文（例えば、画像分類や物体認識）が、クリーンで、既存の、適切に定式化されたデータセットと一致する場合、既存のオープンソースの専門知識を活用する。
ウェブのクロールとスクレイピング。自動化ツール、ボット、ヘッドレス・ブラウザは、ウェブサイトをクロールし、データをスクレイピングすることができる。
プライベートデータ。MLエンジニアは独自のデータを作成することができる。これは、モデルの学習に必要なデータ量が少なく、問題文が特殊すぎてオープンソースのデータセットでは一般化できない場合に役立つ。
カスタムデータ。代理店は有料でデータを作成したり、クラウドソーシングすることができる。

説明
スカラー関数（UDF）は、各入力行に対して1つの出力行を返す。返される行は、1つの列/値で構成される。

説明
ストリーム・オブジェクトは、データ操作言語 (DML) によるテーブルへの変更 (挿入、更新、削除など) と、各変更に関するメタデータを記録し、変更されたデータを使用してアクションを実行できるようにします。このプロセスは変更データキャプチャ（CDC）と呼ばれる。個々のテーブル・ストリームは、ソース・テーブルの行に加えられた変更を追跡します。テーブル・ストリーム（単に "ストリーム "とも呼ばれる）は、テーブル内の2つのトランザクション時点の間で、行レベルで何が変更されたかを "変更テーブル "として利用できるようにします。これにより、一連の変更レコードをトランザクション方式で照会し、消費することができます。
ストリームは、以下のオブジェクトの変更データを照会するために作成できる：
共有テーブルを含む標準的なテーブル。
安全な眺望を含む眺望
ディレクトリテーブル
イベントテーブル

説明
データフレームをインデックス値でグループ化できない。従ってエラーとなる。

解説フィーチャー・スケーリング
特徴スケーリングとは、特徴量が同じようなスケールを持つように変換するプロセスである。特徴量のスケールがモデルの性能に影響を与える可能性があるため、これは機械学習において重要である。
フィーチャースケーリングの種類：
最小-最大スケーリング：最小値を差し引き、範囲値で割ることによって、0から1の間など特定の範囲にフィーチャを再スケーリングする。
標準スケーリング：平均を引き、標準偏差で割ることによって、平均が0、標準偏差が1になるように特徴量を再スケーリングする。
ロバスト・スケーリング：特徴量を四分位範囲間で割ることにより、外れ値にロバストになるように再スケーリングする。
フィーチャースケーリングの利点：
モデル性能の向上：特徴量を同じようなスケールに変換することで、モデルはすべての特徴量から均等に学習することができ、少数の大きな特徴量に支配されることを避けることができます。
モデルのロバスト性を高める：異常値に対してロバストな特徴量に変換することで、モデルは異常値に対してよりロバストになる。
計算効率の向上：k-ニアレストネイバーなど、多くの機械学習アルゴリズムは特徴量のスケールに敏感で、スケーリングされた特徴量の方が性能が良くなる。
モデルの解釈可能性の向上：特徴量を同じようなスケールに変換することで、モデルの予測を理解しやすくなります。

説明
スノーフレークでの共有オプション
Snowflakeでは、以下のいずれかのオプションを使用してデータを共有できます：
1つまたは複数のアカウントに、シェアと追加メタデータをデータ商品として提供するリスティング、
直接共有（Direct Share）：特定のデータベースオブジェクト（共有）を、リージョン内の別のアカウントに直接共有します、
データ交換では、アカウントグループを設定・管理し、そのグループにシェアを提供します。

説明
drop_duplicates() メソッドは、重複行を削除します。
dataframe.drop_duplicates(subset, keep, inplace, ignore_index)
DataFrameから重複行を削除する：
1.import pandas as pd
2.data = {
3. "name"：["ピーター", "メアリー", "ヨハネ", "メアリー"]、
4. "年齢"：[50, 40, 30, 40],
5. "qualified"：[True、False、False、False]。
6.}
7.
8.df = pd.DataFrame(data)
9.newdf = df.drop_duplicates()

説明
フィーチャー・エンジニアリングとは何か？
特徴エンジニアリングとは、生データを機械学習モデルに適した特徴に変換するプロセスである。言い換えれば、より正確で効率的な機械学習モデルを構築するために、利用可能なデータから最も関連性の高い特徴を選択、抽出、変換するプロセスである。
機械学習モデルの成功は、学習に使用する特徴の質に大きく依存する。
特徴工学には、既存の特徴を組み合わせたり変換したりすることで新しい特徴を作り出すことを可能にする一連の技術が含まれる。これらの技術は、データ中の最も重要なパターンと関係を強調するのに役立ち、ひいては機械学習モデルがデータからより効果的に学習するのに役立つ。
フィーチャーとは何か？
機械学習の文脈では、特徴量（変数または属性とも呼ばれる）とは、機械学習アルゴリズムの入力として使用される、データポイントの個々の測定可能な特性または特徴のことである。特徴量は数値、カテゴリー、テキストベースのいずれでもよく、手元の問題に関連するデータのさまざまな側面を表す。
例えば、住宅価格のデータセットでは、特徴として寝室数、面積、立地、築年数などが考えられる。顧客属性のデータセットでは、年齢、性別、所得水準、職業などが特徴として挙げられる。
特徴量の選択と質は、モデルの精度と性能に大きな影響を与えるため、機械学習では非常に重要である。
私たちはなぜエンジニアなのか？
機械学習モデルのパフォーマンスを向上させるために、適切で情報量の多い入力データを提供します。生データにはノイズや無関係な情報、欠損値が含まれていることがあり、これがモデルの予測を不正確にしたり、偏ったものにしたりします。特徴量を設計することで、生データから意味のある情報を抽出し、重要なパターンや関係を捉える新しい変数を作成し、データを機械学習アルゴリズムにより適した形式に変換することができます。
特徴エンジニアリングは、オーバーフィッティング、アンダーフィッティング、高いディメンジョナリティといった問題への対処にも役立つ。例えば、特徴の数を減らすことで、モデルが複雑になりすぎたり、学習データにオーバーフィットしたりするのを防ぐことができます。最も関連性の高い特徴を選択することで、モデルの精度と解釈可能性を向上させることができる。
さらに、フィーチャーエンジニアリングは、金融、ヘルスケア、マーケティング、社会科学など様々な分野において、分析および意思決定のためにデータを準備するための重要なステップです。フィーチャーエンジニアリングは、隠れたインサイトを発見し、トレンドやパターンを特定し、データ駆動型の意思決定をサポートします。
私たちはさまざまな理由から機能を設計するが、主な理由には次のようなものがある：
ユーザーエクスペリエンスの向上：私たちが機能を設計する最大の理由は、製品やサービスのユーザー体験を向上させることです。新しい機能を追加することで、製品をより直感的、効率的、ユーザーフレンドリーにし、ユーザーの満足度とエンゲージメントを高めることができます。
競争上の優位性：私たちが機能を設計するもうひとつの理由は、市場での競争優位性を獲得するためです。ユニークで革新的な機能を提供することで、競合他社と製品を差別化し、より多くの顧客を引き付けることができます。
顧客のニーズに応える：私たちは、お客様の進化するニーズを満たすために機能を設計します。ユーザーからのフィードバック、市場動向、顧客行動を分析することで、新機能が製品の価値を高め、顧客ニーズを満たす可能性のある分野を特定します。
収益を増やす：機能は、より多くの収益を生み出すように設計することもできる。例えば、チェックアウトプロセスを効率化する新機能は、売上を増加させることができる。また、追加機能を提供する機能は、アップセルやクロスセルの増加につながる可能性がある。
将来への備え：エンジニアリングの特徴は、製品やサービスの将来性を保証するために行うこともできます。将来のトレンドや潜在的な顧客ニーズを予測することで、製品が長期的に適切で有用であることを保証する機能を開発することができます。
フィーチャーエンジニアリングのプロセス
機械学習における特徴工学は、主に5つのプロセスから構成される：特徴作成、特徴変換、特徴抽出、特徴選択、特徴スケーリングである。これは反復プロセスであり、与えられた問題に最適な特徴の組み合わせを見つけるために実験とテストを必要とする。機械学習モデルの成功は、モデルで使用される特徴の質に大きく依存する。
フィーチャー・トランスフォーメーション
特徴変換は、特徴を機械学習モデルにより適した表現に変換するプロセスである。これは、モデルがデータから効果的に学習できるようにするために行われる。
特徴変換の種類：
正規化：ある特徴が他を圧倒するのを防ぐため、0と1の間など、同じような範囲になるように特徴を再スケーリングする。
スケーリング：モデルがすべての特徴を等しく考慮するように、標準偏差を1にするなど、特徴を同じような尺度に再スケーリングすること。
エンコーディング：カテゴリ特徴を数値表現に変換すること。例えば、ワンホットエンコーディングやラベルエンコーディングがある。
変換：特徴の分布やスケールを変更するために、数学的操作を使用して特徴を変換すること。対数変換、平方根変換、逆変換などが例として挙げられる。

説明
正規化とは、データセット中の数値列の値を共通のスケールに変更するために、データ準備中に適用される機械学習におけるスケーリング技術である。機械学習モデルの特徴量が異なる範囲を持つ場合にのみ必要となる。
Scikit-Learnには、正規化のためのMinMaxScalerという変換器が用意されています。
この手法は、モデルのスケーリングに最小値と最大値を使用する。特徴分布が未知の場合に有効で、外れ値の影響を受ける。

説明
SQL 関数の lateral flatten については、こちらを参照してください：
https://docs.snowflake.com/en/sql-reference/constructs/join-lateral#example-of-using-lateral-with-flatten

説明
SparkからSnowflakeへのデータ移行
DataFrameの内容をSnowflakeテーブルに保存する手順は、SnowflakeからSparkへの書き込みと同様です：
1.DataFrame の write() メソッドを使用して、DataFrameWriter を作成します。
2.format() メソッドで SNOWFLAKE_SOURCE_NAME を指定する。
3.option() または options() メソッドを使用してコネクタ・オプションを指定する。
4.dbtableオプションを使用して、データを書き込むテーブルを指定する。
5.mode() メソッドを使用して、コンテンツの保存モードを指定します。
例
1.df.write
2...format(SNOWFLAKE_SOURCE_NAME)
3...オプション(sfOptions)
4..option("dbtable", "t2")
5...モード(SaveMode.Overwrite)
6.

説明
ベクトル化された Python UDF を使用すると、Pandas DataFrame として入力行のバッチを受け取り、Pandas 配列または Series として結果のバッチを返す Python 関数を定義できます。ベクトル化された Python UDF は、他の Python UDF と同じように呼び出すことができます。
行ごとのデフォルトの処理パターンと比較して、ベクトル化されたPython UDFを使用する利点は以下の通りです：
Pythonコードが行のバッチを効率的に処理する場合、パフォーマンスが向上する可能性があります。
Pandas Data-FrameやPandas Arrayを操作するライブラリを呼び出す場合、変換ロジックが少なくて済みます。
ベクトル化されたPython UDFを使う場合：
Python UDFを使ったクエリの書き方を変更する必要はありません。全てのバッチ処理はあなたのコードではなくUDFフレームワークが行います。
ベクトル化されていないUDFと同様に、ハンドラーコードのどのインスタンスがどの入力バッチを見るかは保証されていない。

説明
すべて正しい！
雪印マーケットプレイスについて
Snowflake Marketplaceを使用すると、サードパーティのデータやサービスを発見してアクセスしたり、Snowflake Data Cloud全体で独自のデータ製品を販売したりすることができます。
データプロバイダーは、Snowflake Marketplaceのリスティングを利用することで、個々の消費者と共有関係を維持することなく、キュレーションされたデータ提供物を多くの消費者と同時に共有することができます。
ペイド・リスティングでは、データ商品に課金することもできます。
消費者としては、スノーフレーク・マーケットプレイスで提供されるデータを使用して、以下のことを調べたり、アクセスしたりすることができます：
調査、予測、機械学習のための履歴データ。
現在の天気や交通状況など、最新のストリーミングデータ。
加入者や視聴者ターゲットを理解するための特殊なIDデータ。
予期せぬデータソースからの新たな洞察。
Snowflake Marketplaceは、Mi-crosoft Azure Governmentを除き、Amazon Web Services、Google Cloud Platform、Microsoft Azureでホストされているすべての非VPS Snowflakeアカウントでグローバルに利用できます。
Microsoft Azure Governmentへの対応も予定している。

説明
線形回帰とは何か？
線形回帰分析は、別の変数の値に基づいて変数の値を予測するために使用されます。予測したい変数は従属変数と呼ばれる．もう1つの変数の値を予測するために使用する変数は，独立変数と呼ばれる．
線形回帰は、観察されたデータに1次方程式をあてはめることによって、2つの変数の間の関係をモデル化しようとするものである。一方の変数は説明変数とみなされ，もう一方は従属変数とみなされる．たとえば，モデラーは，線形回帰モデルを用いて，個人の体重と身長を関連づけたいかもしれない．
線形回帰直線は，Y = a + bXの形の方程式を持ち，ここでXは説明変数，Yは従属変数である．直線の傾きはb で、a は切片（x = 0のときのy の値）である。
線形回帰の場合 Y=a+bx+error.
誤差を無視すれば、Y=a+bxとなる。xが1増加する場合、Y=a+b(x+1)となり、Y=a+bx+bとなる。つまり、Yは傾きの分だけ増加する。
線形回帰の場合 Y=a+bx+error.誤差を無視すれば、Y=a+bx。x が1だけ増加するなら、Y=a+b(x+1)であり、これはY=a+bx+bを意味する。つまり、Yは傾きの分だけ増加する。

説明
標準のみのストリームが行挿入のみを追跡する以外はすべて正しい。
標準（つまりデルタ）ストリームは、挿入、更新、削除（テーブルの切り捨てを含む）を含む、ソースオブジェクトに対するすべてのDML変更を追跡する。