ダウンロード サンプルファイル (8.9 KB)
データサイエンスという分野は、データ収集や可視化などが身近になったことで、より重要になってきています。システムを使ってデータ分析する際、利用者は最終的な結果のみを求めますが、私たちエンジニアはその途中経過についても正しく評価する必要があります。そのためには、中学や高校で学んだ数学の知識が欠かせません。そこで本連載は、高校までに学ぶ基本的な数学知識を使って、データ分析やデータ表現の基礎的な考え方を紹介します。また、既に学んだ数学的基礎からデータの特徴を見つけるためにデータ表現する方法について紹介したいと思います。
はじめに
前回までは三角関数について説明してきました。特に、その周期特性が描く「美しく完璧な数式上の挙動」をいかに扱うかに触れました。
しかし、数学の教科書から一歩外へ出て現実のデータに目を向けると、そこはノイズが溢れる世界です。単純な傾向を把握することさえ困難である事実に気づかされるでしょう。
今回は、数学を単に「解く」ためではなく、データを正しく「解釈する」ための道具として、微分の考え方を応用した現実データの扱い方を紹介します。
データ分析においての「微分」とは
データ分析における微分は、単なる計算式ではありません。それは、バラバラの点として存在するデータに「時間の流れ」を与えるための視点です。実務において、複雑な微分方程式を解く場面はそう多くありません。なぜなら、私たちが扱うデータそのものがすでに「何かを微分した結果」であるケースがほとんどだからです。
例えば、速度計(km/h)、消費電力(W)、日次の売上などは、測定した瞬間の「絶対値」として手元に届きます。しかしその本質は、「位置」「総電力量」「総資産」といった蓄積に対する「変化の割合」です。つまり、数学的にはすべて「微分値(変化率)」だと捉えることができるのです。
「相関」だけではなく「因果」を見る
例えば「日次の売上」というデータは、企業の「総資産」という蓄積を時間で微分したものと言い換えられます。単に数字の上下に一喜一憂するのではなく「今、資産が積み上がる角度(勢い)はどう変化しているか?」といった視点を持つことが重要です。
もしその「角度」が急激に変わったのなら、その瞬間に勢いを変化させた「原因(施策や外部要因)」が必ず隠れているはずです。
単なるデータの相関(似た動き)を眺めるだけでなく、データ分析の本質である「因果(なぜそうなったか)」を突き止めること。因果関係が理解できれば、ノイズ除去などの前処理もより本質的かつ効率的な手法が見えてきます。
実際の計測データ(微分)を扱う場合の問題点
数学の教科書に登場する曲線は、常に滑らかで理想的な状態です。しかし、現実世界から得られる「変化(微分)」のデータは、常にノイズを含んでいます。
そのため、これらのデータから真の傾向を正しく把握するには、平滑化処理が不可欠となります。これはデータ分析における重要な初期ステップの一つです。
数学的考え方との違い
数学における微分は、無限に微小な「一瞬」を切り取って変化率を求めます。しかし、データ分析においてこの数学的な定義を厳密に適用してしまうと、単に「直前のデータとの差」というノイズを拾ってしまうだけになりかねません。
私たちがデータから本当に知りたいのは、ノイズの背後に隠された「真のトレンド」です。この目的のためには、時間を限りなくゼロに近づけるという本来の微分の考え方とは逆に、時間軸をあえて広くとり、複数のデータの連なりから見える「傾向の連続性」に着目します。
数学の微分が「限りなく一瞬の一点」を凝視するイメージだとすれば、データ分析での微分は「一度全体が見える距離まで離れてから、あらためて細部へ近付いてみる」といったイメージになります。
では、具体的にどのような平滑化の手法があるのかを紹介していきます。
この記事は参考になりましたか?
- データサイエンス基礎を高校数学から復習連載記事一覧
- この記事の著者
-
WINGSプロジェクト 小林 昌弘(コバヤシ マサヒロ)
< WINGSプロジェクト について> 有限会社 WINGSプロジェクト が運営する、テクニカル執筆コミュニティ(代表 ...
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
-
山田 祥寛(ヤマダ ヨシヒロ)
静岡県榛原町生まれ。一橋大学経済学部卒業後、NECにてシステム企画業務に携わるが、2003年4月に念願かなってフリーライターに転身。Microsoft MVP for Visual Studio and Development Technologies。執筆コミュニティ「WINGSプロジェクト」代表。主な著書に「独習シリーズ(Java・C#・Python・PHP・Ruby・JSP&サーブレットなど)」「速習シリーズ(ASP.NET Core・Vue.js・React・TypeScript・ECMAScript、Laravelなど)」「改訂3版JavaScript本格入門」「これからはじめるLaravel実践入門」「はじめてのAndroidアプリ開発 Kotlin編 」他、著書多数。
※プロフィールは、執筆時点、または直近の記事の寄稿時点での内容です
この記事は参考になりましたか?
この記事をシェア
