この章で学ぶこと
- データ基盤データ基盤の役割と、データレイク・DWH・データマート、ETLとELTを見分けられる。
- データの種類行動ログと稼働ログ、1次データと2次データ、構造化データと非構造化データ、ビッグデータの3V、オープンデータ、パーソナルデータを見分けられる。
- データの加工データ結合・名寄せ・外れ値と欠損値の処理・アノテーション・季節調整・移動平均・データマイニングを見分け、移動平均と増減の割合を計算できる。
- 代表値と尺度平均値・中央値・最頻値を求め、4つの尺度を見分けられる。
- 相関と標本相関分析と回帰分析、擬似相関、仮説検定、標本抽出、統計的バイアスと認知バイアスを見分けられる。
- 確率・順列・組合せ順列と組合せの数を求め、確率を計算できる。
- グラフによる可視化棒グラフ・折れ線グラフ・ヒートマップ・レーダーチャート・ヒストグラム・散布図を、見せたいことに合わせて選べる。
- 業務分析パレート図とABC分析、特性要因図、線形計画法、定量発注方式と定期発注方式、日程計画を見分けられる。
1データ基盤
データをため、整え、分析し、使うためのしくみ(データ基盤)と、データのため方(データレイク・DWH・データマート)、データを整えて移す手順(ETL・ELT)を学びます。
データ基盤
会社には、レジ、アプリ、工場の機械など、いろいろな所からデータが集まります。これらのデータを、ためる(蓄積)、使える形に整える(加工)、分析する、仕事に生かす(活用)という4つの役目をまとめて受け持つしくみをデータ基盤といいます。データ基盤では、データを次のような置き場所に分けてためます。
データレイク・DWH・データマート
集めたデータを、形を整えずに、そのままの形でためておく置き場所をデータレイクといいます。表の形のデータだけでなく、文章や画像なども、そのままためられます。湖(レイク)に水をためるように、とりあえずためておく場所です。
いろいろな所から集めたデータを、分析に使いやすいように整え、時間の順にためておく、会社全体のデータの倉庫をDWH(データウェアハウス)といいます。DWHのデータから、販売の部門用、人事の部門用のように、使う目的や部門ごとに必要なデータだけを切り出したものをデータマートといいます。
ETLとELT
データを、もとの所から取り出し(Extract)、使える形に変え(Transform)、DWHなどに入れる(Load)手順をETLといいます。先に入れてから、入れた先で変える順番の手順をELTといいます。ELTは、そのままためておけるデータレイクとともに使われることが多いです。
2データの種類
分析に使うデータの種類を学びます。何の記録か(行動ログ・稼働ログ・ソーシャルメディアデータ)、誰が集めたか(1次データ・2次データ)、形がそろっているか(構造化データ・非構造化データ)、量や速さ(ビッグデータ)、誰が使えるか(オープンデータ)、個人に結び付くか(パーソナルデータ)です。
何の記録か
- 人の行動ログデータ
- 人が操作したり行動したりした記録。アプリやサイトが残した記録でも、中身が人の操作なら、これに当たる。サイトで見たページと、ボタンを押した記録
- ライフログ
- 人の毎日の活動を、機器やサービスが記録したもの。歩いた場所、検索した言葉、SNSへの書込みの記録
- 機械の稼働ログデータ
- 機械や装置が動いた記録。工場の機械の温度と、動いた時間の記録
- ソーシャルメディアデータ
- SNSなどに、利用者が書き込んだ文章や写真、反応の記録。SNSに書き込まれた新商品の感想と、「いいね」の数
1次データと2次データ
自分の目的のために、自分で集めたデータを1次データといいます。集める作業の一部を外の会社に頼んでも、自分の目的のために集めたのなら1次データです。ほかの人や組織が、別の目的で集めたデータを、借りたり買ったりして使うものを2次データといいます。たとえば、国が公開している人口の統計を使うことです。
構造化データと非構造化データ
表の行と列のように、決まった形に整理されたデータを構造化データといいます。注文の番号・日付・金額の表などです。決まった形に整理されていない、文章・画像・音声・動画などのデータを非構造化データといいます。
ビッグデータ
ふつうの方法では扱いきれないほど、大きく複雑なデータをビッグデータといいます。ビッグデータの特徴は、次の3つの頭文字から3Vと呼ばれます。
- Volume(量)
- データの量がとても多い。1日に数千万件の閲覧の記録
- Velocity(速さ)
- データが次々に生まれ、書き換わる速さが速い。1秒ごとに変わる注文や在庫の数
- Variety(種類)
- データの種類がさまざま。数字のほかに、写真や感想の文章もある
オープンデータとパーソナルデータ
国や自治体などが、誰でも自由に使ってよい形で公開しているデータをオープンデータといいます。たとえば、自治体が公開している避難所の場所の一覧です。
ある客の住所や買い物の記録のように、特定の個人に結び付くデータをパーソナルデータといいます。パーソナルデータを扱うときは、法律の決まりを守る必要があります(第28章「個人情報とセキュリティの法律」)。
誰が集めたか(1次・2次)、形がそろっているか(構造化・非構造化)、誰でも使えるか(オープンデータ)、個人に結び付くか(パーソナルデータ)は、それぞれ別の見方です。1つのデータが、2次データで、構造化データで、オープンデータでもある、ということがあります。
3データの加工
データを分析できる形に整える方法(データ結合・名寄せ・外れ値と欠損値の処理・アノテーション)と、時間の流れの中の変化を見やすくする方法(季節調整・移動平均)、増減の割合の計算、データから知識を掘り出す方法(データマイニング・テキストマイニング)を学びます。
データを整える
集めたデータは、そのままでは分析に使えないことが多いので、次のように整えます。
- データ結合
- 別々の表を、共通の項目(客の番号など)でつなぎ合わせる。売上の表と客の表を、客の番号でつなぐ
- 名寄せ
- 同じ人や会社なのに、別々に登録されているデータを見つけて、1つにまとめる。「山田花子」と「山田 花子」を同じ客としてまとめる
- 外れ値・異常値の処理
- ほかの値から大きく離れた値(外れ値)や、入力のまちがいなどで明らかにおかしい値(異常値)を見つけ、除くか直すかを決める。年齢が「250歳」と入力された行を直す
- 欠損値の処理
- 値が入っていない所(欠損値)を見つけ、除くか、平均などで埋めるかを決める。年齢が空いている行を、除くか平均で埋める
- アノテーション
- データに、意味を表す情報(ラベル)を付ける。写真ごとに「犬」「猫」と書き添える
季節調整と移動平均
売上のように時間とともに変わるデータには、毎年同じ時期に起きる変動があります。たとえば、アイスクリームは毎年夏に売れます。データから、このような時期による決まった変動を取り除いて、本当の伸びや落ち込みを見やすくすることを季節調整といいます。
また、決まった期間の平均を、期間を1つずつずらしながら出していくことを移動平均といいます。日々の細かいでこぼこがならされ、大きな流れが見やすくなります。
ある店の月ごとの売上です。その月を含めた直近3か月の移動平均を出します。
| 月 | 1月 | 2月 | 3月 | 4月 |
|---|---|---|---|---|
| 売上 | 20万円 | 26万円 | 23万円 | 29万円 |
- 3月の値:(20万円 + 26万円 + 23万円)÷ 3 = 23万円
- 4月の値:(26万円 + 23万円 + 29万円)÷ 3 = 26万円
図は、1年分の売上で移動平均を描いたイメージです。灰色の月ごとの売上は上がり下がりをくり返しますが、3か月ずつの平均をとった濃い線はなめらかになり、売上が少しずつ増えている流れが見えます。
増減の割合の計算
改善の効果を表すときは、前と比べてどれだけ減ったか(増えたか)を割合で表します。
減った割合 = 前の値 - 後の値前の値
仕事の種類によって、改善の効果が違うことがあります。そのときは、種類ごとの減った割合を平均するのではなく、先に前と後の時間の合計を出してから割ります。
1日に100件の書類を確かめます。前は、どれも1件6分でした。新しい道具を入れると、100件のうち50件は1件3分で済み、残りの50件は今までどおり1件6分かかります。
- 前の合計:6分/件 × 100件 = 600分
- 後の合計:3分/件 × 50件 + 6分/件 × 50件 = 450分
- 減った割合:(600分 - 450分)÷ 600分 = 25%
早くなった書類の減った割合(50%)と、変わらない書類(0%)を平均しても25%ですが、それは件数が同じだったからです。件数が違えば平均ではずれるので、必ず合計を出してから割ります。
また、「毎年20%ずつ減る」ときは、前の年の量に対する割合なので、残りの割合(1 - 0.2 = 0.8)を1年ずつ掛けます。
今年の電気代が100万円で、毎年、前の年より10%ずつ減らします。
- 1年後:100万円 × 0.9 = 90万円
- 2年後:90万円 × 0.9 = 81万円
- 今年と比べて減った割合:(100万円 - 81万円)÷ 100万円 = 19%
10%を2回足して20%とはなりません。2年目の10%は、1年目に減ったあとの量に対する割合だからです。
データマイニングとテキストマイニング
たくさんのデータを分析して、隠れた決まりや関係を掘り出すことをデータマイニングといいます。マイニングは「採掘」という意味です。たとえば、「おむつを買う客は、ビールも一緒に買うことが多い」といった関係を見つけることです。文章のデータから、よく出る言葉や言葉どうしのつながりを分析することをテキストマイニングといいます。たとえば、客の感想の文章から、不満の多い点を見つけることです。
4代表値と尺度
データ全体を1つの値で表す代表値(平均値・中央値・最頻値)と、データの値がどんな計算に使えるかを表す4つの尺度(名義尺度・順序尺度・間隔尺度・比例尺度)を学びます。
代表値
たくさんの値を、1つの値で代わりに表したものを代表値といいます。代表値には、次の3つがあります。
- 平均値
- すべての値を足して、値の数で割った値。
- 中央値
- 値を小さい順に並べたとき、真ん中にくる値。値の数が偶数なら、真ん中の2つの平均。
- 最頻値
- いちばん多く出てくる値。
5日間の来店者数です。20人、15人、16人、15人、84人(84人の日は、近くでお祭りがありました)。
- 平均値:(20人 + 15人 + 16人 + 15人 + 84人)÷ 5 = 30人
- 中央値:小さい順に並べると、15、15、16、20、84。真ん中の3番目なので 16人
- 最頻値:2回出てくる 15人
平均値は、すべての値を足して割るので、飛び抜けた値(3節「データの加工」の外れ値。ここでは84人)があると、そちらへ引っぱられます。5日のうち4日は20人以下なのに、平均値は30人です。飛び抜けた値があるときは、中央値のほうが、ふだんの様子を表します。
灰色の点が5日の来店者数です。4日は15〜20人に集まっているのに、平均値の印(30人)はそこから離れています。右端の84人の日に引っぱられたためです。中央値(16人)と最頻値(15人)は、4日が集まっている所にあります。
尺度
データの値は、どんな計算に使えるかで4つに分けられます。これを尺度といいます。次の順に、できることが増えます。
- 名義尺度区別するためだけの値。順番も計算も意味がない。性別、血液型、会員の番号
- 順序尺度順番に意味があるが、値の間の幅はそろっていない。満足度の「1:不満」「2:ふつう」「3:満足」、順位
- 間隔尺度値の間の幅がそろっていて、差に意味がある。0は「何もない」を表さないので、何倍とは言えない。気温(20℃は10℃の2倍の暑さではない)
- 比例尺度差に意味があり、0が「何もない」を表すので、何倍とも言える。長さ、重さ、売上の金額
満足度を番号で答えてもらっても、番号の間の幅がそろっているとは言えないので、順序尺度です。尺度は、「順番があるか」「差に意味があるか」「何倍と言えるか」の順に確かめます。
5相関と標本
2つのデータの関係を調べる方法(相関分析・回帰分析)と、関係があるように見えるだけの擬似相関、考えを確かめる仮説検定、調べる相手の選び方(標本抽出)と、結果をゆがめる偏り(統計的バイアス・認知バイアス)を学びます。
相関分析と回帰分析
2つのデータの間に、一方が変わるともう一方も変わる、という関係があるかを調べることを相関分析といいます。2つのデータの関係を、点で表した図(散布図。7節「グラフによる可視化」)で見ると分かりやすいです。次の図のように、点の並び方で関係の向きが分かります。
一方が大きいほどもう一方も大きい関係を正の相関、一方が大きいほどもう一方が小さい関係を負の相関といいます。たとえば、気温が高いほど冷たい飲み物が売れるのは正の相関、気温が高いほど温かい飲み物の売れる数が少なくなるのは負の相関です。負の相関も、向きが逆なだけで、関係はあります。
関係があると分かったら、その関係を式に表して、一方の値からもう一方の値を見込むことができます。これを回帰分析といいます。たとえば、気温から、明日の冷たい飲み物の売上を見込むことです。相関分析は関係があるかを見ること、回帰分析は関係を式にして見込みに使うことです。
擬似相関
2つのデータに相関があっても、一方が原因で、もう一方が結果だとは限りません。たとえば、温かい飲み物の売上と、かぜ薬の売上には、正の相関があります。しかし、温かい飲み物がかぜの原因なのではなく、寒さという別の理由で、どちらも増えたのです。このように、別の理由のために、2つのデータに関係があるように見えることを擬似相関といいます。
寒さから出る2本の矢印が、本当の原因と結果です。下の2つの売上の間の点線は、どちらも寒さで増えたために、関係があるように見えるだけです。
仮説検定
「新しい売り場にしてから、売上が増えた」といった考え(仮説)が、たまたまの結果ではなく、たまたまでは起きにくいほどの差と言えるかを、データと確率を使って確かめる方法を仮説検定といいます。
標本抽出
調べたい全体(母集団)の全員を調べることを全数調査といいます。国が5年ごとに、日本に住むすべての人と世帯を調べる国勢調査は、全数調査の例です。全員を調べるのは時間もお金もかかるので、全体から一部を選んで調べ(標本抽出)、その結果から全体の様子を推し量ることもあります。客に質問に答えてもらうアンケート調査は、一部の人を選んで行うことが多いです。
選ぶ人に偏りがあると、全体の様子を正しく推し量れません。そこで、くじのように、全体の誰もが同じ確からしさで選ばれるように選びます。これを単純無作為抽出といいます。
統計的バイアスと認知バイアス
データの集め方や選び方のせいで、結果が全体の本当の姿からずれることを統計的バイアスといいます。たとえば、スポーツクラブの満足度を、ある週にクラブに来ていた会員だけに聞くと、よく来る満足している会員に偏ります。会員の名簿からくじで選べば、この偏りを避けられます。
データの集め方が正しくても、データを見る人の思い込みや、自分に都合のよい情報ばかり目に入る心の動きのせいで、判断がゆがむことがあります。これを認知バイアスといいます。統計的バイアスはデータの集め方の偏り、認知バイアスは見る人の思い込みによるゆがみです。
6確率・順列・組合せ
選び方の数を数える方法(順列・組合せ)と、ある場合が起きる確からしさ(確率)の計算を学びます。
順列
いくつかの中から、順番や役の区別をつけて選んで並べる並べ方を順列といいます。たとえば、5人の中から、リーダー1人と記録係1人を選ぶ選び方です。リーダーは5人の誰か、記録係は残りの4人の誰かなので、選び方の数は次のとおりです。
- 5通り × 4通り = 20通り
このように、順列の数は、1人ずつ減らしながら掛けて求めます。
組合せ
順番や役の区別をつけずに、顔ぶれだけを選ぶ選び方を組合せといいます。たとえば、5人の中から、当番を2人選ぶ選び方です。順列で数えると20通りですが、「Aさんがリーダー、Bさんが記録係」と「Bさんがリーダー、Aさんが記録係」は、組合せでは同じ1通りです。2人の並べ方(2 × 1 = 2通り)で割ります。
- 20通り ÷ 2通り = 10通り
組合せの数は、順列の数を、選んだ人数の並べ方の数で割って求めます。
確率
ある場合が起きる確からしさを確率といいます。どの場合も同じ確からしさで起きるとき、確率は次の式で求めます。
確率 = その場合の数全部の場合の数
5人の中から、くじで当番を2人選びます(役の区別はありません)。Aさんが当番に選ばれる確率を求めます。
- 全部の場合の数:組合せで 10通り
- Aさんが入る場合の数:相手は残りの4人の誰かなので 4通り
- 確率:4通り ÷ 10通り = 25
確率を求めるときは、まず、全部の場合の数を、順列で数えるか組合せで数えるかを決めます。
7グラフによる可視化
データを目で見て分かるようにするためのグラフ(棒グラフ・折れ線グラフ・ヒートマップ・レーダーチャート・ヒストグラム・散布図)を、見せたいことに合わせて選ぶ方法を学びます。
見せたいことに合わせたグラフ
データを、グラフや図にして目で見て分かるようにすることを可視化といいます。何を見せたいかによって、使うグラフを選びます。
- 棒グラフ
- 量の大きさを、棒の長さで比べる。店ごとの今月の売上
- 折れ線グラフ
- 時間とともに、値がどう変わったかを見せる。1年間の月ごとの売上の移り変わり
- ヒートマップ
- 表の中の数値の大小を、色の濃さで見せる。曜日と時間ごとの来店者数を、多い所ほど濃い色にする
- レーダーチャート
- いくつかの項目のバランスを、くもの巣のような形で見せる。社員の技能を、5つの項目の点数で表す
- ヒストグラム
- データを区間に分け、それぞれの区間にいくつあるか(ばらつき)を、すき間のない棒で見せる。テストの点数ごとの人数
- 散布図
- 2つのデータの関係を、点で見せる。5節「相関と標本」の相関を見るのに使う。気温と売上の関係
量を比べるなら棒グラフ、時間の移り変わりなら折れ線グラフ、表の数値の大小を色で見せるならヒートマップ、項目のバランスならレーダーチャート、ばらつきならヒストグラム、2つの関係なら散布図です。
6つのグラフを並べると、次のようになります。
棒グラフと折れ線グラフは、どちらも縦が量ですが、棒グラフは店などの項目どうしの比べ、折れ線グラフは時間の順の変化を見せます。ヒストグラムは棒どうしをすき間なく並べ、点数などの区間ごとの数を見せる点で、棒グラフと違います。ヒートマップは表のます目を色の濃さで、レーダーチャートは項目のバランスを形の偏りで、散布図は2つの値の関係を点の並び方で見せます。
8業務分析
仕事の問題を見つけて手を打つための方法を学びます。重点を決める図(パレート図・ABC分析)、原因を洗い出す図(特性要因図)、いちばん良い組合せを求める方法(線形計画法)、在庫の補い方(定量発注方式・定期発注方式)、日程計画です。
パレート図とABC分析
問題の原因などを、多い順に棒で並べ、上から足した累積の割合を折れ線で重ねた図をパレート図といいます。どの項目から手を打てば効果が大きいかが分かります。
パレート図などで、多い順に足した累積の割合をもとに、項目をA・B・Cの3つの組に分けることをABC分析といいます。たとえば、累積の割合が70%までをA、95%までをB、残りをCとします。Aの組から重点的に手を打ちます。
図の例では、待ち時間と説明の2つの苦情で、全体の70%になります。この2つ(Aの組)から手を打つと、苦情を大きく減らせます。
特性要因図
ある結果(特性)に対して、考えられる原因(要因)を、魚の骨のような形に整理して洗い出した図を特性要因図といいます。右端に結果を書き、そこへ向かう太い骨に「人」「機械」「方法」「材料」などの大きな原因を、そこから出る小さな骨に細かい原因を書きます。
図の右端の頭が結果(特性)、そこへ向かう太い骨が大きな原因(人・機械・方法・材料)、そこから出る小さな骨が細かい原因です。原因を、大きなまとまりごとに整理して洗い出せるので、手を打つべき原因を見落としにくくなります。
原因を出すときは、第9章「デザインのアプローチ」で学んだブレーンストーミングやブレーンライティングがよく使われます。
線形計画法
使える材料や時間に限りがある中で、利益がいちばん大きくなるように、何をいくつ作るかを決める方法を線形計画法といいます。
2種類のパンを作ります。小麦粉は16袋まで、焼く時間は24時間までしか使えません。
| パン | 小麦粉 | 焼く時間 | 利益 |
|---|---|---|---|
| パンA(1箱) | 1袋 | 3時間 | 100円 |
| パンB(1箱) | 2袋 | 2時間 | 150円 |
パンAの箱数を横、パンBの箱数を縦にとり、小麦粉の限りと焼く時間の限りを線で引くと、2本の線の内側が、作れる組合せの範囲になります。
利益がいちばん大きくなるのは、作れる範囲の角のどれかです。角ごとに利益を計算して比べます。
- A8箱・B0箱:100円 × 8 = 800円
- A4箱・B6箱:100円 × 4 + 150円 × 6 = 1,300円
- A0箱・B8箱:150円 × 8 = 1,200円
パンAを4箱、パンBを6箱作るときに、利益がいちばん大きくなります。
在庫管理と日程計画
商品の在庫が減ったときに補う方法には、次の2つがあります。
- 定量発注方式
- 在庫が決めた量まで減ったら、決めた量を注文する。注文する時期は決まっていない。値段が安く、売れる量が安定している商品に向く。
- 定期発注方式
- 毎週月曜など、決めた時期に、そのときの必要な量を計算して注文する。注文する量はそのたびに変わる。値段が高い商品や、売れる量が変わりやすい大事な商品に向く。
左の定量発注方式は、在庫が点線の量まで減るたびに同じ量を足すので、足す量は同じで、足す時期(下の印)の間隔がばらばらです。右の定期発注方式は、決めた日ごとに足すので、印の間隔は同じで、足す量がばらばらです。
仕事を、いつ、どの順番で、誰が行うかを決めることを日程計画といいます。工場では、注文の納期に間に合うように、どの機械で何をいつ作るかを決めます。
IPA、ITパスポート試験 シラバス(案)Ver.0.1(大分類2 中分類9 データ分析・データ利活用)。