全銀ネットシステム障害

全銀ネットシステム障害(2023.10/10-11)の記者会見を聞いた。
原因がプログラムおよびDBに関係しそうだということで注視していたのでメモを記しておく。

10/18 16:00-18:30と長時間に渡るもので、質問が出尽くすまでやっていた。
残念ながら、突っ込んだ技術的な質問が少なかったのと、答える側もベンダーに聞かないとわからないとするところも多かった。辻理事長の話は、明快で分かり易かった。

技術的な観点では、ベンダーさんも同席して応えていただきたかったところ。
ことの発端は、中継サーバー(RCと呼んでいる)を17から23にアップグレードしたこと。
保守期限をまじかに控えていて、東阪での二重システムを構築しているが、両方とも同時にリプレースした。
RC17(更改前):Unix 32ビット、言語 C
RC23(更改後):Unix 64ビット、言語 Java 仮想化

現時点で判明している原因は、
仕向の手数料計算算出のために、金融機関テーブルとインデックステーブルをプログム上に展開して、ルックアップしているが、何らかの要因でインデックステーブルが破損しており、エラーが発生したとのこと。
手数料計算は、仕向電文上に手数料を入れている場合と手数料は別途計算するタイプのどちらかが選択できるらしい。電文上に手数料を入れている場合は、問題がなかった。

これに対処するために、以下の対応がとられた。
10/10対応:手数料計算をテーブルルックアップからプログラムでの判定ロジックに切り替えるべく、プログラム修正しようとしたが、全ケースをカバーしきれず断念。
10/11対応:手数料計算を行わず、一旦全て0円として、後で銀行間取引により行うようにして、プログラム上の手数料計算部分をバイパスする対応を実施。この状態で送信処理が正しく行われることを確認してリリース。一旦復旧。

問題のテーブルは、2017年から使用されているのもので、事前準備段階でDBにロードされていたとのこと。(DBMSは不明)
今回のRC更改に伴い、サーバーの仮想化が行われている。メモリ不足なども要因の一つで挙げられているが不明とのこと。
元のテーブルデータが破損していたということであれば、原因も簡単に解りそうにも思うのだが。。

事業の本質をあきらかにするデータモデリングとは

2023年3月9日に、JDMCの年中行事となっている「データタマネジメント2023」でデータモデリングのチュートリアルセッションを行いました。

タイトルは「膨大かつ多様なデータの関係を解き明かし、事業の本質を明らかにするデータモデリングとは」です。

■概要は以下の通りです。

◆SNSのデータ、カメラ画像や音声データ、各種センサー類が生成するIoTデータ、衛星データ・・・。データの量や種類は増加の一途を辿っています。こうした雪だるま式に膨れ上がる様々なデータを収集、AIなどで分析するだけで、果たしてビジネスを推進し顧客体験価値を高められるのでしょうか?答はNoです。生産や購買、在庫、販売といったビジネス活動に伴い発生するデータとの関係が不可欠だからです。

◆この点で、企業はビジネス活動のコアとなる源泉のデータを認識し、構造を明らかにすることから始めるべきで、それに欠かせないテクニックの一つがデータモデリングです。よく話題になるデジタルツインを実装する際にも不可欠です。そこで本講演では、今こそデータモデリングが必要な理由、データモデリングの本質、データモデリングに関する知識やノウハウについて解説します。

以下の構成となっています。

1.(溢れるデータ)雪だるま式に膨れ上がるデータの実態

2.(どうするモデラー?)派生データの核となる源泉データを見極める

3.(データモデルとは)事業の本質を明らかにするデータモデリングとは

4.(データモデルとは)データモデリング作法

5.(活用シーン)データモデルが必要とされる局面・事例

6.まとめ

データは大量に溢れているが、その源泉を明らかにし、その構造を見極めておくことが新たなビジネスを創出する上でも重要で、そのための技術がデータモデリングである。

グローバルサプライチェーンをはじめとして、社外とのデータ連携・共有が必須となっており、そのためには、サイロ状態となっている社内データの現状を知るためにデータモデリングを行い、データ連携の基盤を用意することが求められる。

といったことをお伝えしています。

参加申込した方は、オンデマンドで視聴することがきます。

当社HPライブラリより講演資料の入手が可能です。

 

 

アーキテクチャチーム活動事例

ITIフォーラム2023(2.14開催)での、アーキテクチャ策定のユーザ事例発表についてコメントします。

アーキテクチャ統括チームの役割と活動状況についての報告であった。
現状のアーキテクチャを概念データモデル、システム鳥観図(論理データフロー)、システム連関図(物理システムとのマッピング)の3点セットで作成し、データが散財している課題を明確にし、データHUBを目的別に構築していった(一部サービスイン、一部開発中)。

データHUBとDWHの分離、疎結合アーキなど中山さんの書籍に感銘し、数回のレクチャーを受けられた。
アーキテクチャ統括チームを編成し、現状の課題を可視化することについて、「取り締まりの警察」ではなく、「かかりつけ医」を目指したというところが印象的であった。かかりつけ医になるとしても、患者の症状を記したカルテがないので、概念モデルからなる全体マップを作成していったという。
さらに、システム主管部からの協力を得るために、アーキテクチャが経営の意思に基づいたものであることを理解してもらいながら進めた。
主管部の協力、理解が得られやすいように、概念モデルも超々概念、超概念、概念の3ステップで作成した。最後の概念モデルでキーや属性が定義されているようだ。
アーキ統括チームのメンバは、各主管システムの現場で全体を俯瞰してみるのが得意な人を選定した。
明らかになった課題は、事前にコンサルから提示されていたものではあったが、自身でアーキ図を作成することによって、自分事としてとらえることができた。

全社アーキというとどうしても統制の色彩が出がちで、周りから警戒されがちであるが、逆に相談を持ちかけられるような「かかりつけ医」を目指したというヒューマンな面での工夫。同時に、概念モデルを作成するのにあたって、主管部に受け入れてもらい易いように、超々概念からの3ステップに分けて進めるというテクニカル面での創意が成功要因であったと考える。

データモデル2023年のトレンド

データモデルにトレンドなどあるのかと思われるかも知れませんが、時代と共に矛先や求められるものが変わってきています。私が本年度注目しているというか、普及するであろうと考えるのは次の7点です。

1.SoRからSoE領域へとデータモデルスコープが拡大する

今までデータモデルというと、SoR(System of Record)といわれる企業の活動結果を記録するシステム領域、いわゆる基幹システムでのデータ構造を整理すると言うことが中心だったかと思います。一方、顧客満足度や顧客体験価値向上のためにSoE(System of Engagement)が重要となってきています。SoEは単なるポータル、Webシステムとしてデータモデリング上は軽視されてきた経緯がありますが、SoRのデータがあって初めてSoEがある、逆にSoEがデータ発生源となってSoRに蓄積されるというように、切り離しては考えられなくなって来ているのです。

2.ビジネス創造のためのデータモデル

DXは、既存ビジネスを改善することではありません。新たなビジネスの構築が求められています。そのためには、ASISのデータモデルを再編し、エンティティの統廃合、利レションシップの見直し、新たなエンティティを追加し、新ビジネスモデルの骨組みを作成していくことが求められます。もはや、最適なデータベース、データウェアハウス構築のためのデータモデルに止まらず、新たなビジネス創出を支援するものと成っていくでしょう。

3.真のデータを探索するためにデータリネージで必要となる 

ビッグデータといわれて久しく、世の中はデータに溢れています。そして、それらのデータを基に、AIが新たなデータを生成し、雪だるま式にデータは増加しています。これらは、加工、集約された派生データです。

こうした派生データに惑わされないようにするためには、データが何処で加工され、そして源泉は何処なのかのルーツを探ることが求められます。そのためのツールとしてデータモデルがあるのです。データモデルだけでは無理で、データフローを併せて描くことで真のデータにたどることができるのです。

4.ローコード・ノーコードツール適用のためのデータモデル

DX実現の為には、ユーザ自身でアプリケーションを構築すべきとの考えが多くなってきています。ITに不慣れな人がシステムを構築するために、ローコード・ノーコードツールが隆盛しています。プロセス主導のもの、データ主導のものなど分類分けできますが、例えば、TALONというツールではデータモデルさえできれば、後はSQLだけでシステムが完成します。そのためには、ユーザ自身で適用可能なデータモデルの作成が求められます。

5.ビジネスユーザのツールとしてデータモデルが使われる

今までデータモデルというと、ITエンジニア、とりわけデータベース技術者が作成するものと捉えられることが多かったように思います。項番2の「ビジネス創造のためにデータモデルが必要」で述べたように、DXを推進するビジネスユーザ自身でデータモデルを作成していくことが求められるようになります。当然、実装を前提としたモデルではなく、概念データモデルということです。

今後、データモデリングはITエンジニアからビジネスユーザの誰もが備えるべきスキルになって行くだろうと考えます。JUASの研究チームが「-データ経営が日本を変える」としてDOBA(データ中心ビジネス・アプローチ)を提唱しています。従来のITシステム構築の方法論であるDOAをビジネスの世界に適用しようという考え方です。

https://juas.or.jp/cms/media/2022/04/data_management.pdf

6.デジタルツイン実現のために必須となる

リアルのビジネス活動結果のデータをIoTなどで収集し、サイバー空間で最適解を見いだそうというデジタルツインの検討が盛んに行われています。

原料の調達から製造、製品出荷、流通に至る最適なサプライチェーンの構築をサイバー空間で行おうという際には、リアルビジネスでのビジネスプロセスだけで無く、データモデルが必須となります。SCM全体についてのASISのデータモデルからTOBEのデータモデルを作ることになります。

7.外部データとの連携、企業統合に備える

項番3で、溢れているデータから「真のデータを探せ!」といいましたが、オープンデータやデータバンクなどから提供されるデータは、増え続けています。そして、企業内に蓄積したデータとの接続がいつ必要となるかわかりません。M&A、企業間連携も益々増えてくることでしょう。それらとの連携をスムースに進めるためには、企業内のデータの見える化、即ち、データモデルやデータカタログの整備を日々怠ってはならないということを最後にあげておきます。

 

以上

年頭挨拶振り返り

2023年の年頭所感に代えて、過去10年間の年頭挨拶文面を自己分析してみた。

これからも、ビジネスとデータモデルに関心が向いていることがわかる。今年も、データモデルがビジネスにどのように貢献できるのかを追求していきたい。

みかん狩り


週末に、津久井浜にみかん狩りに行ってきた。横横佐原ICから20分程度。道路は空いており自宅から1時間くらいで到着。もう少し酸っぱいかと思っていたら、甘くておいしかった。食べ放題だが、たかが知れている。収穫したものは当たり前だがすべて買い取り。スーパーで買うより新鮮で、若干安めといったところだろうか。

サツマイモ堀りもやっていて人気のようだが、既に終了し、みかん狩りが今月一杯まで。いくつかサイトが別れていて、どこかの健保組合が貸切っているところもあった。大抵、1時間もしないうちに、たらふく食べてお土産分を取り、撮影して帰るといったように回転は速い。駐車場は混んでいたが、充分用意されており、帰るときには空かすか。京急長沢からも徒歩で行ける。

受付で地元の大根を売っていた。葉っぱ付きで、みそ汁または油でさっと炒めたものが美味。

春にはいちご狩りもやっているようなので、また来てみよう。

ADMC2022

DAMA-jの年1のカンファレンス(ADMC2022)に参加した。
活動報告の中で、会長が林さんから木山さんに代わるらしい。会員数も200名を超えた。DXムーブメントの影響が大きいとは思うが、とにかくデータマネジメントに関心を持つ人が増えたことは歓迎したい。会長以下幹事さんの献身に感謝したい。
簡単に受講メモしておく。

1.モダンデータアーキテクチャ構築に向けたロードマップ作成 John
O’Brien氏。講師は、DWH、BIを専門としている。
データ主導経営のためのデータカルチャーについて。
ケイパビリティとして用語定義や学習用データセットの準備を行う。
アーキテクチャは論理と物理にわけて作る。物理アーキテクチャについては、AWSとAzureでの実装例が紹介された。

2.セルフデータ分析時代における分析環境のあるべき姿
武田薬品 清水氏
Tableauユーザー会を牽引され書籍も出されていて、武田薬品にデータマネジメント推進のために転身。データ民主化のためには、データガバナンス=立法、データマネジメント=行政、データクオリティ=司法が必要と3件分立への比喩は中々良い。いざデータ分析しようとしてもコード索引のためのマスタの所在調査、結合条件、トランザクションデータの確認などなど、やっとレポートしても欠損データがあったりとデータエンジニアへの問い合わせが多く発生。データエンジニアへの問い合わせが集中するのを避けるためにデータカタログの整備が必要。
データマネジメントの研修を実施しているが、ユニークなのは、実務データでBIコンペティションを実施し、全員で称賛しあう場を作っている。

3.NTTグループのデータマネジメント・ガバナンス事例
NTT 駒沢氏
JDMCでもお聞きしているが、ALL NTTでの取り組みについて、分かり易く話された。アーキテクチャはできるだけシンプルにし、すべての領域を一応に詳細化していく必要はなく、まずは関心領域を掘り下げていけばよい。大きく、SoE(顧客接点)、SoR(バックオフィス)、SoC(MDM,HUB)の3つの領域に分けて、必要なところを掘り下げていく。共通言語はマスターデータでその周りにバリューチェーン、エコシステムがある。アーキテクトで重要なのは、大局観と現場感を行ったり来たりできること。
BIダッシュボードを定めてから必要なデータを源泉に向かって遡っていくというやり方をとっている。
データガバナンスを進めるためには、チェンジマネジメントが必須。PJ横断のデータ流通のための課題解決の集まりを100回以上実施。ダッシュボードセンスのある若者に教えを乞う。

武田薬品、NTTの事例は、データマネジメント・ガバナンスの成功事例の一つといって良いだろう。

Udemyにてオンライン講座はじめます

このたび、Udemyにてオンライン講座「ビジネス推進のためのデータモデリング入門」を開講します。
「データモデルとは何か」、「なぜデータモデルを作るのか」、「データモデルをどう活用するのか」を、事例を交えてご説明いたします。
ビジネスの礎である「データ」を活用してDXを推進していくために、データモデルで現状を把握して課題を見つけ出す方法や、欲しい情報をすぐに得るためにあるべきデータモデルの構築方法、現行システムと共存しながら更新を進めていくシステムの改善方法なども講習に含まれます。

直にデータを取り扱うシステム部門の方だけでなく、課題の発見、ソリューションの検討などに従事するビジネス部門の皆様にもお役に立てる内容です。ふるってご受講下さい。

ビジネス推進のためのデータモデリング入門

最近、ビジネス視点からのデータモデル活用に興味がある。経営者・企画担当者に対して既存のデータからどんな情報を提供できるか、また、経営層が欲しいデータはどんなデータモデルを作れば提供できるのかといったことを考えるのが楽しいのだ。
データは企業の礎であるから、そこに蓄積された欠片を組み合わせて新しい視点、分析軸などを生み出せるはずだ。その辺はデータサイエンティストの仕事ではあるのだが、彼らが正しく扱えるようにデータを整える、いわゆる「データの前捌き」の重要性はさらに高まっている。

前捌きとは、端的に言ってしまえば、データ品質の担保、コード体系の統一化であろうか。
もちろん、データ品質を担保するには、データそのものの発生からアーカイブ化までの一生を監視する体制や、データの重複や不正コピー、混入の有無をチェックするシステムなど、恐ろしい量の作業が必要だろう。しかもこの作業を、現行システムの稼働状況を損なわずに実行していかなければならない。…なんと気が遠くなることか。

ビジネスユーザにもデータモデリングを!

データモデルというとIT技術者向けのものと思っていませんか。一頃はモデラーとも言われましたが、最近は、データアーキテクトと呼ばれることが多いかも知れません。
ITに直接関わらないビジネスユーザにとって、今までデータモデルとは無縁のモノだったのではないでしょうか。そもそもデータモデルとう言葉自身知らなかったという方がほとんどでしょう。
そもそも、ITそのものが、一般ビジネスユーザ、否、ビジネスにかかわらず、一般化してきているなかで、ITに関わらないビジネスユーザなんてあり得ませんよね。

AI、データ活用といわれていますが、。。。