「溜まった計測データを、まず見えるようにしたい」でお困りの方へ
こんなお悩みは、ありませんか？
- 実験や計測で溜まったデータを、いまだにExcelや統計ソフトでの手作業で処理している
- 使いたい統計や最適化の手法は決まっているが、コードに落とす段階で行き詰まっている
- 長期間・大量に蓄積した計測データを前に、解析の仕組みづくりが追いつかない
- 外れ値の除き方や対象期間の取り方によって、結論が変わってしまわないか不安
- 解析を外部に頼むと、なぜその結果になるのかを自分たちで説明できなくなりそうで不安
ひとつでも当てはまる方は、弊社の「計測データの統計解析・最適化サービス」が、お役に立てるかもしれません。まずは、お手元のデータを拝見し、何が読み取れそうかの見立てからお出しします。ご予算に合わせて、可視化まで、統計処理まで、と範囲を区切ったご提案にも対応します。
対応できる技術
計測データの解析と一口に言っても、知りたいことによって使う手法は異なります。弊社は、計測・実験データの扱いを中心に、次の技術分野の開発をお引き受けしています。開発は、MATLAB・Pythonのいずれでも承ります。いずれも、実案件での開発実績があります。
- 多変量解析: 多くの測定項目の中から、効いている軸を取り出す（主成分分析・独立成分分析・因子分析など）。
- クラスタリング・判別分析: データをグループに分ける、あるいはどちらに属するかを判定する。判別モデルには交差検証を組み込む。
- 回帰分析: 説明変数と目的変数の関係を式にする（線形回帰・ロバスト回帰・多項式近似など）。
- 物理モデルのフィッティング（パラメータ推定）: 計測した波形やスペクトルに、ガウス関数や物理モデルの式を、非線形最小二乗法で当てはめ、パラメータを推定する。ピークの自動検出と組み合わせた、多段のフィッティングにも対応する。
- 相関分析: 計測項目どうしの関係を、相関係数と回帰モデルで整理する。
- 時間変化・傾向の推定: 長期の計測データから、変化の傾き（劣化・変動）を推定する。
- 数理最適化: 制約条件のもとで最適な運用計画を求める（線形計画法など）。非線形項の線形化や、1回目の結果から制約を作る2段階の最適化にも対応する。
- データ品質の検査・前処理: 欠測・異常値の検出、外れ値除去方式の比較、複数センサの時刻同期・単位換算・列構成の違いの吸収。
- 大容量計測データの処理: 月単位でのキャッシュ化などにより、大量のCSVを繰り返し読み込める速さで扱う。
- 統計解析ソフト・他言語からの移し替え: SPSS・R・C++・Excel等で行っている検定や集計の手順を、MATLABやPythonのプログラムへ移し、繰り返し実行できる形にする。組込関数の実装差で値が一致しない場合は、参照実装の組み込みや中間出力の突合で、値をそろえたうえで置き換える。
- 当てはまりの評価と限界の明示: p値・RMSE・相関係数の提示に加え、多重共線性やデータ期間の長さによる信頼性の制約も報告に残す。
この一覧にない手法でも、論文や参考実装をもとにした開発に対応できます。まずはご相談ください。
なぜ、統計ソフトに入れて数字を出すだけでは、うまくいかないのか
いまは統計ソフトも表計算ソフトも高機能で、データを入れれば、回帰係数も相関係数もすぐに出ます。それでも解析が判断の材料にならないのは、計測データが、統計手法の前提どおりにきれいではないからです。欠測や異常値、途中で変わった計測条件が混じっていても、統計処理はエラーになりません。それらしい数字と、きれいなグラフが出てしまいます。
そこから先は、中身に踏み込む作業になります。どのデータを対象から外し、どの範囲を補正するか。データが揃っていない期間や、説明変数どうしが強く相関している状況で、その結果はどこまで言えるのか。当てはまりの良いモデルを示すことと、そのモデルが使える範囲を示すことは、別の作業です。
弊社は、手法をあてはめるだけでなく、データの品質検査と前処理の設計から手を入れます。だから、なぜその処理にしたのか、その結果はどこまで言えるのかを、お客様に説明できます。納品するのは動くプログラムだけではありません。データを差し替えれば同じ手順で回せる、ソースコードと説明です。
統計解析・最適化の標準工程
弊社の統計解析・最適化は、次の4工程を標準として進めます。
- ① データと目的の調査: 生データとその取得条件を拝見し、欠測・異常値・計測系の変更の有無を先に検査する。あわせて、何をもって良しとするか（推定したい量、当てはまりの見方、報告の形）を、解析の前にお客様と決める。
- ② 解析の実施: 読み込みと前処理を組み、統計モデルの当てはめや最適化計算を実装する。結果が前処理の選び方に左右されうる場合は、方式を切り替えて比較できる形にする。
- ③ 当てはまりの評価と限界の明示: ①で決めた見方に沿って、当てはまりの良否を数値で示す（p値・RMSE・相関係数など）。あわせて、多重共線性やデータ期間の長さなど、結果の信頼性を左右する条件を洗い出し、どこまで言えるかを報告に残す。他ソフトの実装から移した処理は、元の出力と突合して値をそろえる。
- ④ テスト検証・納品: 実データでの通し実行と結果の確認を行う。データを差し替えて実行すれば同じ図と数値が出る形に整え、ソースコードと、解析条件・適用限界を記した資料を添えて納品する。
適用例: 屋外実証データの統計解析
上記の標準工程を実案件に適用した例。
お客様: 太陽電池の開発企業様
ご依頼内容: 屋外の実証試験で溜まっていく発電、日射、温度などの計測データを、まとめて可視化し、変換効率の経時変化を見たい。変換効率の傾きから劣化の速さを推定し、外れ値の扱いによって結論が変わらないかも確かめたい。データが増えるたびに解析をやり直せるように、実行するだけで結果の図と数値が出る形で納めてほしい。
課題:
- 計測の時期によって列の構成や測定条件が異なる、大量のCSVを、統一的に処理すること
- 計測系の変更や異常な値を見分け、補正と除外の条件を、明示すること
- 外れ値処理の選び方が、劣化係数の推定に与える影響を、比較すること
- 数GB規模に積み上がった計測データを、繰り返し読み込める速さで、扱えるようにすること
ソリューション:
- 発電特性、日射量、発電電力量、変換効率を、日次、月次、方位別に可視化した
- 1か月分の計測データを処理済みのMATファイルとしてキャッシュし、大量CSVの繰り返し読込を削減した
- 計測日による列構成の違いを吸収し、測定点が少ない日、夜間の異常値、上下1%の外れ値を、条件別に除外できるようにした
- 可視化の不整合から、受光面積の変更やセンサ設置に起因するデータの不整合を検出し、内容を確認のうえ補正した
- 線形回帰、ロバスト回帰、多項式近似を比較し、複数の外れ値処理で、劣化係数を推定した
- 気温、湿度、風速、日射量、発電量の相関係数と、線形回帰モデルを作成した
結果:
- 劣化係数は、3種類の外れ値処理で同程度の推定値に収まり、処理の方法によって結論が変わらないことを確認した
- 計測項目どうしの関係を、相関係数と線形回帰モデルとして整理し、当てはまりの良否まで報告した
- 解析の過程で計測系の変更が見つかり、以後のデータを、正しい条件で扱えるようになった
- データの周期性、多重共線性、短い期間での推定の不安定さは、残る課題として報告した
- 実証試験のデータが増えても、同じ手順で可視化から統計処理までを回せるようになった
適用実績
- 太陽電池の開発企業様 — 屋外実証試験データの可視化と統計解析、劣化係数の推定（上記）
- 電池メーカーの研究開発部門様 — 線形計画法による蓄電池の運用計画の最適化。二次の項を含む劣化予測式の線形化と、1回目の結果から制約を作る2段階の最適化を実装し、条件を変えた再計算をお客様側で実行できる状態にした。技術指導の形で約1年半にわたり支援
- 公的研究機関様 — 主成分分析・独立成分分析・因子分析・クラスタリング・線形判別・回帰・相関分析を切り替えて実行できる解析ツールの開発。判別モデルには交差検証を実装。R実装の手法をMATLABへ移す際、組込関数では値が一致しないことを確認し、参照実装をMATLABから呼び出せる形にして、数値を一致させた
- 民間企業様 — 統計解析ソフト（SPSS）で行っていた検定と集計の手順を、単体で実行できるアプリケーションとして再実装。解析対象の絞り込み、群間・群内の比較、結果表の作成までを自動化し、検定の手順は元のソフトの方式に合わせて実装
- 産業技術系の公的研究機関様 — 分子ガスの吸収スペクトルから気体の温度を求める解析プログラムの開発。ピークの自動検出・自動採番と、ガウス関数・物理モデル式による2段階の非線形最小二乗フィッティングを実装し、表計算ソフトとグラフ解析ソフトによる手作業の解析を自動化した
- 上記以外にも、公開できない事例は多数
計測データの統計解析・最適化のご相談は、このページ下部の「今すぐお問い合わせ」からご連絡ください。
安心してご依頼いただくために
- 当てはまりの良否と、使える範囲を、数値でお示しします: p値やRMSE、相関係数などで当てはまりを数値で示すとともに、その結果がどこまで言えるのかも併せてご報告します。
- 納得してからのご発注です: 受注前にデータを拝見し、解析方針と作業範囲の見立てをご提示します。内容にご納得いただけない場合は、そこでお断りいただいて構いません。
- 難しい場合は、率直に申し上げます: 事前解析の結果、お手元のデータでは知りたいことが読み取れない、または割に合わないと判断した場合は、その理由とともに正直にお伝えします。
- 予算に合わせて分割できます: 全部を一度に進める必要はありません。まず可視化まで、次に統計処理まで、と範囲を区切ったご発注に対応します。
- 理解して、使い続けられる形で納品します: データを差し替えて実行すれば同じ図と数値が出る形に整え、ソースコードと、解析条件・適用限界を記した説明資料を添えて納品します。弊社は著作権を主張しないので、納品後は、ソースコードも資料も、お客様ご自身で改変して、ご自由にお使いいただけます。
- 成果の研究発表や論文発表も可能です: 成果を、お客様の研究発表や、論文で発表できます。弊社のクレジットは、不要です。もし、お客様の方で、弊社との共同研究の方が都合が良い、という場合は、対応しますので、ご相談ください。
よくあるご質問
データに欠測や異常値が多いのですが、依頼できますか？
はい、ご相談ください。欠測や異常値は、あるものとして扱います。どの条件で除外し、どの範囲を補正したのかを明示し、結果と併せてご報告します。実際に、可視化の過程で計測系の変更に起因するデータの不整合を見つけ、内容を確認のうえ補正した実績があります。
どの手法を使えばよいか、決まっていないのですが？
やりたいこと（傾向を知りたい、要因を整理したい、条件を最適化したい等）からご相談ください。お手元のデータを拝見し、何が読み取れそうかと、そのために適した手法をご提案します。複数の手法を用意して結果を比較できる形にすることもあります。
解析を、自分たちでも回せるようにしたいのですが？
データを差し替えて実行すれば同じ図と数値が出る形に整えてお渡しします。ソースコードと説明資料を添えての納品、必要に応じて操作方法や計算内容の講習にも対応します。実際に、コードの解説と技術指導を組み合わせ、お客様側で改良を続けられる形にした実績があります。
SPSSやR、Excelで行っている解析を、プログラムに移すこともできますか？
対応できます。統計解析ソフトで手作業に近い形で回している検定や集計を、実行するだけで同じ手順が流れるプログラムに移し替えるご依頼を承っています。移し先は、MATLAB・Pythonのいずれでも構いません。ただし、ソフトや言語によって組込関数の実装が異なり、同じ手法でも値が一致しないことがあります。その場合は、参照実装を呼び出せる形にする、中間出力を突合するなどして、値をそろえたうえで置き換えます。プログラム言語どうしの移植については、別のページでも説明していますので、ご興味のある方はそちらもご覧ください。
MATLABとPython、どちらで開発してもらえますか？
どちらにも対応します。ご指定の環境・言語で開発し、ソースコードで納品します。ご希望がなければ、解析の内容と、お客様側で使い続けやすい環境を踏まえてご提案します。実際に、弊社がMATLABで開発した計測解析プログラムを、後にPythonへ移し替えて納品した実績もあります。環境をまたぐ移行も、あわせてご相談ください。
データを社外に出すことに、不安があるのですが？
ご要望に応じて、秘密保持契約を締結させて頂きます。アルゴリズムやコードはデリケートな内容を含むことが多いので、秘密保持契約を締結してからコードをお預かりすることは、よくあります。
ご相談から開発までの流れ
- お問い合わせ: お問い合わせフォームから、お知らせください。もし分かれば、データの種類とおおよその量、知りたいこと（傾向の推定・要因の整理・条件の最適化など）をお知らせください。ご希望の開発環境（MATLAB・Pythonなど）があれば、あわせてお知らせください。
- ヒアリング: ZoomやTeams等で話を伺います。
- 事前解析: データを拝見し、解析方針と作業範囲の見立てを提示します。
- お見積・ご発注: 見立ての内容にご納得の場合、ご発注ください。予算申請用の概算見積にも対応します。
- 解析の実施: 品質検査、可視化、統計処理・最適化の順に、結果を確認しながら進めます。
- 検証・納品: 当てはまりと、結果が使える範囲を確認し、ソースコードと説明資料を添えて納品します。
お問い合わせ
計測データの統計解析・最適化でお悩みでしたら、お気軽にお問い合わせ下さい。
下記の、「今すぐお問い合わせ」をクリックして、フォームにご記入下さい。
お問い合わせには、当日〜翌日にご返信しています。
