データ加工にまつわる問題 on データ加工の道具箱

ビジュアルにわかりやすくデータをクレンジングしたい

Mon, 01 Jan 0001 00:00:00 +0000

CSV や Excel の中にある表記ゆれ、空白、不要な列、重複データを、目で確認しながら整理したいケースです。

解決方法

値の分布を確認しながらフィルタや置換を段階的にかけられるツールを使うと、何をどう直したかを追いやすくなります。同じ処理を別ファイルにも適用したいなら、操作履歴を残せるツールが向いています。

使うツール

dataprep.jp

OpenRefine

表データのクレンジング・変換ツール

open-refine.dataprep.jp

向いているケース

公開データの整形
名寄せ前のクリーニング
手作業の置換を減らしたいとき

地図データとテーマデータを簡単に結合したい

Mon, 01 Jan 0001 00:00:00 +0000

地図データと別に持っている CSV や Excel の統計データを結びつけ、すぐに可視化へ回したいケースです。

解決方法

地域コードや自治体名など、共通キーをそろえてから結合すると、後工程の地図化が安定します。地理データと表データの両方をアップロードして、結合結果をその場で確認できるツールが向いています。

使うツール

dataprep.jp

(Geo) DataMerger

地理データとテーマデータを手軽に結合

geo-data-merger.dataprep.jp

向いているケース

自治体単位の統計を地図化したい
複数の境界データ候補を試したい
結合ミスを画面で確認したい

JSONの構造をいち早く把握したい

Mon, 01 Jan 0001 00:00:00 +0000

API レスポンスや設定ファイルの JSON が複雑で、どこに必要な項目があるのかを素早く把握したいケースです。

解決方法

テキストのまま読むよりも、ノード構造として可視化すると、親子関係や配列の深さをすぐ確認できます。まず構造を把握してから、必要なキーだけ抽出する流れが有効です。

使うツール

dataprep.jp

JSON Crack

ブラウザ上で JSON データ構造を視覚的に理解する

jsoncrack.dataprep.jp

向いているケース

API のレスポンス確認
外部サービス連携前の構造把握
JSON を表形式へ変換する前段階

文字化けを解消したい

Mon, 01 Jan 0001 00:00:00 +0000

CSV を開いたときに日本語が崩れる、GIS や表計算ソフトに読み込むと文字が化ける、といったケースです。

解決方法

まず元データの文字コードを把握し、利用先が期待する文字コードへ変換します。Shift JIS と UTF-8 の相互変換をすぐ試せるツールがあると、配布前の確認も短時間で済みます。

使うツール

dataprep.jp

Shift JIS ⇄ UTF-8 文字コード変換ツール

文字コードを Shift JIS と UTF-8 の間で相互変換

change-character-encoding.dataprep.jp

向いているケース

配布用 CSV の整形
日本語データの取り込みエラー解消
システム間のデータ受け渡し

住所から緯度経度を簡単に算出したい

Mon, 01 Jan 0001 00:00:00 +0000

店舗一覧や施設一覧の住所はあるものの、地図に置くための緯度経度がなく、まず座標化したいケースです。

解決方法

住所をそのまま地図化するのではなく、先にジオコーディングして座標列を作っておくと、後続の可視化や空間分析が安定します。まとめて変換できるツールを使うと、手入力を避けられます。

使うツール

dataprep.jp

住所 → 緯度経度変換ツール

住所一覧を緯度経度に変換するジオコーディング・ツール

address-to-latlon.dataprep.jp

向いているケース

店舗や施設の位置を地図に置きたい
住所ベースの集計結果を空間分析したい
緯度経度を手作業で調べたくない

PDFから表データを簡単に取り出したい

Mon, 01 Jan 0001 00:00:00 +0000

レポートや行政資料の PDF に表はあるものの、CSV や Excel に再入力せず取り出したいケースです。

解決方法

まず PDF の中で表として認識できる領域を選び、行列構造を保ったまま抽出します。抽出後に列名や空白を整える前提で、表そのものを早く取り出すことが重要です。

使うツール

dataprep.jp

Tabula PDF

PDFから表データを取り出す

tabula-pdf.dataprep.jp

向いているケース

行政資料の再利用
調査レポートの表抽出
手入力をなるべくなくしたいとき

地図データを軽量化したい

Mon, 01 Jan 0001 00:00:00 +0000

地図データが重く、ブラウザでの表示や共有、可視化ツールへの読み込みが遅いケースです。

解決方法

形状を保ちながら頂点数を減らし、不要な属性を落とすと、ファイルサイズを大きく下げられます。軽量化とあわせて形式変換や結合も行えるツールを使うと、前処理を一度でまとめられます。

使うツール

dataprep.jp

Mapshaper

地図データの加工や変換

mapshaper.dataprep.jp

向いているケース

GeoJSON の表示を軽くしたい
配布用の地図ファイルを小さくしたい
属性整理も同時に進めたい

地図データの形式を整えたい

Mon, 01 Jan 0001 00:00:00 +0000

緯度経度の小数桁や座標系がばらばらで、そのままでは地図ツールに正しく渡せないケースです。

解決方法

まず緯度経度の書式や桁数をそろえ、必要に応じて座標系を変換します。問題を小さく分けて処理すると、どこで位置ずれが起きているかを切り分けやすくなります。

使うツール

dataprep.jp

緯度経度フォーマッター

緯度経度データの桁数や形式を整える

latlon-formatter.dataprep.jp

dataprep.jp

座標系変換ツール

地物ファイルの座標系を変換する

transform-coordinates.dataprep.jp

向いているケース

座標系の違う地図データを混在させている
緯度経度の桁数をそろえたい
位置ずれの原因を切り分けたい

地図データをオリジナルで用意したい

Mon, 01 Jan 0001 00:00:00 +0000

必要な地点や線、ポリゴンが既存データとして見つからず、自分で地図データを作成したいケースです。

解決方法

ベースマップを見ながらポイント、線、面を直接作れるツールを使うと、最低限の GIS 操作で GeoJSON を用意できます。まず必要な範囲だけを作り、その後に属性を追加していくと作業が進めやすくなります。

使うツール

dataprep.jp

GeoJSON.io

地図タイルを見ながら GeoJSON を作成する

geojson.dataprep.jp

向いているケース

手元の範囲だけ地図データを作りたい
調査地点や動線をすばやく描きたい
小規模な GeoJSON を自作したい