https://www.dataprep.jp/categories/data-wrangling/ Recent content in データ加工 on データ加工の道具箱 Hugo -- gohugo.io ja dataprep.jp https://www.dataprep.jp/jsoncrack/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/jsoncrack/ <img src="https://www.dataprep.jp/jsoncrack/images/cover_jsoncrack.png" alt="Featured image of post JSON Crack" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://jsoncrack.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/jsoncrack/images/cover_jsoncrack.png" alt="JSON Crack" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataprep.jp</div><div class="external-link-card__title">JSON Crack</div><div class="external-link-card__description">ブラウザ上で JSON データ構造を視覚的に理解する</div><div class="external-link-card__url">jsoncrack.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <h2 id="どんなツールか">どんなツールか？ </h2><p>JSON Crack は Web ベースのデータ可視化ツールです。ブラウザ上で JSON データ構造を視覚的に理解することを目的としています。</p> <h2 id="機能">機能 </h2><ul> <li>JSON や構造化データを ノード・エッジ形式のグラフ/ツリーとして視覚化し、展開・折りたたみが可能です。  </li> </ul> <h2 id="使い方">使い方 </h2><ul> <li> <ol> <li>データを入力&hellip;JSON を貼り付け、またはファイルからアップロード。</li> </ol> </li> <li> <ol start="2"> <li>入力内容に応じて インタラクティブなノード図やツリーが描画されます。</li> </ol> </li> <li> <ol start="3"> <li>必要に応じて展開/折りたたみ、検索、ズーム等の操作。  </li> </ol> </li> </ul> <h2 id="データ形式">データ形式 </h2><ul> <li>JSON</li> </ul> https://www.dataprep.jp/open-refine/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/open-refine/ <img src="https://www.dataprep.jp/open-refine/images/cover_open-refine.jpg" alt="Featured image of post OpenRefine" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://open-refine.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/open-refine/images/cover_open-refine.jpg" alt="OpenRefine" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataviz.jp</div><div class="external-link-card__title">OpenRefine</div><div class="external-link-card__description">表データのクレンジング・ツール</div><div class="external-link-card__url">open-refine.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <h2 id="どんなツールか">どんなツールか？ </h2><p>OpenRefine は、表データのクリーニング（重複削除・表記ゆれ修正・整形）と変換をブラウザ上で行えるツールです。 大量データを一括で処理でき、手作業での修正を大きく減らせます。</p> <p>クレンジング作業中の状態をサーバ側で保存することが出来るほか、クレンジング手順自体を記録して同様のファイルに適用することも出来ます。</p> <h2 id="機能">機能 </h2><ul> <li>フィルタ・ファセット による絞り込みと値の確認</li> <li>列の分割・結合、値の置換、空白や記号の正規化</li> <li>重複検出やクラスタリングによる表記ゆれ修正</li> <li>式（GREL）を使った一括変換</li> <li>外部データとの照合（Reconciliation）</li> </ul> <h2 id="使い方">使い方 </h2><ul> <li> <ol> <li>CSV / TSV / Excel / JSON などのデータを読み込む</li> </ol> </li> <li> <ol start="2"> <li>Facet やフィルタで問題のある値を見つける</li> </ol> </li> <li> <ol start="3"> <li>変換・置換・クラスタリングでデータを整える</li> </ol> </li> <li> <ol start="4"> <li>必要な形式でエクスポートする</li> </ol> </li> </ul> <h2 id="データ形式">データ形式 </h2><ul> <li>入力：CSV、TSV、Excel(xls/xlsx)、Googleシート、JSON、XML、OpenDocument など</li> <li>出力：CSV、TSV、Excel、JSON など</li> </ul> <h2 id="公式解説サイト">公式解説サイト </h2><div class="external-link-card"> <a class="external-link-card__inner" href="https://open-refine-doc.dataviz.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/open-refine/images/cover_openrefine-doc.png" alt="OpenRefineの公式解説サイト" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataviz.jp</div><div class="external-link-card__title">OpenRefineの公式解説サイト</div><div class="external-link-card__description">OpenRefine解説</div><div class="external-link-card__url">open-refine-doc.dataviz.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> https://www.dataprep.jp/change-character-encoding/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/change-character-encoding/ <img src="https://www.dataprep.jp/change-character-encoding/images/cover-change-character-encoding.png" alt="Featured image of post Shift JIS ⇄ UTF-8 文字コード変換ツール" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://change-character-encoding.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/change-character-encoding/images/cover-change-character-encoding.png" alt="Shift JIS ⇄ UTF-8 文字コード変換ツール" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataprep.jp</div><div class="external-link-card__title">Shift JIS ⇄ UTF-8 文字コード変換ツール</div><div class="external-link-card__description">文字コードを、Shift JIS ⇄ UTF-8 間で相互に変換</div><div class="external-link-card__url">change-character-encoding.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <h2 id="どんなツールか">どんなツールか？ </h2><p>テキストファイルの文字コードを、Shift JIS ⇄ UTF-8 間で相互に変換できるツールです。</p> <ul> <li>Excelでの利用を前提としたファイルは Shift JIS で配布されていることが多いです。</li> <li>世の中のほとんどのモダンなツールは UTF-8 を前提としています。</li> </ul> <p>そのギャップを埋めるための簡易ツールです。</p> <h2 id="機能">機能 </h2><ul> <li>Shift JIS → UTF-8 変換：古いシステムや Excel で使われる Shift JIS 文字コードのテキストを UTF-8 に変換。</li> <li>UTF-8 → Shift JIS 変換： UTF-8 形式のテキストを Shift JIS に変換し、レガシーソフトや旧システムで利用可能に。</li> </ul> <h2 id="使い方">使い方 </h2><ul> <li> <ol> <li>変換したいテキストを入力・アップロード。 </li> </ol> </li> <li> <ol start="2"> <li>変換後のテキストをコピー／ダウンロード。</li> </ol> </li> </ul> <p>ファイルが Shift JIS または UTF-8 かの判別は自動です。</p> <h2 id="データ形式">データ形式 </h2><ul> <li>表データ(CSV、TSV、DSV)</li> <li>JSON</li> </ul> https://www.dataprep.jp/tabula-pdf/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/tabula-pdf/ <img src="https://www.dataprep.jp/tabula-pdf/images/cover_tabula-pdf.jpg" alt="Featured image of post Tabula PDF" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://tabula-pdf.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/tabula-pdf/images/cover_tabula-pdf.jpg" alt="Tabula PDF" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataprep.jp</div><div class="external-link-card__title">Tabula PDF</div><div class="external-link-card__description">PDFから表データを取り出す</div><div class="external-link-card__url">tabula-pdf.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <h2 id="どんなツールか">どんなツールか？ </h2><p>Tabula PDF は、PDF 内の表を抽出して再利用しやすい形式に変換するツールです。<br> 行政資料・調査報告書・配布資料など、PDF で公開された表をデータとして使いたい場面で役立ちます。</p> <p>抽出したい表の範囲をページ上で指定し、CSV / JSON / Excel 形式で書き出せます。<br> 「PDF はあるが元データが手元にない」という状況で、データ整形の出発点を作れます。</p> <h2 id="機能">機能 </h2><ul> <li>PDF からの表抽出（ページ単位・複数ページ対応）</li> <li>表領域の手動選択（ドラッグ）と抽出プレビュー</li> <li>抽出モードの切り替え（罫線ベース / 余白ベース）</li> <li>複数テーブルの一括出力</li> <li>CSV / JSON / Excel 形式でのダウンロード</li> </ul> <h2 id="使い方">使い方 </h2><ul> <li> <ol> <li>PDF ファイルをアップロード</li> </ol> </li> <li> <ol start="2"> <li>対象ページを開き、抽出したい表領域を選択</li> </ol> </li> <li> <ol start="3"> <li>抽出モードを選んでプレビューを確認</li> </ol> </li> <li> <ol start="4"> <li>問題なければ CSV / JSON / Excel のいずれかで出力</li> </ol> </li> </ul> <h2 id="データ形式">データ形式 </h2><ul> <li>入力：PDF</li> <li>出力：CSV、JSON、Excel</li> </ul> <h2 id="補足">補足 </h2><ul> <li>文字情報を持つ PDF での利用を想定しています。</li> <li>スキャン画像中心の PDF は、事前に OCR を行うと抽出精度が上がります。</li> </ul> https://www.dataprep.jp/text-entity/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/text-entity/ <img src="https://www.dataprep.jp/text-entity/images/cover_text-entity.jpg" alt="Featured image of post テキスト・エンティティ抽出ツール" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://text-entity.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/text-entity/images/cover_text-entity.jpg" alt="テキスト・エンティティ抽出ツール" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataprep.jp</div><div class="external-link-card__title">テキスト・エンティティ抽出ツール</div><div class="external-link-card__url">text-entity.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <h2 id="どんなツールか">どんなツールか？ </h2><p>CSV/TSVなどの表データから、テキストに含まれるハッシュタグ・メンション・URL・メールアドレス・電話番号を正規表現で一括抽出するブラウザツールです。データはすべてブラウザ上で処理され、サーバーには送信されません。</p> <p><img src="https://www.dataprep.jp/text-entity/images/text-entity_01.png" width="2378" height="1279" srcset="https://www.dataprep.jp/text-entity/images/text-entity_01_hu_e32d30da9debdeaf.png 480w, https://www.dataprep.jp/text-entity/images/text-entity_01_hu_8b85076a9637898e.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="185" data-flex-basis="446px" ></p> <h2 id="機能">機能 </h2><ul> <li><strong>5種類のエンティティ抽出</strong>: ハッシュタグ（#）、メンション（@）、URL、メールアドレス、電話番号</li> <li><strong>CSV/TSV対応</strong>: ファイルアップロードまたはテキスト貼り付けでデータを読み込み</li> <li><strong>列選択</strong>: 抽出対象の列をサンプル値付きで選択可能</li> <li><strong>プレビュー機能</strong>: 読み込んだデータを抽出前に確認</li> <li><strong>CSV出力</strong>: 抽出結果を元データに列追加した形でCSVダウンロード（BOM付きUTF-8）</li> <li><strong>日本語/英語対応</strong>: ブラウザの言語設定に応じて自動切替、手動切替も可能</li> </ul> <h2 id="使い方">使い方 </h2><ol> <li><strong>データ入力</strong> — CSVファイルをドラッグ&amp;ドロップ、またはテキストエリアにCSV/TSVデータを貼り付け</li> <li><strong>プレビュー</strong> — 読み込んだデータの列数・行数を確認（先頭100行を表示）</li> <li><strong>抽出設定・実行</strong> — 対象列と抽出タイプ（ハッシュタグ/メンション/URL/メール/電話番号）を選んで「抽出を実行」</li> <li><strong>結果確認・ダウンロード</strong> — 抽出件数を確認し、「CSVダウンロード」で結果を保存 </li> </ol> <h2 id="データ形式">データ形式 </h2><ul> <li><strong>入力</strong>: CSV（カンマ区切り）、TSV（タブ区切り）、TXT</li> <li><strong>ヘッダー</strong>: 1行目を列名として扱うかどうかを選択可能（ヘッダーなしの場合は「列1, 列2, &hellip;」と自動命名）</li> <li><strong>出力</strong>: 元データの全列 ＋ 抽出結果列を追加したCSV（BOM付きUTF-8）。1セルに複数のエンティティがある場合はカンマ区切りで結合</li> </ul> https://www.dataprep.jp/aozora-furigana/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/aozora-furigana/ <img src="https://www.dataprep.jp/aozora-furigana/images/cover_aozora-furigana.jpg" alt="Featured image of post 青空文庫ルビ削除ツール" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://aozora-furigana.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/aozora-furigana/images/cover_aozora-furigana.jpg" alt="青空文庫ルビ削除ツール" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataprep.jp</div><div class="external-link-card__title">青空文庫ルビ削除ツール</div><div class="external-link-card__description">青空文庫の小説からルビとメタデータを削除</div><div class="external-link-card__url">aozora-furigana.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <p><img src="https://www.dataprep.jp/aozora-furigana/images/cover_aozora-furigana.png" width="3330" height="1894" srcset="https://www.dataprep.jp/aozora-furigana/images/cover_aozora-furigana_hu_13a1982011595049.png 480w, https://www.dataprep.jp/aozora-furigana/images/cover_aozora-furigana_hu_c0aea6979cba6517.png 1024w" loading="lazy" class="gallery-image" data-flex-grow="175" data-flex-basis="421px" ></p> https://www.dataprep.jp/calendar-converter/ Mon, 01 Jan 0001 00:00:00 +0000 https://www.dataprep.jp/calendar-converter/ <img src="https://www.dataprep.jp/calendar-converter/images/cover_calendar-converter.png" alt="Featured image of post 和暦⇔西暦 変換ツール" /><div class="external-link-card"> <a class="external-link-card__inner" href="https://calendar-converter.dataprep.jp/" target="_blank" rel="noopener noreferrer"> <div class="external-link-card__media"><img src="https://www.dataprep.jp/calendar-converter/images/cover_calendar-converter.png" alt="和暦⇔西暦 変換ツール" loading="lazy" decoding="async" /></div> <div class="external-link-card__body"><div class="external-link-card__site">dataprep.jp</div><div class="external-link-card__title">和暦⇔西暦 変換ツール</div><div class="external-link-card__description">和暦と西暦を相互に変換します</div><div class="external-link-card__url">calendar-converter.dataprep.jp</div></div> <span class="external-link-card__icon" aria-hidden="true"> <svg viewBox="0 0 24 24" focusable="false"> <path d="M14 3h7v7m0-7L13 11" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> <path d="M17 17H5V5h7" fill="none" stroke="currentColor" stroke-width="1.5" stroke-linecap="round" stroke-linejoin="round"/> </svg> </span> </a> </div> <h2 id="どんなツールか">どんなツールか？ </h2><p>和暦（昭和・平成・令和）と西暦を相互変換するブラウザツールです。日付を手入力してリアルタイムに変換できるほか、CSVファイルをドロップするだけで日付列を自動検出し、一括変換してダウンロードできます。すべての処理はブラウザ上で完結するため、データがサーバーに送信されることはありません。</p> <h2 id="機能">機能 </h2><ul> <li><strong>リアルタイム変換</strong> — 和暦・西暦どちらの入力欄に入力しても、もう一方にリアルタイムで変換結果が表示されます</li> <li><strong>CSV一括変換</strong> — CSVファイルをドラッグ＆ドロップすると、日付列を自動検出して一括変換。変換前後のプレビューを確認してからダウンロードできます</li> <li><strong>文字コード自動判定</strong> — UTF-8とShift_JISを自動判定するため、Excelで作成したCSVもそのまま読み込めます</li> <li><strong>多様な日付形式に対応</strong> — <code>R6.3.22</code>、<code>令和6年3月22日</code>、<code>2024/03/22</code>、<code>2024-03-22</code> など、よく使われる表記をそのまま入力できます</li> <li><strong>出力形式の選択</strong> — 和暦への変換時、アルファベット表記（R6.3.22）と漢字表記（令和6年3月22日）を選択できます</li> <li><strong>日英バイリンガル</strong> — ブラウザの言語設定に応じて、UIが日本語または英語で表示されます</li> </ul> <h2 id="使い方">使い方 </h2><h3 id="手動変換">手動変換 </h3><ol> <li>画面上部の「和暦」または「西暦」の入力欄に日付を入力します</li> <li>もう一方の欄に変換結果が自動で表示されます</li> </ol> <h3 id="ファイル一括変換">ファイル一括変換 </h3><ol> <li>CSVファイルをドロップエリアにドラッグ＆ドロップ（またはクリックして選択）します</li> <li>日付列が自動検出され、変換前後のプレビューが表示されます</li> <li>必要に応じて変換方向（和暦→西暦 / 西暦→和暦）とフォーマットを選択します</li> <li>「変換してダウンロード」をクリックすると、変換済みCSVがダウンロードされます</li> </ol> <h2 id="データ形式">データ形式 </h2><h3 id="対応する入力形式">対応する入力形式 </h3><table> <thead> <tr> <th>種別</th> <th>形式の例</th> </tr> </thead> <tbody> <tr> <td>和暦（アルファベット）</td> <td><code>S49.9.24</code>、<code>H1-1-8</code>、<code>R6/3/22</code></td> </tr> <tr> <td>和暦（漢字）</td> <td><code>昭和49年9月24日</code>、<code>令和元年5月1日</code></td> </tr> <tr> <td>西暦</td> <td><code>2024/03/22</code>、<code>2024-03-22</code>、<code>2024.3.22</code></td> </tr> </tbody> </table> <h3 id="対応する元号">対応する元号 </h3><table> <thead> <tr> <th>元号</th> <th>略称</th> <th>期間</th> </tr> </thead> <tbody> <tr> <td>昭和</td> <td>S</td> <td>1926/12/25 〜 1989/01/07</td> </tr> <tr> <td>平成</td> <td>H</td> <td>1989/01/08 〜 2019/04/30</td> </tr> <tr> <td>令和</td> <td>R</td> <td>2019/05/01 〜</td> </tr> </tbody> </table> <h3 id="ファイル一括変換-1">ファイル一括変換 </h3><ul> <li>対応ファイル形式: CSV、TSV、TXT</li> <li>区切り文字（カンマ・タブ）は自動判定されます</li> <li>文字コード（UTF-8・Shift_JIS）は自動判定されます</li> <li>出力はUTF-8（BOM付き）のCSVで、Excelでそのまま開けます</li> </ul>