Data Structure (DS)

  • data structure = Structured data format
  • 표준 형식을 지원한다. JSON, CSV (Comma-separated Values)

Notion의 Export

  • Notion의 DB (DataBase)를 export하면, notion의 Data Structure (DS)를 알 수 있다.
  • DB Table view에서 보이는, 각 데이터들의 필드, 즉 Name (Title, index field)과 여러 개의 properties (various formats, other fields)들은 CSV 형태의 열 (column)에 해당한다. 각 행 (rows)는 각 데이터.

Notion의 Import

  • “/import” 명령어를 사용하면, CSV 형식으로 저장된 파일을 불러와서 Notion의 DB를 완성할 수 있다. “import” 명령어가 지원하는 다른 형식들 (e.g. MD, Google Docs, MS Word, pdf)은 Bulk import가 아니라 single file import 이다.

Obsidian의 Import

  • Obsidian은 flat-file system으로, 모든 파일을 md file 또는 canvas file로 쓰고 저장한다. 따라서 여러가지 Community Plugin 을 이용하면, bulk data management가 가능하다.
  • 예: Big data가 CSV file 형식으로 저장되어 있는 경우

가장 효율적으로 데이터를 모으고 정리하는 방법

  • LLM에게 CSV 형식으로 instruction (input.csv)을 입력하고, CSV 형식으로 output (output.csv)을 받는다
  • obsidian에서 output.csv의 각 row를 받아 md 파일로 저장하기 위해, template md 파일을 만든다.
  • obsidian에서 output.csv를 한꺼번에 import 한다.
  • obsidian에서 여러 md 파일들은 Dataview를 통해 관리한다.