Simple JSON Query for IBM Cloudant

1. Overview

이번 문서에서는 IBM Cloudant에 DB를 작성하고, 이를 문서로 채우고, 인덱스를 작성하고, 인덱스를 사용하여 DB를 조회하는 방법을 소개하겠습니다.

CLI와 GUI환경 모두에서 실습을 진행하겠습니다.

2. Prerequisites

IBM Cloud 계정 : link

환경이 window라면 git bash를 설치해주세요.
Git Bash : link

3. IBM Cloudant

실습을 진행하기전에 IBM Cloudant가 무엇인지 잠시 짚고 넘어가겠습니다.

IBM Cloudant는 document중심 DBaaS(Database as a Service)입니다. 타 NoSQL DB와 같이 데이터를 JSON형식의 Document로 저장할 수 있습니다.

한마디로 클라우드 위의 NoSQL DB라고 생각하시면 됩니다.

4. Basic Query

Add Cloudant Instance

먼저 cloudant 인스턴스를 cloud에 추가해야 합니다.
리소스 추가에서 Cloudant를 검색한 뒤, 생성해 줍시다.

외부에서의 접근을 허용하기 위해 새 인증정보를 생성해야합니다.

인증정보는 json형태로 떨어지게 됩니다.
이 튜토리얼에서 사용할 부분은 url과 port부분입니다. 두 개 파라미터를 다른데 적어두도록 합시다.

url은 다음과 같이 구성되어 있습니다.
url : https://$USERNAME:$PASSWORD@$ACCOUNT.cloudantnosqldb.appdomain.cloud

Set ENV

앞으로 curl명령문을 작성할 때 다음과 같은 형태로 작성할 것입니다. 계속 같은 구문이 반복되고, 그 길이가 상당히 길기때문에 환경변수를 세팅하도록 하겠습니다.

1) curl -k https://$USERNAME:$PASSWORD@$ACCOUNT.cloudantnosqldb.appdomain.cloud:$PORT/...

2) curl -k $URL:$PORT/...

1번 2번 둘다 같기때문에 마음에 드는걸로 골라서 하시면 됩니다. 이 문서에서는 2번방법으로 진행하겠습니다.

git bash를 실행시키고 인증정보에서 얻은 값들로 환경변수를 세팅해줍니다.

export URL=https://51a3858b-376c-4922-9f9b-157b27392f7d-bluemix:d4c325374b61fd3d5da86523d3bfe16d04969f75259b1658ae9d7a971c4e0a14@51a3858b-376c-4922-9f9b-157b27392f7d-bluemix.cloudantnosqldb.appdomain.cloud
export PORT=443

Create DB

CLI

input:

$ curl -XPUT -k $URL:$PORT/{db name}

output:

{"ok":true}

GUI

cloudant 인스턴스에 들어가서 Create DB를 클릭하고 진행합니다.

Create Document

Document는 indexing할 수 있는 데이터의 기본 단위입니다.

CLI

다음 내용의 json파일을 생성합니다.

{
"docs":
[
  {
    "_id": "doc1",
    "firstname": "Sally",
    "lastname": "Brown",
    "age": 16,
    "location": "New York City, NY"
  },
  {
    "_id": "doc2",
    "firstname": "John",
    "lastname": "Brown",
    "age": 21,
    "location": "New York City, NY"
  },
  {
    "_id": "doc3",
    "firstname": "Greg",
    "lastname": "Greene",
    "age": 35,
    "location": "San Diego, CA"
  },
  {
    "_id": "doc4",
    "firstname": "Anna",
    "lastname": "Greene",
    "age": 44,
    "location": "Baton Rouge, LA"
  },
  {
    "_id": "doc5",
    "firstname": "Lois",
    "lastname": "Brown",
    "age": 33,
    "location": "New York City, N"
  }
]
}

쿼리문은 다음과 같습니다. file name앞에는 ‘@’를 붙여주어야 합니다.

input:

$ curl -XPOST -k $URL:$PORT/{db name}/_bulk_docs -H "Content-Type: application/json" -d \@{file name}

output:

[
    {
        "ok":true,"id":"doc1",
        "rev":"1-cce7796c7113c5498b07d8e11d7e0c12"
    },
    {
        "ok":true,"id":"doc2",
        "rev":"1-2c5ee70689bb75af6f65b0335d1c92f4"
    },
    {
        "ok":true,"id":"doc3",
        "rev":"1-f6055e3e09f215c522d45189208a1bdf"
    },
    {
        "ok":true,"id":"doc4",
        "rev":"1-0923b723c62fe5c15531e0c33e015148"
    },
    {
        "ok":true,"id":"doc5",
        "rev":"1-19f7ecbc68090bc7b3aa4e289e363576"
    }
]

Cloudant Dashboard에서 확인해보면 제대로 document들이 들어간 것을 확인할 수 있습니다.

GUI

새문서만들기를 선택하고,

상기의 json문서에서 document를 하나씩 추가하면 됩니다.

5개의 document가 추가된 것을 확인할 수 있습니다.

Create Index

Index는 Document들을 담아두는 통입니다. 미리 특정 조건의 document들을 index에 담아두고 search를 하게되면 좀 더 빠르게 search가 가능합니다.

CLI

Index를 정의하는 json파일을 생성합니다.

{
"index": {
    "fields": [
        "age",
        "lastname"
    ],
    "partial_filter_selector": {
        "age": {
            "$gte": 30
        },
        "lastname": {
            "$eq": "Greene"
        }
    }
},
      "ddoc": "partial-index",
    "type": "json"
}

age가 30보다 크고, lastname이 Greene인 document를 partial-index라는 이름의 index에 넣습니다.

input:

curl -XPOST -k $URL:$PORT/{db name}/_index -H "Content-Type: application/json" -d \@{file name}

output:

{
    "result":"created",
    "id":"_design/partial-index",
    "name":"c387823bba25b8fbb478293cc3b8eaa84e4093b1"
}

GUI

Design Documents > Query Indexes로 이동합니다.

생성하려는 index를 json형식으로 입력합니다.

Search Query -Selector

CLI

Selector를 사용해 검색하는 쿼리를 작성합니다.
위 내용과 같이 다음 json코드도 파일로 작성해줍니다.

{
  "selector": {
        "lastname" : "Greene",
        "firstname" : "Anna"            
     }        
}

lastname이 Greene이고 firstname이 Anna인 document를 찾는 쿼리입니다.

input:

$ curl -XPOST -k $URL:$PORT/{db name}/_find -H "Content-Type: application/json" -d \@{file name}

output:

{
    "docs":[
    {
        "_id":"doc4",
        "_rev":"1-0923b723c62fe5c15531e0c33e015148",
        "firstname":"Anna",
        "lastname":"Greene",
        "age":44,
        "location":"Baton Rouge, LA"
    }
    ],
    "bookmark": "g1AAAAA4eJzLYWBgYMpgSmHgKy5JLCrJTq2MT8lPzkzJBYqzAFkmIDkOmBxcNAsAq-wPkQ",
    "warning": "no matching index found, create an index to optimize query time"
}

index를 지정해주지 않았기 때문에 warning이 뜹니다.

GUI

Query탭으로 이동해서 위에서 만들었던 json형식 그대로 붙여넣어서 검색합니다.

바로 옆에서 결과를 확인할 수 있습니다.

Search Query -Field

검색 쿼리를 날린 뒤, 결과를 출력할 때 원하는 필드만 출력하는 방법입니다.

쿼리는 다음과 같습니다.

{
"selector": {
  "lastname": "Brown",
  "location": "New York City, NY"
},
"fields": [
  "firstname",
  "lastname",
  "location"
] 
}

lastname이 Brown이고 location이 New York City, NY인 document를 찾고, 필드는 firstname과 lastname 그리고 location만 출력하도록 합니다.

CLI

위 쿼리를 json파일로 만들어줍니다.

input:

$ curl -XPOST -k $URL:$PORT/{db name}/_find -H "Content-Type: application/json" -d \@{file name}

output:

{
    "docs":[
    {
        "firstname":"Sally",
        "lastname":"Brown",
        "location":"New York City, NY"
    },
    {
        "firstname":"John",
        "lastname":"Brown",
        "location":"New York City, NY"
    },
    {
        "firstname":"Lois",
        "lastname":"Brown",
        "location":"New York City, NY"
    }
    ],
    "bookmark": "g1AAAAA4eJzLYWBgYMpgSmHgKy5JLCrJTq2MT8lPzkzJBYqzAFmmIDkOmBxcNAsArAYPkw",
    "warning": "no matching index found, create an index to optimize query time"
}

GUI

Query탭으로 이동해서 상기의 json 쿼리문을 Run시킵니다.

Search Query -Operator

조건문을 쿼리에 포함시키는 방법을 알아보겠습니다.

Cloudant는 Mongo 스타일의 operator를 사용하고 있습니다. 다음 링크를 참조해주세요.
MongoDB Query and Projection Operators

Comparison Operator
$eq	같음
$gt	큼
$gte	크거나 같음
$in	일치하는 값이 있음
$lt	작음
$lte	작거나 같음
$ne	다름
$nin	일치하는 값이 없음

{
  "selector": {
    "age": {
      "$gt": 30
    },
    "lastname": {
      "$eq": "Greene"
    }
  }
}

age는 30보다 크고, lastname은 Greene과 같은 document를 찾습니다.

CLI

input:

$ curl -XPOST -k $URL:$PORT/{db name}/_find -H "Content-Type: application/json" -d \@{file name}

output:

{
    "docs":[
    {
        "_id":"doc3",
        "_rev":"1-f6055e3e09f215c522d45189208a1bdf",
        "firstname":"Greg",
        "lastname":"Greene",
        "age":35,
        "location":"San Diego, CA"
    },
    {
        "_id":"doc4",
        "_rev":"1-0923b723c62fe5c15531e0c33e015148",
        "firstname":"Anna",
        "lastname":"Greene",
        "age":44,
        "location":"Baton Rouge, LA"
    }
    ],
    "bookmark": "g1AAAAA4eJzLYWBgYMpgSmHgKy5JLCrJTq2MT8lPzkzJBYqzAFkmIDkOmBxcNAsAq-wPkQ",
    "warning": "no matching index found, create an index to optimize query time"
}

그런데 json 쿼리문의 조건부가 앞전에 작성했었던 index와 일치하네요! 검색 성능의 향상을 위해 index를 사용하고, 필드를 제한해서 정렬한 뒤 좀 더 깔끔한 결과를 얻어봅시다.

{
"selector": {
  "age": {
     "$gt": 30
  },
  "lastname": {
     "$eq": "Greene"
  }
},
"fields": [
  "age",
  "firstname"
],
"sort": [
  {
     "age": "asc"   
  }
],
"use_index": "_design/partial-index"
}

output2:

{
    "docs":[
        {"age":35,"firstname":"Greg"},
        {"age":44,"firstname":"Anna"}
    ],
    "bookmark": "g1AAAABCeJzLYWBgYMpgSmHgKy5JLCrJTq2MT8lPzkzJBYqzAFkmIDkOmFwOSHWiDkiSzb0oNTUvNSsLAEsmEeQ"
}

GUI

Query탭으로 이동해서 상기의 json 쿼리문을 Run시킵니다.

끝!

Twitter Facebook LinkedIn

GRU

Simple JSON Query for IBM Cloudant

1. Overview

2. Prerequisites

3. IBM Cloudant

4. Basic Query

Add Cloudant Instance

Set ENV

Create DB

CLI

GUI

Create Document

CLI

GUI

Create Index

CLI

GUI

Search Query -Selector

CLI

GUI

Search Query -Field

CLI

GUI

Search Query -Operator

CLI

GUI

공유하기

댓글남기기

참고

[Resolved] No valid client certificate is found but the server is not responsive

호다닥 톺아보는 데이터저장소 친구들(feat. DB,DW,DL,LH)

OVN-kubernetes network migration

Hadoop Basics