データ処理に関する記事とニュース
-
2019/12/20ディープラーニングを用いた時系列データの予測モデルの作り方
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。第1回では、プロトタイプで想定するサービスが作れるかを検証するPoC（概念実証）の辺りをお伝えします。（編集部）
-
2019/12/06データプラットフォーム「IRIS」からMQTTプロトコルを利用してみる
前回は「まずは動かしてみよう！」と題してInterSystems IRIS Data Platform（以下IRIS）を使ったIoTアプリケーションを紹介しました。まだ試していない方は、ぜひ前回の記事をご覧ください。以降の連載では、そのアプリケーションの開発手順を解説しながら、IRISのさまざまな機能を体験していただきたいと思います。今回は、IoTアプリケーションで使用されることの多いMQTTプロトコルを、IRISから利用する方法について解説します。
-
2019/10/15データプラットフォーム「IRIS」を、まずは動かしてみよう！
前回は、InterSystems IRIS Data Platform（以下IRIS）が誕生した背景やIRISの設計思想などについて説明しました。その中でも述べましたが、IoTの拡がりなどに伴い大量のデータが発生する時代になり、機械学習／AIを活用してデータを分析するニーズが高まっています。真に価値ある成果を引き出すには、データを収集・統合し、高いパフォーマンスでアクセスできるデータプラットフォームが求められます。また、アプリケーションを迅速に開発できることも、データプラットフォームに必要な要...
-
2019/09/19複雑化するソフトウェア開発環境にどう対応するのか―RPA、AI時代のデータ活用、データプラットフォームを考える
AI／機械学習が全盛の時代、急速に変化するIT環境の中で、日々刻々生成される膨大なデータを扱うアプリケーション開発にも、大きな変化が求められます。この連載では、大きく変革するIT環境の中、多種多様で膨大なデータを扱うアプリケーション開発の一つのアプローチとして、インターシステムズ製品を使ったシンプルなアプローチをご紹介します。
-
2019/02/06データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】
新素材の開発や創薬といった材料科学の分野にも、データ科学（機械学習や深層学習）のアプローチが採り入れられるようになってきている。化学式と物性の関係を学習し、望みの性質を持つ材料の候補を導き出す。まだデータ処理手法には課題が多いものの、急速に課題解決が進み、実用化へと向かっている。
-
2019/01/11なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】
10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、python.jpの管理人もしている石本敦夫氏がPythonやNumPyの歴史とPythonで並行処理を行う時のポイントを解説した。
-
2018/11/26NumPyで使われる多次元配列のデータ構造「ndarray」とは？
Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「ndarray」といい、知っておくことでデータ処理の際に高速化や省メモリ化したコードを書けるようになります。今回は『現場で使える！NumPyデータ処理入門』（翔泳社）からndarrayの基礎を紹介します。
-
2017/11/01大規模解析サービスのためのデータベース構成 ～BigTable／BigQueryの弱点をどう補うか？
大規模なデータを扱う解析サービスにおいて、データベースの性質の理解や選定、配置、活用方法などはクリティカルな問題であり、サービスとして大きく差をつくる要素にもなります。本稿では考慮すべきデータベースの性質の違いから始め、解析サービスにおける考え方や活用のテクニック、構成方法について紹介したいと思います。
-
2017/03/13SlackとElasticsearchを連携し、使いやすい検索システムを作成する
前回はSlackのBotを用いて使いやすい検索システムのUIを作成しました。今回はこれまでに作成した検索用のコンテナとUI提供のコンテナを連携し、質問しやすく使い勝手の良い検索システムを作成します。
-
2017/01/27使いたくなる検索システムのUIをSlackBotで実現する
前回はElasticsearchへ大量のデータを効率よく登録できる並列処理を紹介しました。今回はElasticsearchから少し離れて、検索システムを提供する際に重要となるUIについて説明します。そして、開発者で愛用者が多いSlackを用いて単純な返答を行うシステムを作成します。
-
2017/01/17Elasticsearchへの大量データ登録の効率化
前回はElasticsearchを起動し、テンプレートを使った文書の登録から、登録した文書を検索するところまで紹介しました。今回は、大量の文書データを高速に登録するための並列処理について紹介します。
-
2016/12/08データの活用は、あらゆる事業・企業を変革する【Hadoop Summit 2016 Tokyoレポート】
10月26日～27日、東京・新宿のヒルトン東京でHadoop Summitが開催された。48にも及ぶセッションはコミッティーや業界の著名人から選ばれた人たち。技術的に深掘りしたセッションもあれば、ビジネスにどう活かしていくかというビジネスよりのセッションなども用意されていた。オープニングキーノートでは、Hortonworksのストラテジックマーケティング担当バイスプレジデントのジョン・クレイサ氏がモデレータとして登壇。そこからホートンワークスのシャウン・コノリー氏、リクルート・テクノロジーズの...
-
2016/11/22誰もが簡単にデータビジュアライゼーションできる世界を目指して！ 日本発OSSプロジェクト「E2D3」とは
近年、ビッグデータを利活用するためにデータビジュアライゼーションが注目されています。データビジュアライゼーションには、データリテラシーのほか、ウェブサーバやプログラミング言語の知識が必要となりますが、一般ユーザがそれらを使いこなすのは至難の業。仮にエンジニアに開発を依頼したとしても、定期的なデータ更新を必要とするため、リソースやコスト不足が立ちはだかります。そこで、世界で10億人使うといわれ、分析ツールとして最も身近なExcel上でデータビジュアライゼーションを可能にすることを狙い、有志のエン...
-
2016/11/17手軽に説得力のあるデータ分析をするために。統計ツールと見せ方のポイント
本連載では、ITエンジニアが時代の波に飲み込まれず、ITの世界で生き残っていくための知識を解説していきます。第4回のテーマはデータ分析。データは持っているだけでは意味がありません。データベースの作成や管理に携わるエンジニアだからこそ、データの分析方法についての知識や、その活用方法について意識しておく必要があります。分析時の注意点に加え、その結果を提示するときのコツなどについて解説します。
-
2016/11/14Web APIによるデータ連携デザインパターンとツール活用
APIエコノミーやマイクロサービスアーキテクチャ、FintechをはじめとするさまざまなX-Techといった言葉が叫ばれるなか、APIマネジメント企業の買収のニュースといった形で「API」というキーワードを聞くことが増えています。本記事では、さまざまなクラウド上のユニークなサービスが出てきている今、APIを使ったデータ連携で何ができるようになるのか、どんな代表的ユースケースがあるのか、そしてユーザー企業やシステムインテグレーターがよりAPIを利用しやすくするためのツール活用について見ていきまし...
-
2016/11/10価値が上昇し続ける「データ」。データベースの基本はエンジニアの義務教育！
本連載では、ITエンジニアが時代の波に飲み込まれず、ITの世界で生き残っていくための知識を解説していきます。第3回のテーマはデータベース。多くの人がデータの重要性に気づき、大量に集めて有効利用しようとしています。システムと切り離すことのできないデータベースの基礎と、活用のためのポイントを押さえておきましょう。
-
2016/10/31Elasticsearchを用いた日本語検索システムの実装
今回は、前回の記事を踏まえた上でElasticsearchを用いた日本語検索システムの作成方法をサンプルコードを交えて説明します。読者の方の環境でも試せるようにVagrantfileとDockerイメージを用意しているので、実際にお手元で動作を確認しながら読み進めることも可能です。
-
2016/10/28エンジニアがデータサイエンスにも挑戦できる組織を立ち上げたサイバーエージェントの試み
IoT、ビッグデータの時代になり、市場は大量なデータを前提に、必要なハードウェアやソフトウェアを考えるようになった。ソフトウェアエンジニアも、システム設計やコーディングに際して、膨大なデータをどう管理して、どのように利用するのか、データサイエンスのスキルも求められている。サイバーエージェントのメディア事業 アドテクノロジー局では、このようなハイブリッドなスキルをもったエンジニアを育成するため、エンジニアがデータサイエンスにもチャレンジできる組織を立ち上げたという。組織を立ち上げた背景や、エンジ...
-
2016/10/14ブロックチェーンアプリを実際に動かしてみよう！
IBM Bluemixは、PaaS（Platform as a Service）として皆さんに最強の開発環境を提供します。Bluemixの特徴として、開発基盤だけではなく、100を超えるサービス「IBM Watson、ランタイム、IoT、Storage（DB）、アナリティクス、モバイル」など、豊富な開発環境やAPIがシンプルな形で提供されており、より素早くアプリケーションを構築＆運用することが可能です。「IBM Bluemix User Group（BMXUG）リレー寄稿」では、コミュニティの...
-
2016/10/06Elasticsearchを用いた日本語検索システムの理論と設定
本連載は、対話インターフェースを利用して新しい形の検索システムを体験してもらうことを目的としています。今回は日本語検索システムでよく用いられるElasticsearchを紹介します。Elasticsearchは大規模なデータに対しても適用可能な検索機能を提供している全文検索エンジンです。特徴としてスケーラブル、検索速度の速さ、検索結果の分析のしやすさ、開発者にとって使いやすいRESTfulなAPIが挙げられます。今回の記事はElasticsearchを用いた日本語検索システムの仕組みから設定の...
