データ処理に関する記事とニュース
-
2020/12/18ディープラーニングによる時系列データ予測モデルの問題点を解消する
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。最終回となる今回は、これまでに作成した予測モデルを振り返り、時系列データを用いた予測モデルを作成する際に起きやすい問題とその対応方法をお伝えいたします。（編集部）
-
2020/06/01ディープラーニングによる時系列データ予測モデル――精度を高める2つの方法とは？
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。第3回では、予測モデルの精度を向上させる2つの方法をお伝えいたします。（編集部）
-
2020/05/26IRISのインターオペラビリティ機能を使いこなそう（後編）～OpenAPIを利用したRESTサーバの構築
この連載では、InterSystems IRIS Data Platform（以下IRIS）を使って車載器から発生するデータを扱うIoTアプリケーションの構築方法を紹介しています。これまでの連載をまだご覧いただいていない方は、ぜひこの機会にお試しください。
-
2020/04/27データ分析の前処理を行えるPythonライブラリ「pandas」、最も基本的なデータ構造「シリーズ」を解説
機械学習やデータ分析には、収集したデータを使いやすい形に整える前処理が不可欠です。その際によく利用されるのがPythonのライブラリ「pandas」。今回は『現場で使える！pandasデータ前処理入門』（翔泳社）より、pandasの最も基本的なデータ構造であるシリーズの概要と操作方法について抜粋して紹介します。
-
2020/03/31IRISのインターオペラビリティ機能を使いこなそう（前編）
この連載では、InterSystems IRIS Data Platform（以下IRIS）を使って車載器から発生するデータを扱うIoTアプリケーションの構築方法を紹介しています。これまでの連載をまだご覧いただいていない方は、是非この機会にお試しください。
-
2020/02/14AIサービスの開発に求められる予測性能以外のこととは？データ粒度の詳細化を例に学ぶ
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。第2回では、PoC（概念実証）進行中にサービス性向上のため、当初の目標スコープからの追加・変更があった場合、どのようなことが起こるのかをお伝えします。（編集部）
-
2020/02/03Visual Studio Codeを使ってIRISのクラスを定義してみよう
連載の前回では、InterSystems IRIS Data Platform（以下IRIS）のインターオペラビリティ機能を使ってMQTTブローカに接続する方法をご紹介しました。これまでの連載をまだご覧いただいていない方は、ぜひこの機会にお試しください。今回は、Visual Studio Codeを使ってIRISのクラス定義を行う方法をご紹介したいと思います。
-
2019/12/20ディープラーニングを用いた時系列データの予測モデルの作り方
本稿では、NTTテクノクロスでAIエンジニアとして活躍する筆者が、実際にどのようなことを行っていて、どのような苦労があるのかを、実際に動かして試せる「時系列データの予測モデル作成」の題材を通して、4回にわたってお伝えします。第1回では、プロトタイプで想定するサービスが作れるかを検証するPoC（概念実証）の辺りをお伝えします。（編集部）
-
2019/12/06データプラットフォーム「IRIS」からMQTTプロトコルを利用してみる
前回は「まずは動かしてみよう！」と題してInterSystems IRIS Data Platform（以下IRIS）を使ったIoTアプリケーションを紹介しました。まだ試していない方は、ぜひ前回の記事をご覧ください。以降の連載では、そのアプリケーションの開発手順を解説しながら、IRISのさまざまな機能を体験していただきたいと思います。今回は、IoTアプリケーションで使用されることの多いMQTTプロトコルを、IRISから利用する方法について解説します。
-
2019/10/15データプラットフォーム「IRIS」を、まずは動かしてみよう！
前回は、InterSystems IRIS Data Platform（以下IRIS）が誕生した背景やIRISの設計思想などについて説明しました。その中でも述べましたが、IoTの拡がりなどに伴い大量のデータが発生する時代になり、機械学習／AIを活用してデータを分析するニーズが高まっています。真に価値ある成果を引き出すには、データを収集・統合し、高いパフォーマンスでアクセスできるデータプラットフォームが求められます。また、アプリケーションを迅速に開発できることも、データプラットフォームに必要な要...
-
2019/09/19複雑化するソフトウェア開発環境にどう対応するのか―RPA、AI時代のデータ活用、データプラットフォームを考える
AI／機械学習が全盛の時代、急速に変化するIT環境の中で、日々刻々生成される膨大なデータを扱うアプリケーション開発にも、大きな変化が求められます。この連載では、大きく変革するIT環境の中、多種多様で膨大なデータを扱うアプリケーション開発の一つのアプローチとして、インターシステムズ製品を使ったシンプルなアプローチをご紹介します。
-
2019/02/06データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】
新素材の開発や創薬といった材料科学の分野にも、データ科学（機械学習や深層学習）のアプローチが採り入れられるようになってきている。化学式と物性の関係を学習し、望みの性質を持つ材料の候補を導き出す。まだデータ処理手法には課題が多いものの、急速に課題解決が進み、実用化へと向かっている。
-
2019/01/11なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】
10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、python.jpの管理人もしている石本敦夫氏がPythonやNumPyの歴史とPythonで並行処理を行う時のポイントを解説した。
-
2018/11/26NumPyで使われる多次元配列のデータ構造「ndarray」とは？
Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「ndarray」といい、知っておくことでデータ処理の際に高速化や省メモリ化したコードを書けるようになります。今回は『現場で使える！NumPyデータ処理入門』（翔泳社）からndarrayの基礎を紹介します。
-
2017/11/01大規模解析サービスのためのデータベース構成 ～BigTable／BigQueryの弱点をどう補うか？
大規模なデータを扱う解析サービスにおいて、データベースの性質の理解や選定、配置、活用方法などはクリティカルな問題であり、サービスとして大きく差をつくる要素にもなります。本稿では考慮すべきデータベースの性質の違いから始め、解析サービスにおける考え方や活用のテクニック、構成方法について紹介したいと思います。
-
2017/03/13SlackとElasticsearchを連携し、使いやすい検索システムを作成する
前回はSlackのBotを用いて使いやすい検索システムのUIを作成しました。今回はこれまでに作成した検索用のコンテナとUI提供のコンテナを連携し、質問しやすく使い勝手の良い検索システムを作成します。
-
2017/01/27使いたくなる検索システムのUIをSlackBotで実現する
前回はElasticsearchへ大量のデータを効率よく登録できる並列処理を紹介しました。今回はElasticsearchから少し離れて、検索システムを提供する際に重要となるUIについて説明します。そして、開発者で愛用者が多いSlackを用いて単純な返答を行うシステムを作成します。
-
2017/01/17Elasticsearchへの大量データ登録の効率化
前回はElasticsearchを起動し、テンプレートを使った文書の登録から、登録した文書を検索するところまで紹介しました。今回は、大量の文書データを高速に登録するための並列処理について紹介します。
-
2016/12/08データの活用は、あらゆる事業・企業を変革する【Hadoop Summit 2016 Tokyoレポート】
10月26日～27日、東京・新宿のヒルトン東京でHadoop Summitが開催された。48にも及ぶセッションはコミッティーや業界の著名人から選ばれた人たち。技術的に深掘りしたセッションもあれば、ビジネスにどう活かしていくかというビジネスよりのセッションなども用意されていた。オープニングキーノートでは、Hortonworksのストラテジックマーケティング担当バイスプレジデントのジョン・クレイサ氏がモデレータとして登壇。そこからホートンワークスのシャウン・コノリー氏、リクルート・テクノロジーズの...
-
2016/11/22誰もが簡単にデータビジュアライゼーションできる世界を目指して！ 日本発OSSプロジェクト「E2D3」とは
近年、ビッグデータを利活用するためにデータビジュアライゼーションが注目されています。データビジュアライゼーションには、データリテラシーのほか、ウェブサーバやプログラミング言語の知識が必要となりますが、一般ユーザがそれらを使いこなすのは至難の業。仮にエンジニアに開発を依頼したとしても、定期的なデータ更新を必要とするため、リソースやコスト不足が立ちはだかります。そこで、世界で10億人使うといわれ、分析ツールとして最も身近なExcel上でデータビジュアライゼーションを可能にすることを狙い、有志のエン...
