「データ処理」に関する記事とニュース

複雑化するソフトウェア開発環境にどう対応するのか―RPA、AI時代のデータ活用、データプラットフォームを考える

　AI／機械学習が全盛の時代、急速に変化するIT環境の中で、日々刻々生成される膨大なデータを扱うアプリケーション開発にも、大きな変化が求められま...

2019/09/19

データ科学で求める物質の分子式を生成、マテリアルズ・インフォマティクスとは【PyData.tokyo】

　新素材の開発や創薬といった材料科学の分野にも、データ科学（機械学習や深層学習）のアプローチが採り入れられるようになってきている。化学式と物性の...

2019/02/06

なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】

　10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、pyth...

2019/01/11

NumPyで使われる多次元配列のデータ構造「ndarray」とは？

　Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「n...

2018/11/26

大規模解析サービスのためのデータベース構成 ～BigTable／BigQueryの弱点をどう補うか？

　大規模なデータを扱う解析サービスにおいて、データベースの性質の理解や選定、配置、活用方法などはクリティカルな問題であり、サービスとして大きく差...

2017/11/01

SlackとElasticsearchを連携し、使いやすい検索システムを作成する

　前回はSlackのBotを用いて使いやすい検索システムのUIを作成しました。今回はこれまでに作成した検索用のコンテナとUI提供のコンテナを連携...

2017/03/13

使いたくなる検索システムのUIをSlackBotで実現する

　前回はElasticsearchへ大量のデータを効率よく登録できる並列処理を紹介しました。今回はElasticsearchから少し離れて、検索...

2017/01/27

Elasticsearchへの大量データ登録の効率化

　前回はElasticsearchを起動し、テンプレートを使った文書の登録から、登録した文書を検索するところまで紹介しました。今回は、大量の文書...

2017/01/17

データの活用は、あらゆる事業・企業を変革する【Hadoop Summit 2016 Tokyoレポート】

　10月26日～27日、東京・新宿のヒルトン東京でHadoop Summitが開催された。48にも及ぶセッションはコミッティーや業界の著名人から...

2016/12/08

誰もが簡単にデータビジュアライゼーションできる世界を目指して！ 日本発OSSプロジェクト「E2D3」とは

　近年、ビッグデータを利活用するためにデータビジュアライゼーションが注目されています。データビジュアライゼーションには、データリテラシーのほか、...

2016/11/22

手軽に説得力のあるデータ分析をするために。統計ツールと見せ方のポイント

　本連載では、ITエンジニアが時代の波に飲み込まれず、ITの世界で生き残っていくための知識を解説していきます。第4回のテーマはデータ分析。データ...

2016/11/17

Web APIによるデータ連携デザインパターンとツール活用

　APIエコノミーやマイクロサービスアーキテクチャ、FintechをはじめとするさまざまなX-Techといった言葉が叫ばれるなか、APIマネジメ...

2016/11/14

価値が上昇し続ける「データ」。データベースの基本はエンジニアの義務教育！

　本連載では、ITエンジニアが時代の波に飲み込まれず、ITの世界で生き残っていくための知識を解説していきます。第3回のテーマはデータベース。多く...

2016/11/10

Elasticsearchを用いた日本語検索システムの実装

　今回は、前回の記事を踏まえた上でElasticsearchを用いた日本語検索システムの作成方法をサンプルコードを交えて説明します。読者の方の環...

2016/10/31

エンジニアがデータサイエンスにも挑戦できる組織を立ち上げたサイバーエージェントの試み

　IoT、ビッグデータの時代になり、市場は大量なデータを前提に、必要なハードウェアやソフトウェアを考えるようになった。ソフトウェアエンジニアも、...

2016/10/28

ブロックチェーンアプリを実際に動かしてみよう！

　IBM Bluemixは、PaaS（Platform as a Service）として皆さんに最強の開発環境を提供します。Bluemixの特徴...

2016/10/14

Elasticsearchを用いた日本語検索システムの理論と設定

　本連載は、対話インターフェースを利用して新しい形の検索システムを体験してもらうことを目的としています。今回は日本語検索システムでよく用いられる...

2016/10/06

BigQuery、IoT、機械学習APIの威力を誰でも簡単に！ 「MAGELLAN BLOCKS」セミナーレポート

　Google Cloud Platform（GCP）では、ビッグデータ処理サービスBigQueryや機械学習APIなど、高機能なマネージドサー...

2016/08/23

【IBM Datapalooza Tokyo】リクルートのデータサイエンス部門立ち上げで得られた、データ分析事業の3つのポイント

　従来の1/50の価格でできる遺伝子検査、体調に応じてサプリメントを毎日調合してくれる箱、天気やその日の気分によって服装のコーディネートを考えて...

2016/07/07