データ処理に関する記事とニュース
-
2019/01/11なぜ機械学習にPythonが強いのか、Pythonで並行処理をするコツを伝授【PyData.tokyo】
10月20日に開催された「PyData.tokyo One-day Conference 2018」では、フリーランスのプログラマで、python.jpの管理人もしている石本敦夫氏がPythonやNumPyの歴史とPythonで並行処理を行う時のポイントを解説した。
-
2018/11/26NumPyで使われる多次元配列のデータ構造「ndarray」とは？
Pythonで数値計算を行なうためのライブラリであるNumPyでは、多次元配列を基本的なデータ構造として操作します。この独自のデータ構造を「ndarray」といい、知っておくことでデータ処理の際に高速化や省メモリ化したコードを書けるようになります。今回は『現場で使える！NumPyデータ処理入門』（翔泳社）からndarrayの基礎を紹介します。
-
2017/11/01大規模解析サービスのためのデータベース構成 ～BigTable／BigQueryの弱点をどう補うか？
大規模なデータを扱う解析サービスにおいて、データベースの性質の理解や選定、配置、活用方法などはクリティカルな問題であり、サービスとして大きく差をつくる要素にもなります。本稿では考慮すべきデータベースの性質の違いから始め、解析サービスにおける考え方や活用のテクニック、構成方法について紹介したいと思います。
-
2017/03/13SlackとElasticsearchを連携し、使いやすい検索システムを作成する
前回はSlackのBotを用いて使いやすい検索システムのUIを作成しました。今回はこれまでに作成した検索用のコンテナとUI提供のコンテナを連携し、質問しやすく使い勝手の良い検索システムを作成します。
-
2017/01/27使いたくなる検索システムのUIをSlackBotで実現する
前回はElasticsearchへ大量のデータを効率よく登録できる並列処理を紹介しました。今回はElasticsearchから少し離れて、検索システムを提供する際に重要となるUIについて説明します。そして、開発者で愛用者が多いSlackを用いて単純な返答を行うシステムを作成します。
-
2017/01/17Elasticsearchへの大量データ登録の効率化
前回はElasticsearchを起動し、テンプレートを使った文書の登録から、登録した文書を検索するところまで紹介しました。今回は、大量の文書データを高速に登録するための並列処理について紹介します。
-
2016/12/08データの活用は、あらゆる事業・企業を変革する【Hadoop Summit 2016 Tokyoレポート】
10月26日～27日、東京・新宿のヒルトン東京でHadoop Summitが開催された。48にも及ぶセッションはコミッティーや業界の著名人から選ばれた人たち。技術的に深掘りしたセッションもあれば、ビジネスにどう活かしていくかというビジネスよりのセッションなども用意されていた。オープニングキーノートでは、Hortonworksのストラテジックマーケティング担当バイスプレジデントのジョン・クレイサ氏がモデレータとして登壇。そこからホートンワークスのシャウン・コノリー氏、リクルート・テクノロジーズの...
-
2016/11/22誰もが簡単にデータビジュアライゼーションできる世界を目指して！ 日本発OSSプロジェクト「E2D3」とは
近年、ビッグデータを利活用するためにデータビジュアライゼーションが注目されています。データビジュアライゼーションには、データリテラシーのほか、ウェブサーバやプログラミング言語の知識が必要となりますが、一般ユーザがそれらを使いこなすのは至難の業。仮にエンジニアに開発を依頼したとしても、定期的なデータ更新を必要とするため、リソースやコスト不足が立ちはだかります。そこで、世界で10億人使うといわれ、分析ツールとして最も身近なExcel上でデータビジュアライゼーションを可能にすることを狙い、有志のエン...
-
2016/11/17手軽に説得力のあるデータ分析をするために。統計ツールと見せ方のポイント
本連載では、ITエンジニアが時代の波に飲み込まれず、ITの世界で生き残っていくための知識を解説していきます。第4回のテーマはデータ分析。データは持っているだけでは意味がありません。データベースの作成や管理に携わるエンジニアだからこそ、データの分析方法についての知識や、その活用方法について意識しておく必要があります。分析時の注意点に加え、その結果を提示するときのコツなどについて解説します。
-
2016/11/14Web APIによるデータ連携デザインパターンとツール活用
APIエコノミーやマイクロサービスアーキテクチャ、FintechをはじめとするさまざまなX-Techといった言葉が叫ばれるなか、APIマネジメント企業の買収のニュースといった形で「API」というキーワードを聞くことが増えています。本記事では、さまざまなクラウド上のユニークなサービスが出てきている今、APIを使ったデータ連携で何ができるようになるのか、どんな代表的ユースケースがあるのか、そしてユーザー企業やシステムインテグレーターがよりAPIを利用しやすくするためのツール活用について見ていきまし...
-
2016/11/10価値が上昇し続ける「データ」。データベースの基本はエンジニアの義務教育！
本連載では、ITエンジニアが時代の波に飲み込まれず、ITの世界で生き残っていくための知識を解説していきます。第3回のテーマはデータベース。多くの人がデータの重要性に気づき、大量に集めて有効利用しようとしています。システムと切り離すことのできないデータベースの基礎と、活用のためのポイントを押さえておきましょう。
-
2016/10/31Elasticsearchを用いた日本語検索システムの実装
今回は、前回の記事を踏まえた上でElasticsearchを用いた日本語検索システムの作成方法をサンプルコードを交えて説明します。読者の方の環境でも試せるようにVagrantfileとDockerイメージを用意しているので、実際にお手元で動作を確認しながら読み進めることも可能です。
-
2016/10/28エンジニアがデータサイエンスにも挑戦できる組織を立ち上げたサイバーエージェントの試み
IoT、ビッグデータの時代になり、市場は大量なデータを前提に、必要なハードウェアやソフトウェアを考えるようになった。ソフトウェアエンジニアも、システム設計やコーディングに際して、膨大なデータをどう管理して、どのように利用するのか、データサイエンスのスキルも求められている。サイバーエージェントのメディア事業 アドテクノロジー局では、このようなハイブリッドなスキルをもったエンジニアを育成するため、エンジニアがデータサイエンスにもチャレンジできる組織を立ち上げたという。組織を立ち上げた背景や、エンジ...
-
2016/10/14ブロックチェーンアプリを実際に動かしてみよう！
IBM Bluemixは、PaaS（Platform as a Service）として皆さんに最強の開発環境を提供します。Bluemixの特徴として、開発基盤だけではなく、100を超えるサービス「IBM Watson、ランタイム、IoT、Storage（DB）、アナリティクス、モバイル」など、豊富な開発環境やAPIがシンプルな形で提供されており、より素早くアプリケーションを構築＆運用することが可能です。「IBM Bluemix User Group（BMXUG）リレー寄稿」では、コミュニティの...
-
2016/10/06Elasticsearchを用いた日本語検索システムの理論と設定
本連載は、対話インターフェースを利用して新しい形の検索システムを体験してもらうことを目的としています。今回は日本語検索システムでよく用いられるElasticsearchを紹介します。Elasticsearchは大規模なデータに対しても適用可能な検索機能を提供している全文検索エンジンです。特徴としてスケーラブル、検索速度の速さ、検索結果の分析のしやすさ、開発者にとって使いやすいRESTfulなAPIが挙げられます。今回の記事はElasticsearchを用いた日本語検索システムの仕組みから設定の...
-
2016/08/23BigQuery、IoT、機械学習APIの威力を誰でも簡単に！ 「MAGELLAN BLOCKS」セミナーレポート
Google Cloud Platform（GCP）では、ビッグデータ処理サービスBigQueryや機械学習APIなど、高機能なマネージドサービスが提供されているのが特徴だが、実際の現場において、十分に活用できているケースは多くないのではないだろうか。このGCPの威力を、開発者のみならずビジネスパーソンでさえ、まるでブロックを組み合わせるようにGUIで利用しやすくしたのが、グルーヴノーツの提供する「MAGELLAN BLOCKS」だ。Global Business Hub Tokyoにおいて7...
-
2016/07/07【IBM Datapalooza Tokyo】リクルートのデータサイエンス部門立ち上げで得られた、データ分析事業の3つのポイント
従来の1/50の価格でできる遺伝子検査、体調に応じてサプリメントを毎日調合してくれる箱、天気やその日の気分によって服装のコーディネートを考えてくれるサービス。これらは、ビッグデータの解析によって可能になった新しいサービスやビジネスの一例だ。また、洗剤がなくなったらそのバーコードを読むだけで追加注文ができるデバイス（Amazon Dash）、リーバイスが実験している導電性の生地によるマン・マシンインターフェースといったIoTデバイスがもたらす大量のデータ処理ニーズも高まっている。
