大規模データ処理に関する記事とニュース
-
2019/07/25GCPでリアルタイムデータ基盤を内製――ユーザー体験を向上させる事例の紹介
スキマ時間で情報を収集できるスマートフォンの普及に伴い、Web上でリアルタイムに接客するニーズは高まる一方です。本連載ではその流れに対応するべく、リアルタイムなストリームデータ活用を実現する基盤（hacci：ハッチ）を内製した事例を紹介します。第1回では基盤に用いられた技術やアーキテクチャについて解説しました。第2回となる本稿ではリアルタイムデータ基盤の実際の導入事例や、今後の展望をお伝えします。
-
2017/02/09Apache Hadoop/Sparkの実技試験でビッグデータを扱うスキルを証明できるClouderaの認定資格
Apache Hadoop（以下、Hadoop）は誕生から10年を越え、日本でもいよいよ本格的な実用化の段階へと進みつつある。これはHadoopのスキルを持つ優位性も増しつつあることを意味する。本稿では、Hadoopの商用ベンダとしていち早く設立されたClouderaの日本法人から、Cloudera University Japan トレーニングマネージャー兼シニアインストラクター 川崎達夫氏にインタビューを行い、Hadoopの現状や、同社が提供しているHadoopのトレーニング、認定資格につ...
-
2017/02/08試して納得！ IBM Watson Data Platform 〜 データサイエンティストからアプリ開発者までのコラボを実現し、価値創出サイクルを加速するデータ分析基盤
「ビッグデータ」は黎明期を過ぎ、本格的な発展期を迎えました。取り組みも「収集したビッグデータを可視化して課題の抽出・解決を図る」という単純なものから「分析結果をもとに未来を予測し、ビジネスの最適化、新しい価値の創出につなげる」といった、より複雑なものへと変化しつつあります。こうした変化を見極めたIBMは、データから価値を引き出し、企業の変革をリードするデータ分析基盤として「IBM Watson Data Platform」を発表しました。本稿では、その概要やメリットとともに、データサイエンティ...
-
2016/11/18Cloudera、Apache Sparkの利用に関する調査結果を発表、既存ユーザーの64％が利用拡大を計画
Apache Hadoop（以下、Hadoop）やApache Spark（以下、Spark）ベースのデータ管理・分析製品を開発するClouderaは11月8日、今年10月に米国の調査会社Taneja Groupsと共に実施したビッグデータに対するSparkの利用状況に関する調査結果を発表。Apache Sparkをすでに使用している人の64％が今後12か月でその適用を大幅に拡大したいと回答したという。11月8日に東京・港区のANAインターコンチネンタルホテル東京で開催されたClouderaの...
-
2016/10/05Apache Sparkによるスケーラブル機械学習入門
IBM Bluemixは、PaaS（Platform as a Service）として皆さんに最強の開発環境を提供します。Bluemixの特徴として、開発基盤だけではなく、100を超えるサービス「IBM Watson、ランタイム、IoT、Storage（DB）、アナリティクス、モバイル」など、豊富な開発環境やAPIがシンプルな形で提供されており、より素早くアプリケーションを構築＆運用することが可能です。「IBM Bluemix User Group（BMXUG）リレー寄稿」では、コミュニティの...
-
2015/09/02CTOに訊く、「検索」でサービスの可能性を切り開く技術革新「Elasticsearch」
FacebookやLinkedIn、GitHubといった著名企業が導入し、開発会社が昨年7000万ドルの資金調達をしたことでも注目を集めているオープンソースの全文検索エンジン「Elasticsearch（エラスティックサーチ）」。このソリューションの魅力はどこにあり、どこを目指しているのか。7月末に来日したElasticsearch社CTOのシャイ・バノン（Shay Banon）氏に、国内でElasticsearchを本格的に活用した求人検索エンジン「スタンバイ」を展開しているビズリーチCTO...
-
2015/07/24検索技術と自然言語処理技術を駆使して話題のトピックをひとまとめ ～はてなブックマークのトピックページの作り方
本連載は、はてなエンジニアが、はてなのサービスを支えている技術や日頃注目している技術について解説するものです。今回は、はてなブックマークの10周年記念の第1弾として開発した、「トピックページ」の作り方について紹介します。全文検索エンジン「Elasticsearch」、日本語係り受け解析器である「CaboCha」などを活用し、話題となっているトピックの抽出と、トピックタイトルの自動生成を行います。
