製品をチェック

Apache Kafka Data Provider の30日間無償トライアルをダウンロード

 30日間の無償トライアルへ

製品の詳細

Apache Kafka アイコン Apache Kafka ADO.NET Provider 相談したい

Apache Kafka データに連携する.NET アプリケーションを素早く、簡単に開発できる便利なドライバー。

Kafka をSSIS 経由でSQL サーバーにバックアップする

Kafka 用のCData ADO.NET プロバイダーを使用して簡単にSQL サーバーへデータをバックアップします。ここでは、Kafka をデータベースに入力する際、SSIS ワークフローを使用します。

加藤龍彦
デジタルマーケティング

最終更新日:2022-04-12

こんにちは!ウェブ担当の加藤です。マーケ関連のデータ分析や整備もやっています。

Kafka 用のCData ADO.NET プロバイダーはKafka をバックアップ、レポート、フルテキスト検索、分析などを行うアプリケーションに接続します。

ここでは、SQL サーバー SSIS ワークフロー内でKafka 用のプロバイダーを使用して、Kafka をMicrosoft SQL サーバーデータベースに直接転送する方法を説明します。 以下のアウトラインと同じ手順を、CData ADO.NET データプロバイダーにて使用することで、SSIS 経由でSQL サーバーを直接リモートデータに接続できます。

  1. Visual Studio を開き、新しいIntegration サービスプロジェクトを追加します。
  2. ツールボックスからControl Flow 画面へ、新しいData Flow タスクを追加します。
  3. Data Flow 画面で、ツールボックスから[ADO.NET Source] と[OLE DB Destination] を追加します。

    The components used in the data task in this example.
  4. 新しい接続を追加し、Kafka 2015 用の .NET プロバイダー\CData ADO.NET プロバイダーを選択します。
  5. Connection Manager で、Kafka 用に接続の詳細を入力します。下は一般的な接続文字列です。

    User=admin;Password=pass;BootStrapServers=https://localhost:9091;Topic=MyTopic;

    BootstrapServers およびTopic プロパティを設定して、Apache Kafka サーバーのアドレスと、対話するトピックを指定します。

    認可メカニズム

    • SASL PlainUser およびPassword プロパティを指定する必要があります。AuthScheme は'Plain' に設定します。
    • SASL SSLUser およびPassword プロパティを指定する必要があります。AuthScheme は'Scram' に、UseSSL はtrue に設定します。
    • SSLSSLCert およびSSLCertPassword プロパティを指定する必要があります。UseSSL はtrue に設定します。
    • KerberosUser およびPassword プロパティを指定する必要があります。AuthScheme は'Kerberos' に設定します。

    サーバー証明書を信頼する必要がある場合があります。そのような場合は、必要に応じてTrustStorePath およびTrustStorePassword を指定してください。

    Connection properties in the Connection Manager dialog.(Salesforce is shown.)
  6. DataReader editor を開き、次のインフォメーションを設定します。

    • ADO.NET 接続マネージャー:Connection Manager のメニューで、先ほど作成した[Data Connection] を選択します。
    • データアクセスモード:[SQL command] を選択します。
    • SQL command テキスト:DataReader Source editor で、Component Properties タブを開き、下にあるようなSELECT command を入力します。

      SELECT Id, Column1 FROM SampleTable_1 WHERE Column2 = '100'

    The connection and query specified in the source component properties.(Salesforce is shown.)
  7. DataReader editor を閉じ、DataReader Source の下の矢印をドラッグして、OLE DB Destination に接続します。
  8. OLE DB Destination を開き、Destination Component Editor で次のインフォメーションを入力します。

    • コネクションマネージャー:新しい接続を追加します。接続するサーバーおよびデータベースの情報を入力します。ここでは、SQLExpress は他のマシンで運用中です。
    • データアクセスモード:データアクセスモードを[table or view] に設定し、データベースに入力するテーブルまたはビューを選択します。
  9. Mappings 画面で必要なプロパティを設定します。

    Input and destination columns in the OLE DB Destination Editor.
  10. OLE DB Destination Editor を閉じ、プロジェクトを始動します。SSIS タスクの実行が完了すれば、 Kafka から取得したデータが、データベースに入力されます。

関連コンテンツ

トライアル・お問い合わせ

30日間無償トライアルで、CData のリアルタイムデータ連携をフルにお試しいただけます。記事や製品についてのご質問があればお気軽にお問い合わせください。