Kinectで人体を認識して棒人間を動かすサンプル

前ページからの続きです。

骨格と接合部分を描画する

DrawBoneメソッドで、「胴体」「左腕」「右腕」「左脚」「右脚」を描いていきます。

接合部分をJoint型の繰り返し変数myJointで反復処理しながら、以下の処理を行います。

接合部分が追跡されている場合は、Brushクラス型の変数drawBrushにメンバ変数[追跡された関節のブラシ]のブラシを指定します。

接合部分が推測されている場合は、メンバ変数推測された関節のブラシ（黄色）を指定します。DrawingContext.DrawEllipse メソッドで、指定した Brush および Pen を使用して楕円を描画します。書式は下記の通りです。

DrawingContext.DrawEllipse（楕円の塗りつぶしに使用するブラシ[これは省略可能であり、Nothing を指定できます], 楕円のストロークを描画する際に使用するペン[これは省略可能であり、Nothing を指定できます], 楕円の中心の位置, 楕円の横半径, 楕円の縦半径）

「楕円の塗りつぶしに使用するブラシ」には変数のdrawBrushの値を指定します。「楕円のストロークを描画する際に使用するペン」にはNothingを指定し、「楕円の中心の位置」には、スケルトンポイントを出力する、SkeletonPointToScreen関数の戻り値を指定します。

「楕円の横半径」と「楕円の縦半径」にはメンバ定数変数[関節の太さ]の3を指定します。

  Private Sub DrawBonesAndJoints(ByVal skeleton As Skeleton, ByVal drawingContext As DrawingContext)
  　　　　
    ‘胴体
    DrawBone(skeleton, drawingContext, JointType.Head, JointType.ShoulderCenter)
    DrawBone(skeleton, drawingContext, JointType.ShoulderCenter, JointType.ShoulderLeft)
    DrawBone(skeleton, drawingContext, JointType.ShoulderCenter, ｓ)
    DrawBone(skeleton, drawingContext, JointType.ShoulderCenter, JointType.Spine)
    DrawBone(skeleton, drawingContext, JointType.Spine, JointType.HipCenter)
    DrawBone(skeleton, drawingContext, JointType.HipCenter, JointType.HipLeft)
    DrawBone(skeleton, drawingContext, JointType.HipCenter, JointType.HipRight)

    '左腕
    DrawBone(skeleton, drawingContext, JointType.ShoulderLeft, JointType.ElbowLeft)
    DrawBone(skeleton, drawingContext, JointType.ElbowLeft, JointType.WristLeft)
    DrawBone(skeleton, drawingContext, JointType.WristLeft, JointType.HandLeft)
 
    ' 右腕
    DrawBone(skeleton, drawingContext, JointType.ShoulderRight, JointType.ElbowRight)
    DrawBone(skeleton, drawingContext, JointType.ElbowRight, JointType.WristRight)
    DrawBone(skeleton, drawingContext, JointType.WristRight, JointType.HandRight)
   
    '左脚
    DrawBone(skeleton, drawingContext, JointType.HipLeft, JointType.KneeLeft)
    DrawBone(skeleton, drawingContext, JointType.KneeLeft, JointType.AnkleLeft)
    DrawBone(skeleton, drawingContext, JointType.AnkleLeft, JointType.FootLeft)
 
    ' 右脚
    DrawBone(skeleton, drawingContext, JointType.HipRight, JointType.KneeRight)
    DrawBone(skeleton, drawingContext, JointType.KneeRight, JointType.AnkleRight)
    DrawBone(skeleton, drawingContext, JointType.AnkleRight, JointType.FootRight)
 
    For Each myJoint As Joint In skeleton.Joints
      Dim drawBrush As Brush = Nothing
 
      If myJoint.TrackingState = JointTrackingState.Tracked Then
        drawBrush = 追跡された関節のブラシ
      ElseIf  myJoint.TrackingState = JointTrackingState.Inferred Then
        drawBrush = 推測された関節のブラシ
      End If

      If drawBrush Is Nothing = False Then
        drawingContext.DrawEllipse(drawBrush, Nothing, SkeletonPointToScreen(myJoint.Position), 関節の太さ, 関節の太さ)
      End If
    Next
  End Sub

スケルトンポイントを出力する関数

距離カメラのX-Y座標データを表す、DepthImagePoint構造体の変数depthPointを宣言し、MapSkeletonPointToDepthメソッドで、スケルトンの座標を、距離カメラの座標に変換します。距離カメラの解像度は640×480で、1秒当たり30フレームとなります。

レンダー領域を制限し、距離カメラのxとy座標を戻り値とします。

  Private Function SkeletonPointToScreen(ByVal skelpoint As SkeletonPoint) As Point
    Dim depthPoint As DepthImagePoint = newSensor.MapSkeletonPointToDepth(skelpoint, DepthImageFormat.Resolution640x480Fps30)
    Dim x As Double = depthPoint.X
    If x > ScreenWidth Then
      x = ScreenWidth
    ElseIf x < 0 Then
      x = 0
    End If
 
    Dim y As Double = depthPoint.Y
    If y > ScreenHeight Then
      y = ScreenHeight
    ElseIf y < 0 Then
      y = 0
    End If
    Return New Point(x, y)
  End Function

骨格と接合部分を描画するメソッド

スケルトンの部位を特定する、Joint型の変数myJoint0を宣言します。同様にmyJoint1変数を宣言します。これらの関節のいずれかを見つけることができない場合は、終了します。両方のポイントが推論される場合は描画しません。

Penクラス型の変数drawPenを宣言し、メンバ変数[推測された骨のペン色と幅]（Navyで幅10）で初期化しておきます。

両方の接合部位が追跡されている場合は、変数drawPenにメンバ変数[追跡された骨のペン色と幅]（赤で幅6）で初期化します。

DrawingContext.DrawLine メソッドで、指定したPenを使用して、指定した Points の間の線を描画します。書式は下記の通りです。

DrawingContext.DrawLine（線のストロークを描画する際に使用するペン, 線の開始点, 線の終点）

「線のストロークを描画する際に使用するペン」にはPen型の変数drawPenを指定します。「線の開始点」と「線の終点」には、スケルトンポイントを出力する関数SkeletonPointToScreenに、引数として、それぞれの関節の位置を渡して取得できる、戻り値を指定します。

  Private Sub DrawBone(ByVal skeleton As Skeleton, ByVal drawingContext As DrawingContext, ByVal jointType0 As JointType, ByVal jointType1 As JointType)
    Dim myJoint0 As Joint = skeleton.Joints(jointType0)
    Dim myJoint1 As Joint = skeleton.Joints(jointType1)
 
    If myJoint0.TrackingState = JointTrackingState.NotTracked OrElse myJoint1.TrackingState = JointTrackingState.NotTracked Then
      Return
    End If
    If myJoint0.TrackingState = JointTrackingState.Inferred AndAlso myJoint1.TrackingState = JointTrackingState.Inferred Then
      Return
    End If
 
    Dim drawPen As Pen = 推測された骨のペン色と幅
    If myJoint0.TrackingState = JointTrackingState.Tracked AndAlso myJoint1.TrackingState = JointTrackingState.Tracked Then
      drawPen = 追跡された骨のペン色と幅
    End If
    
    drawingContext.DrawLine(drawPen, SkeletonPointToScreen(myJoint0.Position), SkeletonPointToScreen(myJoint1.Position))
  End Sub

Kinect センサーを停止する処理

Kinectセンサーが動作している場合は、イベントとイベント ハンドラの関連付けを解除します。Kinectセンサーの動作を停止し、リソースを解放します。

  Private Sub StopKinect(sensor As KinectSensor)
    If sensor Is Nothing = False Then
      If sensor.IsRunning = True Then
        RemoveHandler sensor.SkeletonFrameReady, AddressOf SkeletonsReady
        sensor.Stop()
        sensor.Dispose()
      End If
    End If
  End Sub
End Class

今回のサンプルは以上で終了です。このサンプルを応用すれば、自分の動きにあわせてXboxのゲームのようにアバターが動くアプリが作れるかもしれませんね。棒人間が動くだけでも十分楽しいので、ぜひチャレンジしてみてください。

それでは、次回もお楽しみに。