Mac 画面を Android Pad にキャストするアーキテクチャ実装

┌─ Source 端（Mac）──────────────────────────────────────────────────────┐
│                                                                         │
│  ┌─ プラットフォーム層 ──────────────────────────────────────────────┐ │
│  │  仮想ディスプレイ (CGVirtualDisplay) → 画面キャプチャ (CGDisplayStream) │
│  │       ↓ IOSurface → CVPixelBuffer → CMSampleBuffer                │
│  │  VideoToolbox ハードウェアエンコード (H.265/H.264)                  │
│  └────────────────────────────┬──────────────────────────────────────┘ │
│                               ▼                                         │
│  ┌─ キャスト伝送 SDK (Server モード) ──────────────────────────────┐ │
│  │  RTSP + RTP → AES 暗号化 → MPT 転送層 → 送信                    │
│  │  ← Pad からのフィードバック受信：パケットロス率 / IDR 要求         │
│  └──────────────────────────────────────────────────────────────┘     │
└──────────────────────────────────┬─────────────────────────────────────┘
                                   │ Wi-Fi
                                   ▼
┌─ Sink 端（Android Pad）────────────────────────────────────────────────┐
│  ┌─ キャスト伝送 SDK (Client モード) ───────────────────────────────┐ │
│  │  受信 → 復号 → RTP 再構成 → デコードコールバック                    │
│  │  → Source へフィードバック：パケットロス率統計 / IDR 要求           │
│  └────────────────────────────┬─────────────────────────────────────┘ │
│                               ▼                                         │
│  ┌─ プラットフォーム層（Android）─────────────────────────────────────┐ │
│  │  動画デコード（ハードウェア）→ レンダリング → 画面表示               │
│  │  逆操作：タッチキャプチャ → HID エンコード → Protobuf → キャスト伝送 SDK 送信 │
│  └────────────────────────────────────────────────────────────────┘ │
└──────────────────────────────────────────────────────────────────────────┘

物理ディスプレイ (2560x1440)    仮想ディスプレイ (1920x1080)
┌─────────────────────┐        ┌──────────────────┐
│                     │        │                  │
│     メイン作業領域    │        │  Pad 拡張デスクトップ│
│                     │        │                  │
└─────────────────────┘        └──────────────────┘

CGVirtualDisplayDescriptor *descriptor = [[CGVirtualDisplayDescriptor alloc] init];
descriptor.name = @"Virtual Display";
descriptor.maxPixelsWide = 3840;
descriptor.maxPixelsHigh = 2160;
descriptor.productID = 0x1234;
descriptor.vendorID = 0x3456;
descriptor.serialNum = 0x0001;

// 物理サイズは PPI から計算
CGFloat pixelsPerMillimeter = 110.0 / 25.4;  // 約 110 PPI
descriptor.sizeInMillimeters = CGSizeMake(
    ceil(scaledWidth / pixelsPerMillimeter),
    ceil(scaledHeight / pixelsPerMillimeter));

CGVirtualDisplaySettings *settings = [[CGVirtualDisplaySettings alloc] init];
settings.hiDPI = 1;
settings.modes = @[
    [[CGVirtualDisplayMode alloc] initWithWidth:scaledWidth
                                         height:scaledHeight
                                    refreshRate:60],
    // フォールバック解像度
    [[CGVirtualDisplayMode alloc] initWithWidth:scaledWidth * 4 / 5
                                         height:scaledHeight * 4 / 5
                                    refreshRate:60],
];

CGVirtualDisplay *virtualDisplay = [[CGVirtualDisplay alloc] initWithDescriptor:descriptor];
BOOL success = [virtualDisplay applySettings:settings];
CGDirectDisplayID displayID = virtualDisplay.displayID;

NSDictionary *options = @{
    (id)kCGDisplayStreamShowCursor: @YES,
    (id)kCGDisplayStreamQueueDepth: @5
};

CGDisplayStreamRef displayStream = CGDisplayStreamCreateWithDispatchQueue(
    displayID,
    width, height,
    kCVPixelFormatType_420YpCbCr8BiPlanarVideoRange,  // NV12
    (__bridge CFDictionaryRef)options,
    streamQueue,  // シリアルキュー
    ^(CGDisplayStreamFrameStatus status,
      uint64_t displayTime,
      IOSurfaceRef frameSurface,
      CGDisplayStreamUpdateRef updateRef) {

        if (status != kCGDisplayStreamFrameStatusFrameComplete || !frameSurface) {
            return;
        }

        // IOSurface → CVPixelBuffer → CMSampleBuffer（ゼロコピー）
        CVPixelBufferRef pixelBuffer = NULL;
        CVPixelBufferCreateWithIOSurface(kCFAllocatorDefault, frameSurface, NULL, &pixelBuffer);

        CMTime pts = CMTimeMake(CACurrentMediaTime() * 1000000, 1000000);
        CMSampleBufferRef sampleBuffer = NULL;
        CMSampleBufferCreateForImageBuffer(kCFAllocatorDefault, pixelBuffer,
            YES, NULL, NULL, formatDesc, &timingInfo, &sampleBuffer);

        // エンコーダにコールバック
        callback(sampleBuffer);

        CFRelease(sampleBuffer);
        CVPixelBufferRelease(pixelBuffer);
    }];

// ファイルレベルの static 変数、ミラーリング切り替え処理中かどうかをマーク（再入防止）
static BOOL isHandlingDisplayChange = NO;

// 再設定コールバックを監視
CGDisplayRegisterReconfigurationCallback(reconfigCallback, (void *)displayID);

static void reconfigCallback(CGDirectDisplayID display,
                             CGDisplayChangeSummaryFlags flags,
                             void *userInfo) {
    CGDirectDisplayID targetID = (CGDirectDisplayID)(uintptr_t)userInfo;
    if (display != targetID || isHandlingDisplayChange) return;

    if (CGDisplayIsInMirrorSet(display)) {
        isHandlingDisplayChange = YES;
        // 強制的にミラーモードを解除
        CGDisplayConfigRef configRef;
        CGBeginDisplayConfiguration(&configRef);
        CGConfigureDisplayMirrorOfDisplay(configRef, display, kCGNullDirectDisplay);
        CGCompleteDisplayConfiguration(configRef, kCGConfigurePermanently);
        isHandlingDisplayChange = NO;
    }
}

CGDisplayStream が CMSampleBuffer (NV12) をキャプチャ
       ↓
VTVideoEncoder.encodeFrame()
       ↓
VTCompressionSessionEncodeFrame() → エンコード出力 CMSampleBuffer (H.264/H.265)
       ↓
processEncodedFrame():
  - キーフレーム：SPS/PPS/VPS パラメータセットを挿入
  - AVCC 形式 → Annex-B 形式（長さプレフィックス → startcode 0x00000001）
       ↓
frameCallback_() → MCServer.write() → キャスト伝送 SDK → ネットワーク

class VTVideoEncoder {
    VTCompressionSessionRef session_{nullptr};

    void encodeFrame(CMSampleBufferRef sampleBuffer) {
        OSStatus status = VTCompressionSessionEncodeFrame(
            session_, pixelBuffer, pts, kCMTimeInvalid, nullptr, nullptr, &infoFlags);

        // GPU リセット後のみ 1 回再構築、唯一の異常パスをカバー
        if (status == kVTInvalidSessionErr || status == kVTCompressionSessionHardwareError) {
            destroySession(session_);
            createSession(session_);
            status = VTCompressionSessionEncodeFrame(
                session_, pixelBuffer, pts, kCMTimeInvalid, nullptr, nullptr, &infoFlags);
        }
        if (status != noErr) {
            // フレームドロップ + ログ出力、キャプチャスレッドはブロックしない
        }
    }
};

void configureEncoderProperties(VTCompressionSessionRef session) {
    // 1. RealTime モード — エンコード速度を優先
    VTSessionSetProperty(session, kVTCompressionPropertyKey_RealTime, kCFBooleanTrue);

    // 2. B フレームの並べ替えを禁止 — エンコーダ内部のバッファ遅延を排除
    VTSessionSetProperty(session, kVTCompressionPropertyKey_AllowFrameReordering, kCFBooleanFalse);

    // 3. エンコーダ遅延を制限 — 最大 1 フレームの参照を保持
    int32_t maxFrameDelay = 1;
    VTSessionSetProperty(session, kVTCompressionPropertyKey_MaxFrameDelayCount,
        CFNumberCreate(nullptr, kCFNumberSInt32Type, &maxFrameDelay));

    // 4. キーフレーム間隔 — 画面キャストは静止画主体、長い GOP でキーフレームのオーバーヘッド削減
    int32_t gopSize = 15000;
    VTSessionSetProperty(session, kVTCompressionPropertyKey_MaxKeyFrameInterval,
        CFNumberCreate(nullptr, kCFNumberSInt32Type, &gopSize));
    VTSessionSetProperty(session, kVTCompressionPropertyKey_MaxKeyFrameIntervalDuration,
        CFNumberCreate(nullptr, kCFNumberFloatType, (float[]){300.0f}));

    // 5. エンコード品質 — 0.7、画質とエンコード速度のバランス
    float quality = 0.7;
    VTSessionSetProperty(session, kVTCompressionPropertyKey_Quality,
        CFNumberCreate(nullptr, kCFNumberFloat32Type, &quality));
}

// Table-driven — 解像度ごとに異なる bit/pixel 係数を使用
struct BitrateConfig {
    int maxPixels;
    double hevcFactor;  // H.265 は圧縮率が高く、係数が小さい
    double h264Factor;
};

const BitrateConfig configs[] = {
    {  640*480,  2.5, 4.0 },   // 480p
    { 1280*720,  2.2, 3.5 },   // 720p
    {1920*1080,  2.0, 3.0 },   // 1080p
    {3200*2136,  1.8, 2.8 },   // 3K
    {3840*2160,  1.8, 2.5 },   // 4K
    { INT_MAX,   1.5, 2.0 }    // >4K
};

// 基本ビットレート = pixelCount × factor
int64_t baseBitrate = static_cast<int64_t>(pixelCount * factor);

// 動的範囲：基本ビットレートの 40% ~ 150%
int64_t minBitrate = baseBitrate * 0.4;
int64_t maxBitrate = baseBitrate * 1.5;

CFArrayRef range = CFArrayCreate(...);
VTSessionSetProperty(session, kVTCompressionPropertyKey_DataRateLimits, range);

float frameRate = 0.0f;
VTSessionSetProperty(session, kVTCompressionPropertyKey_ExpectedFrameRate,
    CFNumberCreate(nullptr, kCFNumberFloat32Type, &frameRate));

void adjustResolutionByCPU(int32_t& width, int32_t& height) {
    auto cpuType = CPUInfo::getCPUType();
    double scale = 1.0;

    if (cpuType <= CPUType::IntelI5)       scale = (width <= 1920) ? 0.8  : 0.73;
    else if (cpuType <= CPUType::IntelI7)  scale = (width <= 2560) ? 0.9  : 0.8;
    // Apple Silicon 全シリーズの Media Engine 性能は十分であり、解像度を下げる必要なし

    width  = static_cast<int32_t>(ceil(width * scale));
    height = static_cast<int32_t>(ceil(height * scale));
}

void processEncodedFrame(CMSampleBufferRef sampleBuffer, bool isKeyFrame) {
    static const uint8_t startCode[] = {0x00, 0x00, 0x00, 0x01};
    std::vector<uint8_t> fullPacket;

    // キーフレーム：まずパラメータセットを挿入（SPS/PPS/VPS）
    if (isKeyFrame) {
        auto paramSets = getParameterSets(formatDesc);
        for (auto& ps : paramSets) {
            fullPacket.insert(end, startCode, startCode + 4);
            fullPacket.insert(end, ps.begin(), ps.end());
        }
    }

    // NAL ユニット：長さプレフィックス → startcode
    char* data; size_t totalLen;
    CMBlockBufferGetDataPointer(blockBuffer, 0, nullptr, &totalLen, &data);

    size_t offset = 0;
    while (offset < totalLen) {
        uint32_t naluLen;
        memcpy(&naluLen, data + offset, 4);
        naluLen = CFSwapInt32BigToHost(naluLen);  // ビッグエンディアン → ホストバイトオーダー

        fullPacket.insert(end, startCode, startCode + 4);
        fullPacket.insert(end, data + offset + 4, data + offset + 4 + naluLen);
        offset += 4 + naluLen;
    }

    // キャスト伝送 SDK にコールバック
    frameCallback_(fullPacket.data(), fullPacket.size(), pts);
}

message HIDReport {
  oneof input {
    HIDKeyboard   keyboard    = 1;
    HIDMouse      mouse       = 2;
    HIDTouchScreen touch_screen = 3;
    HIDStylus     stylus      = 4;
  }
}

message HIDMouse {
  float x = 1;          // 正規化座標 (0.0-1.0)
  float y = 2;
  int32 scroll_y = 3;
  enum ButtonFlag {
    NONE  = 0;
    LEFT  = 1;
    RIGHT = 2;
    WHEEL = 3;
    HOVER = 4;
  }
  ButtonFlag button_flag = 4;
}

HIDDispatcher.handleHIDReport(report, displayID)
  ├─ has_keyboard()    → KeyboardEventSimulator
  │   └─ Android KeyCode → CGKeyCode マッピング → CGEventPost
  ├─ has_mouse()       → MouseEventSimulator
  │   ├─ 移動           → CGEvent(kCGEventMouseMoved)
  │   ├─ 左/右クリック   → CGEvent(kCGEventLeftMouseDown/Up)
  │   ├─ ドラッグ        → mouseMoved + isDrag
  │   └─ スクロール      → CGEventCreateScrollWheelEvent
  ├─ has_touch_screen() → TouchGestureRecognizer
  │   └─ 単/複数指 → tap/doubleTap/scroll/pinch → マウスイベントにマッピング
  └─ has_stylus()      → StylusGestureRecognizer
      └─ スタイラス → マウスイベントにマッピング

CGPoint convertPointToScreen(CGPoint normalizedPoint,
                             NSScreen *currentScreen,
                             NSScreen *innerScreen) {
    NSRect screenFrame = currentScreen.frame;
    return CGPointMake(
        screenFrame.origin.x + normalizedPoint.x * screenFrame.size.width,
        innerScreen.frame.size.height - screenFrame.origin.y
            - normalizedPoint.y * screenFrame.size.height
    );
}

int size = MIN(report.touch_screen().inputs_size(), 3);

int32_t MCVideoPlugin::onRequestIDR() {
    if (encoder_ && isEncoding_) {
        videoCapture_->requestIDRFrame();
        encoder_->requestIDRFrame();
        return 0;
    }
    return -1;
}

// 画面収録の承認状態を検出
BOOL hasPermission = CGPreflightScreenCaptureAccess();

if (!hasPermission) {
    // すでに拒否されている（または未選択）→ カスタムダイアログを表示してシステム設定へ誘導
    [self showCustomPermissionAlert:^{
        [[NSWorkspace sharedWorkspace] openURL:
            [NSURL URLWithString:@"x-apple.systempreferences:com.apple.preference.security?Privacy_ScreenCapture"]];
    }];
} else {
    // 承認済み、通常通りキャプチャを開始
    [self startCapture];
}