呼び出し規約の問題は解決した。

あとは可変長引数の問題だ。

 typedef void (*SQPRINTFUNCTION)(HSQUIRRELVM,const SQChar * ,...);
 
こんなやつ。

 SQUIRREL_API void sq_setprintfunc(HSQUIRRELVM v, SQPRINTFUNCTION printfunc,SQPRINTFUNCTION errfunc);
 
こんな子がいるんだけど

 delegate void SqPrintFunctionDelegate(HSQUIRRELVM, const SQChar*, ...array^);
 void SetPrintfunc(SqPrintFunctionDelegate^ func)
 {
     sq_setprintfunc(_VM,
         (SQPRINTFUNCTION)Marshal::GetFunctionPointerForDelegate(func).ToPointer(),
         (SQPRINTFUNCTION)Marshal::GetFunctionPointerForDelegate(func).ToPointer());
 }

こうしてやっても予想通りだめだ。
実行時にdelegate呼び出しあたりで例外が発生。
まぁ、この引数はprintf形式で来るのでC#に流しても処理できないんだけどね…。
しょうがないので一度unmanagedで受けてvsprintfしてからdelegateに投げてみる。

・HSQUIRRELVMはラップ対象のオブジェクト。中身はポインタ。
・SqVMはHSQUIRRELVMをラップしたクラスで、.NET側に公開したいもの。
・SqVMのインスタンス毎に別のdelegateを登録可能にしたい。
・delegateにはSqVMのハンドルを渡したい。

 #pragma unmanaged
 typedef (*printfunc)(HSQUIRRELVM, const SQChar*);
 static printfunc _printfunc = NULL;

 static void printfunc_adapter(HSQUIRRELVM v, const SQChar* fmt, ...)
 {
     // vsprintfしてbufferにフォーマット済みの文字列を入れる
     _printfunc(v, buffer);
 }

 #pragma managed
 public delegate void SqUserPrintFunc(SqVM^, String^); //これをmanaged側に公開する
 public ref class SqVM
 {
     [UnmanagedFunctionPointerAttribute(CallingConvention::Cdecl)]
     delegate void SqApiPrintFunc(HSQUIRRELVM v, const SQChar* str);
     
     static Dictionary^ vms = gcnew Dictionary();
     static SqApiPrintFunc^ pf = gcnew SqApiPrintFunc(api_print_func);
     static void api_print_func(HSQUIRRELVM v, const SQChar* str)
     {
         SqVM^ _this = vms[v];
         _this->printfunc(_this, gcnew String(str));
     }
     
     SqPrintFunc^ printfunc;
     HSQUIRRELVM _VM;
     
 public:
     static void Setup()
     {
         _printfunc = (::printfunc)Marshal::GetFunctionPointerForDelegate(pf).ToPointer();
     }
     SqVM(int stacksize)
     {
         _VM = sq_open(stacksize);
         vms->Add((int)_VM, this);
         sq_setprintfunc(_VM, printfunc_adapter, printfunc_adapter);
     }
     void SetPrintFunc(SqUserPrintFunc^ func)
     {
         printfunc = func;
     }
 };

まずSqVM::Setup()を呼び_printfuncを初期化しておく。
それからSqVMのコンストラクタでvmsに登録し、printfunc_adapterをコールバックに登録。
実行中にprintfunc_adapterがコールバックされると、
_printfuncの関数ポインタを経由してapi_print_funcが呼ばれ、
HSQUIRRELVMをキーにSqVMのハンドルを取り出して個別のprintfuncを呼ぶ
と。

これでユーザからは

 SqVM.Setup();
 SqVM v = new SqVM(1024);
 v.SetPrintFunc(new SqUserPrintFunc(myprintfunc));
 
で登録できるように。

コールバックにvoid* userdataとかを登録できれば
そこに直接呼び出したいdelegateの関数ポインタを登録してやったり出来たんだけど。
出来ないのでちょっとひと手間。

これもAttributeをちょろっと書くだけで解決したりしないんだろうか。