a25_kharcs7
の編集
https://essen.osask.jp/?a25_kharcs7
[
トップ
] [
編集
|
差分
|
バックアップ
|
添付
|
リロード
] [
新規
|
一覧
|
単語検索
|
最終更新
|
ヘルプ
]
-- 雛形とするページ --
BracketName
EssenRev4
FormattingRules
FrontPage
Help
InterWiki
InterWikiName
InterWikiSandBox
K
MenuBar
PHP
PukiWiki
PukiWiki/1.4
PukiWiki/1.4/Manual
PukiWiki/1.4/Manual/Plugin
PukiWiki/1.4/Manual/Plugin/A-D
PukiWiki/1.4/Manual/Plugin/E-G
PukiWiki/1.4/Manual/Plugin/H-K
PukiWiki/1.4/Manual/Plugin/L-N
PukiWiki/1.4/Manual/Plugin/O-R
PukiWiki/1.4/Manual/Plugin/S-U
PukiWiki/1.4/Manual/Plugin/V-Z
RecentDeleted
SDL2_01
SandBox
WikiEngines
WikiName
WikiWikiWeb
YukiWiki
a21
a21_acl01
a21_bbs01
a21_challengers
a21_count
a21_edu01
a21_edu02
a21_edu03
a21_edu04
a21_edu05
a21_edu06
a21_edu07
a21_edu08
a21_edu09
a21_edu10
a21_edu11
a21_hlx000
a21_hlx001
a21_hlx001_1
a21_hlx001_2
a21_hlx001_3
a21_hlx002
a21_hlx002_1
a21_hlx003
a21_hlx003_1
a21_hlx004_1
a21_memo01
a21_opt
a21_opt02
a21_opt03
a21_p01
a21_special
a21_tl9a
a21_todo
a21_txt01
a21_txt01_10
a21_txt01_1a
a21_txt01_2
a21_txt01_2a
a21_txt01_2b
a21_txt01_3
a21_txt01_4
a21_txt01_5
a21_txt01_6
a21_txt01_6a
a21_txt01_7
a21_txt01_8
a21_txt01_8a
a21_txt01_9
a21_txt01_9a
a21_txt02
a21_txt02_10
a21_txt02_10a
a21_txt02_10b
a21_txt02_11
a21_txt02_11a
a21_txt02_12
a21_txt02_12a
a21_txt02_12b
a21_txt02_1a
a21_txt02_1b
a21_txt02_2
a21_txt02_2a
a21_txt02_3
a21_txt02_3a
a21_txt02_4
a21_txt02_4a
a21_txt02_5
a21_txt02_5a
a21_txt02_6
a21_txt02_6a
a21_txt02_6b
a21_txt02_6b_rev0
a21_txt02_6x
a21_txt02_7
a21_txt02_7a
a21_txt02_8
a21_txt02_8a
a21_txt02_9
a21_txt02_9a
a22_acl2_01
a22_acl2_02
a22_edu12
a22_intro01
a22_intro02
a22_intro03
a22_memman01
a22_memman02
a22_memman03
a22_memman04
a22_memman05
a22_memman06
a22_memman07
a22_memo01
a22_mingw_debug
a22_txt03
a22_txt03_1a
a22_txt03_1b
a22_txt03_2
a22_txt03_2a
a22_ufcs01
a23_bbs
a23_ec001
a23_ec002
a23_intro00
a23_intro000
a23_intro01
a23_intro02
a23_intro03
a23_intro04
a23_intro05
a23_intro06
a23_intro07
a23_intro08
a23_intro09
a23_intro10
a23_intro10wk1
a23_intro10wk2
a23_intro10wk3
a23_intro11
a23_intro12
a23_intro13
a23_intro13wk1
a23_intro14
a23_intro15
a23_intro16
a23_intro17
a23_intro17wk1
a23_intro18
a23_intro19
a23_intro90
a23_intro91
a23_neopixel1
a23_os01
a23_useSelfMade
a23_usm001
a23_usm002
a23_usm003
a23_usm004
a23_usm005
a23_usm006
a23_usm007
a23_usm008
a23_usm009
a24_AMap11
a24_AMapSim11
a24_AMemFile
a24_AMemMan
a24_aErrExit
a24_aFnv
a24_aOsFunc
a24_aQSort
a24_aXorShift32
a24_acl1T_doc01
a24_acl1Tiny
a24_acpp0
a24_buntan01
a24_cMin
a24_getTyp
a24_goodvalues
a24_idea001
a24_longdef
a24_memo01
a24_memo02
a24_osc20240310
a24_osc20241026
a24_picoLcd13
a24_picoTrain1
a24_programs
a24_raspberrypi01
a24_raspberrypi02
a24_schedule
a24_spc2tab
a24_tab2spc
a24_useSelfMade
a25_acl3
a25_buntan02
a25_buntan03
a25_buntan04
a25_buntan05
a25_kcas01
a25_kharc01
a25_kharc02
a25_kharc03
a25_kharc04
a25_kharc05
a25_kharc06
a25_kharcs1
a25_kharcs2
a25_kharcs3
a25_kharcs4
a25_kharcs5
a25_kharcs6
a25_kharcs7
a25_kharcs8
a25_kharcs9
aclib00
aclib01
aclib02
aclib03
aclib04
aclib05
aclib06
aclib07
aclib08
aclib09
aclib10
aclib11
aclib12
aclib13
aclib14
aclib15
aclib16
aclib17
aclib18
aclib19
aclib20
aclib21
aclib22
aclib23
aclib24
aclib25
aclib_bbs
arm64_01
avm0001
edu0001
edu0002
edu0003
esb02b_hrb
esb_dbg
esbasic0001
esbasic0002
esbasic0003
esbasic0004
esbasic0005
esbasic0006
esbasic0007
esbasic0008
esbasic0009
esbasic0010
esbasic0011
esbasic0012
esbasic0013
esbasic0014
esbasic0015
esbasic0016
esbasic0017
esbasic02a
esc0001
escm0001
essen_hist
esvm0001
esvm0002
esvm0003
esvm0004
esvm0005
esvm0006
esvm_i0
hh4a
idea0001
idea0002
idea0003
impressions
jck_0000
jck_0001
kawai
kbcl0_0000
kbcl0_0001
kbcl0_0002
kbcl0_0003
kbcl0_0004
kbcl0_0005
kbcl0_0006
kbcl0_0007
kclib1_0000
kclib1_0001
kclib1_0002
kclib1_0003
kclib1_0004
kclib1_0005
kclib1_0006
kclib1_0007
kclib1_0008
kclib1_0009
kclib1_0010
kpap0001
members
memo0001
osask4g
osask4g_r2
p20200311a
p20200610a
p20200610b
p20200624a
p20200711a
p20200716a
p20250813a
p20250813b
p20250813c
p20250815a
p20250903a
p20251006a
page0001
page0002
page0003
page0004
page0005
page0006
page0007
page0008
page0009
page0010
page0011
page0012
page0013
page0014
page0015
page0016
page0017
page0018
page0019
page0020
page0021
page0022
page0023
populars
seccamp
seccamp2019
sechack
sechack2019
seclang01
sh3_2020
sh3_2020_kw
sh3_2020_nk
sh3_2021_kw
sh3_2021_nk
sh3_2022_kw
sh3_2023_kw
sh3_2024_kw
sh3_2025_kw
sh3_kw_hist
termux001
termux002
text0001
text0001a
text0002
text0002a
text0003
text0004
text0005
text0006
text0006a
text0007
text0008
text0010
text0011
text0012
text0013
text0014
text0015
text0016
text0017
text0018
text0019
text0020
text0021
tl1c
tl2c
tl3c
tl3d
* 「60分でできる!JITコンパイラ自作入門」 -(by [[K]], 2025.07.24) ** (0) -JITコンパイラはインタプリタを高速にするために使われる定番の技術です。 -たいして難しい技術ではないのですが、多くの人は難しいと漠然と思っているようです。 -だから解説します。 -以下でも示しますが、普通のインタプリタをJITコンパイラに切り替えるだけで10倍以上高速化できます。 -JITコンパイラ化する以外で10倍も速くするのは相当に困難なので、とてもおすすめの方法なのです。 -タイトルでは雑に60分とか書きましたが、ざっと理解するだけなら30分もかからないかもしれません。 ** (1) 64bit-インタプリタ編 [61行] -まず、以下のような命令セットを想定して、インタプリタとJITコンパイラを作り比べてみます。 Sub_AI(SP,16); // SP = SP - 16; Mov_RI(R0,0); // R0 = 0; Sto_RMD(R0,SP,0); // [SP+0] = R0; Sto_RMD(R0,SP,8); // [SP+8] = R0; Lb_I(1); // L_1: Lod_RMD(R0,SP,8); // R0 = [SP+8]; Lod_RMD(R1,SP,0); // R1 = [SP+0]; Add_RR(R0,R1); // R0 += R1; Sto_RMD(R0,SP,0); // [SP+0] = R0; Lod_RMD(R0,SP,8); // R0 = [SP+8]; Add_RI(R0,1); // R0 += 1; Sto_RMD(R0,SP,8); // [SP+8] = R0; CmpJlt_RII(R0,100000000,1); // if (R0 < 100000000) goto L_1; Lod_RMD(R0,SP,0); // R0 = [SP+0]; Add_AI(SP,16); // SP = SP + 16; End(); // R0に計算結果が入っているので、それを表示して終了; // ちなみに上記のコードは下記のソースコードをkccにコンパイルさせて生成したものです. // int s, i; s = 0; // for (i = 0; i < 100000000; i++) { s = s + i; } // つまり、0から99999999までの和を計算しています. |Mov_RI(Rx,const);|整数レジスタ(Rx)に定数を代入|Rx = const;| |Lod_RMD(Rx,Ax,disp);|メモリから値を読んで整数レジスタに入れる|Rx = [Ax + disp];| |Sto_RMD(Rx,Ax,disp);|整数レジスタの値をメモリに書き込む|[Ax + disp] = Rx;| |Add_RR(Rx,Ry);|整数レジスタ同士の加算|Rx += Ry;| |Add_RI(Rx,const);|整数レジスタに定数を加算|Rx += const;| |Add_AI(Ax,const);|アドレスレジスタ(Ax)に定数を加算|Ax += const;| |Sub_AI(Ax,const);|アドレスレジスタに定数を減算|Ax -= const;| |Lb_I(x);|分岐先指定用のラベル定義命令(ラベルには名前は付けられず番号で区別する)|L_x:| |CmpJlt_RII(Rx,const,y);|条件分岐命令|if (Rx < const) goto L_y;| |End();|R0の値を表示して終了|| -この10個の命令があれば上記は動きます。 -SPはA6レジスタの別名だということにします。 ---- -ということでこんなプログラムを作りました。 #include <stdio.h> #include <time.h> #include <stdint.h> #include <inttypes.h> struct Code { int64_t op, a, b, c; }; enum { Mov_RI=1, Lod_RMD, Sto_RMD, Add_RR, Add_RI, Add_AI, Sub_AI, Lb_I, CmpJlt_RII, End }; enum { R0=0, R1=1, SP=6 }; int main() { static struct Code t[17] = { { Sub_AI, SP, 16, -0 }, // -0は命令としては意味を持ってないパラメータ. { Mov_RI, R0, 0, -0 }, { Sto_RMD, R0, SP, 0 }, { Sto_RMD, R0, SP, 8 }, { Lb_I, 1, -0, -0 }, { Lod_RMD, R0, SP, 8 }, { Lod_RMD, R1, SP, 0 }, { Add_RR, R0, R1, -0 }, { Sto_RMD, R0, SP, 0 }, { Lod_RMD, R0, SP, 8 }, { Add_RI, R0, 1, -0 }, { Sto_RMD, R0, SP, 8 }, { CmpJlt_RII, R0, 100000000, 1 }, { Lod_RMD, R0, SP, 0 }, { Add_AI, SP, 16, -0 }, { End, -0, -0, -0 }, { 0, -0, -0, -0 } }; int64_t lb[256], r[8], a[8], pc; char m[256]; // メモリ. // Lb_I(x)命令を探して位置をlb[]に格納する. for (pc = 0; t[pc].op > 0; pc++) { if (t[pc].op == Lb_I) { lb[t[pc].a] = pc + 1; } // 高速化のために、ラベル命令の次の命令の位置を登録している. } // 実行開始. pc = 0; a[6] = 256; clock_t tm0 = clock(); for (;;) { struct Code *tp = &t[pc]; int64_t *mp; switch (tp->op) { case Mov_RI: r[tp->a] = tp->b; pc++; continue; case Lod_RMD: mp = (int64_t *) (m + a[tp->b] + tp->c); r[tp->a] = *mp; pc++; continue; case Sto_RMD: mp = (int64_t *) (m + a[tp->b] + tp->c); *mp = r[tp->a]; pc++; continue; case Add_RR: r[tp->a] += r[tp->b]; pc++; continue; case Add_RI: r[tp->a] += tp->b; pc++; continue; case Add_AI: a[tp->a] += tp->b; pc++; continue; case Sub_AI: a[tp->a] -= tp->b; pc++; continue; case Lb_I: pc++; continue; case CmpJlt_RII: if (r[tp->a] < tp->b) { pc = lb[tp->c]; } else { pc++; } continue; case End: goto fin; } } fin: printf("R0=%" PRId64 " (%.3f[sec])\n", r[0], (clock() - tm0) / (double) CLOCKS_PER_SEC); return 0; } -実行すると R0=4999999950000000 と表示されます。 ** (2) 64bit-JITコンパイラ編(x64用のコード生成) [69行] -適当に作ればこんな感じです。 -Lod_RMD/Sto_RMD命令では、第二パラメータにSPしか指定しない想定で作って手抜きをしています。 -Sub_AI/Add_AI命令でも第一パラメータにSPしか指定しない想定で作っています。 #include <stdio.h> #include <time.h> #include <stdint.h> #include <inttypes.h> struct Code { int64_t op, a, b, c; }; enum { Mov_RI=1, Lod_RMD, Sto_RMD, Add_RR, Add_RI, Add_AI, Sub_AI, Lb_I, CmpJlt_RII, End }; enum { R0=0, R1=1, SP=6 }; #include <windows.h> void *mallocRWX(int siz) { return VirtualAlloc(0, siz, MEM_COMMIT, PAGE_EXECUTE_READWRITE); } // [参考] https://essen.osask.jp/?a21_txt02 の(4). void set32(char *p, int64_t i) { p[0] = i & 0xff; p[1] = (i >> 8) & 0xff; p[2] = (i >> 16) & 0xff; p[3] = (i >> 24) & 0xff; } void set64(char *p, int64_t i) { set32(p, i); set32(p + 4, i >> 32); } int main() { static struct Code t[17] = { { Sub_AI, SP, 16, -0 }, // -0は命令としては意味を持ってないパラメータ. { Mov_RI, R0, 0, -0 }, { Sto_RMD, R0, SP, 0 }, { Sto_RMD, R0, SP, 8 }, { Lb_I, 1, -0, -0 }, { Lod_RMD, R0, SP, 8 }, { Lod_RMD, R1, SP, 0 }, { Add_RR, R0, R1, -0 }, { Sto_RMD, R0, SP, 0 }, { Lod_RMD, R0, SP, 8 }, { Add_RI, R0, 1, -0 }, { Sto_RMD, R0, SP, 8 }, { CmpJlt_RII, R0, 100000000, 1 }, { Lod_RMD, R0, SP, 0 }, { Add_AI, SP, 16, -0 }, { End, -0, -0, -0 }, { 0, -0, -0, -0 } }; int64_t lb[256], r[8], pc, pass, rip; char *tx = mallocRWX(65536); // とりあえず64KB. // 方針: R0はRAX, R1はRCXに割り当てる. SPはRSPに割り当てる. それ以外のレジスタ指定はないと仮定(簡単のために). // JITコンパイル開始. for (pass = 0; pass < 2; pass++) { // あえて2回まわす. rip = 0; for (pc = 0; t[pc].op > 0; pc++) { struct Code *tp = &t[pc]; switch (tp->op) { case Mov_RI: tx[rip + 0] = 0x48; tx[rip + 1] = 0xb8 + tp->a; set64(&tx[rip + 2], tp->b); rip += 10; continue; case Lod_RMD: tx[rip + 0] = 0x48; tx[rip + 1] = 0x8b; tx[rip + 2] = 0x84 + tp->a * 8; tx[rip + 3] = 0x24; set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Sto_RMD: tx[rip + 0] = 0x48; tx[rip + 1] = 0x89; tx[rip + 2] = 0x84 + tp->a * 8; tx[rip + 3] = 0x24; set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Add_RR: tx[rip + 0] = 0x48; tx[rip + 1] = 0x03; tx[rip + 2] = 0xc0 + tp->a * 8 + tp->b; rip += 3; continue; case Add_RI: tx[rip + 0] = 0x48; tx[rip + 1] = 0xba; set64(&tx[rip + 2], tp->b); tx[rip + 10] = 0x48; tx[rip + 11] = 0x03; tx[rip + 12] = 0xc2 + tp->a * 8; rip += 13; continue; case Add_AI: tx[rip + 0] = 0x48; tx[rip + 1] = 0x81; tx[rip + 2] = 0xc4 + 0 * 8; set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Sub_AI: tx[rip + 0] = 0x48; tx[rip + 1] = 0x81; tx[rip + 2] = 0xc4 + 5 * 8; set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Lb_I: lb[tp->a] = rip; continue; case CmpJlt_RII: tx[rip + 0] = 0x48; tx[rip + 1] = 0xba; set64(&tx[rip + 2], tp->b); tx[rip + 10] = 0x48; tx[rip + 11] = 0x3b; tx[rip + 12] = 0xc2 + tp->a * 8; tx[rip + 13] = 0x0f; tx[rip + 14] = 0x8c; set32(&tx[rip + 15], lb[tp->c] - (rip + 19)); rip += 19; continue; case End: tx[rip + 0] = 0xc3; rip++; continue; } } } // int i; for (i = 0; i < rip; i++) printf("%02x ", ((unsigned char *) tx)[i]); // デバッグ用. // 実行開始. int64_t (*f)() = (void *) tx; clock_t tm0 = clock(); r[0] = f(); printf("R0=%" PRId64 " (%.3f[sec])\n", r[0], (clock() - tm0) / (double) CLOCKS_PER_SEC); return 0; } -当然ですが、実行すると R0=4999999950000000 と表示されます。 -変数passを使って、コード生成を2回やっています。これはほぼ無駄なのですが、しかし1回目のループが終わると変数lb[]の値がすべて確定して、それで2回目のループが回ると、正しいコードが生成できるようになっています。 -機械語を生成している部分は、まあ普通に見て意味不明だろうと思いますが、しかしプログラムの長さとしては、インタプリタ編とそれほど違いはないということをわかってほしいです。 -そして10倍以上速いのです。 ** (3) 今回使った機械語 48 bx [8バイト] : RAX/RCX/RDXに定数を代入. x=8:RAX, x=9:RCX, x=a:RDX. 48 03 xx : レジスタをレジスタに加える演算( a += b; ). xx=c0+b+a*8. 48 81 xx [4バイト] : レジスタと32bit整数定数の演算. 定数が32bitで収まると分かっているのならこれを使った方が速い. xxの部分で対象レジスタや演算タイプを指定する. 48 3b xx : レジスタ同士の比較. 0f 8c [4バイト] : 条件分岐(8cならJL) c3 : return; 48 8b xx 24 [disp] : レジスタ=[RSP+disp]; xx=84+a*8. 48 89 xx 24 [disp] : [RSP+disp]=レジスタ; xx=84+a*8. -参考にしたサイト(もし基礎的なことから勉強したいなら、以下のサイトは向いてないです。) --REXプリフィックス https://www.wdic.org/w/SCI/REX%E3%83%97%E3%83%AA%E3%83%95%E3%82%A3%E3%83%83%E3%82%AF%E3%82%B9 --SIBバイト https://www.wdic.org/w/SCI/SIB%E3%83%90%E3%82%A4%E3%83%88 --https://c9x.me/x86/ --http://ref.x86asm.net/coder64.html --webで使えるアセンブラ・逆アセンブラ https://defuse.ca/online-x86-assembler.htm ** (4) レジスタだけで計算するようにすれば、インタプリタでもJITコンパイラでも速くなります(2倍速くらい)。 Mov_RI(R0,0); Mov_RI(R1,0); Lb_I(1); // L_1: Add_RR(R0,R1); // R0 += R1; Add_RI(R1,1); // R1 += 1; CmpJlt_RII(R1,100000000,1); // if (R1 < 100000000) goto L_1; End(); // R0に計算結果が入っているので、それを表示して終了; ** (5) 理解を深めるためのQ&A -[Q1]プログラムを見やすくするために以下の関数を導入してほしいです。 void set2(char *p, char a, char b) { p[0] = a; p[1] = b; } void set3(char *p, char a, char b, char c) { p[0] = a; p[1] = b; p[2] = c; } void set4(char *p, char a, char b, char c, char d) { p[0] = a; p[1] = b; p[2] = c; p[3] = d; } void set5(char *p, char a, char b, char c, char d, char e) { p[0] = a; p[1] = b; p[2] = c; p[3] = d; p[4] = e; } --[A1]なるほど。それを使うとこうなります。 switch (tp->op) { case Mov_RI: set2(&tx[rip + 0], 0x48, 0xb8 + tp->a); set64(&tx[rip + 2], tp->b); rip += 10; continue; case Lod_RMD: set4(&tx[rip + 0], 0x48, 0x8b, 0x84 + tp->a * 8, 0x24); set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Sto_RMD: set4(&tx[rip + 0], 0x48, 0x89, 0x84 + tp->a * 8, 0x24); set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Add_RR: set3(&tx[rip + 0], 0x48, 0x03, 0xc0 + tp->a * 8 + tp->b); rip += 3; continue; case Add_RI: set2(&tx[rip + 0], 0x48, 0xba); set64(&tx[rip + 2], tp->b); set3(&tx[rip + 10], 0x48, 0x03, 0xc2 + tp->a * 8); rip += 13; continue; case Add_AI: set3(&tx[rip + 0], 0x48, 0x81, 0xc4 + 0 * 8); set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Sub_AI: set3(&tx[rip + 0], 0x48, 0x81, 0xc4 + 5 * 8); set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Lb_I: lb[tp->a] = rip; continue; case CmpJlt_RII: set2(&tx[rip + 0], 0x48, 0xba); set64(&tx[rip + 2], tp->b); set5(&tx[rip + 10], 0x48, 0x3b, 0xc2 + tp->a * 8, 0x0f, 0x8c); set32(&tx[rip + 15], lb[tp->c] - (rip + 19)); rip += 19; continue; case End: tx[rip + 0] = 0xc3; rip++; continue; } --たしかにだいぶ短くなりました。 -[Q2]この例では仮想的な機械語をインタプリタ実行したりJITコンパイル実行していますが、もっと高級な命令のインタプリタやJITコンパイラは作れないのですか? --[A2]その気になればもちろん誰でも作れますが、そうすると処理も増えてプログラムが複雑になってきます。私はここで、インタプリタもJITコンパイラもほぼ同等の規模で書けるということを簡潔に示したかっただけなので、やりたい人はチャレンジしましょう! -[Q3]このプログラム例はWindows用になっていると思うのだけど、他のOSではどうしたらいいのかな? --[A3]このプログラムでOS依存の部分は、mallocRWX()だけです。これは実行権限のあるメモリをもらってくる関数です。他のOSでどう書けばいいかは、 https://essen.osask.jp/?a21_txt02 の(4) に書いてあります。 -[Q4]このプログラムでは、Add_RI命令をRDX経由で実現しているけど、このプログラムのように32bitで収まる定数で演算するときは、RDXを使わない機械語を出力したほうが速くなるのでは? --[A4]はい、そうです。じゃあそのように書き直してみますかー。 case Add_RI: if (-0x80000000LL <= tp->b && tp->b <= 0x7fffffffLL) { set3(&tx[rip + 0], 0x48, 0x81, 0xc0 + 0 * 8 + tp->a); set32(&tx[rip + 3], tp->b); rip += 7; } else { set2(&tx[rip + 0], 0x48, 0xba); set64(&tx[rip + 2], tp->b); set3(&tx[rip + 10], 0x48, 0x03, 0xc2 + tp->a * 8); rip += 13; } continue; --どのくらい速くなったかなーと思いましたが、手元の環境では速さに違いはないようです。x64が優秀で、RDX経由でも遅くならないように工夫しているようです。 --もっとプログラムが大きくなってコードキャッシュの大きさを意識するようになったら、短い機械語を出すことは有利に働いてくると思います。 -[Q5]このJITコンパイラがシンプルなのって、RAX/RCX/RDXしか使わないように工夫して、しかも生成した機械語からは他の関数を呼ばないようにしているからだと思うのだけど、あってますか? --[A5]そうですね、x64のABIはいろいろややこしいので、この制約を外すとだんだん複雑になってきます。でもそれは「JITコンパイラだから複雑になる」のではなく、x64のABIが複雑だから複雑になるということなので、そこは分けて考えてほしいです。・・・そのことをわかってもらうために、あえてRAX/RCX/RDXしか使わないようにしていました。 -[Q6]なんか思ったよりもずいぶん短いのだけど、本当にこれでいいの? --[A6]いやインタプリタやJITコンパイラなんて結局この程度のものです。知らないとなんか凄そうに思えるわけですが、実際はそれほどでもないのです。今はまだ加算しかないですが、減算や乗算など他の演算を足していくことは容易にできますし、条件分岐だって他のパターンを追加すればいいのです。コピペでどんどんできます。私はkccのインタプリタ部とJITコンパイラ部をあわせて数時間で書きましたが、この短さを思えば「まあ確かにそれくらいでできるんだろうな」って思いますよね? --JITコンパイラが69行って思うかもしれないですけど、テスト用のデモコードで19行使っているので、JITコンパイラは50行程度です。 -(以下思いついたら追記予定)
タイムスタンプを変更しない
* 「60分でできる!JITコンパイラ自作入門」 -(by [[K]], 2025.07.24) ** (0) -JITコンパイラはインタプリタを高速にするために使われる定番の技術です。 -たいして難しい技術ではないのですが、多くの人は難しいと漠然と思っているようです。 -だから解説します。 -以下でも示しますが、普通のインタプリタをJITコンパイラに切り替えるだけで10倍以上高速化できます。 -JITコンパイラ化する以外で10倍も速くするのは相当に困難なので、とてもおすすめの方法なのです。 -タイトルでは雑に60分とか書きましたが、ざっと理解するだけなら30分もかからないかもしれません。 ** (1) 64bit-インタプリタ編 [61行] -まず、以下のような命令セットを想定して、インタプリタとJITコンパイラを作り比べてみます。 Sub_AI(SP,16); // SP = SP - 16; Mov_RI(R0,0); // R0 = 0; Sto_RMD(R0,SP,0); // [SP+0] = R0; Sto_RMD(R0,SP,8); // [SP+8] = R0; Lb_I(1); // L_1: Lod_RMD(R0,SP,8); // R0 = [SP+8]; Lod_RMD(R1,SP,0); // R1 = [SP+0]; Add_RR(R0,R1); // R0 += R1; Sto_RMD(R0,SP,0); // [SP+0] = R0; Lod_RMD(R0,SP,8); // R0 = [SP+8]; Add_RI(R0,1); // R0 += 1; Sto_RMD(R0,SP,8); // [SP+8] = R0; CmpJlt_RII(R0,100000000,1); // if (R0 < 100000000) goto L_1; Lod_RMD(R0,SP,0); // R0 = [SP+0]; Add_AI(SP,16); // SP = SP + 16; End(); // R0に計算結果が入っているので、それを表示して終了; // ちなみに上記のコードは下記のソースコードをkccにコンパイルさせて生成したものです. // int s, i; s = 0; // for (i = 0; i < 100000000; i++) { s = s + i; } // つまり、0から99999999までの和を計算しています. |Mov_RI(Rx,const);|整数レジスタ(Rx)に定数を代入|Rx = const;| |Lod_RMD(Rx,Ax,disp);|メモリから値を読んで整数レジスタに入れる|Rx = [Ax + disp];| |Sto_RMD(Rx,Ax,disp);|整数レジスタの値をメモリに書き込む|[Ax + disp] = Rx;| |Add_RR(Rx,Ry);|整数レジスタ同士の加算|Rx += Ry;| |Add_RI(Rx,const);|整数レジスタに定数を加算|Rx += const;| |Add_AI(Ax,const);|アドレスレジスタ(Ax)に定数を加算|Ax += const;| |Sub_AI(Ax,const);|アドレスレジスタに定数を減算|Ax -= const;| |Lb_I(x);|分岐先指定用のラベル定義命令(ラベルには名前は付けられず番号で区別する)|L_x:| |CmpJlt_RII(Rx,const,y);|条件分岐命令|if (Rx < const) goto L_y;| |End();|R0の値を表示して終了|| -この10個の命令があれば上記は動きます。 -SPはA6レジスタの別名だということにします。 ---- -ということでこんなプログラムを作りました。 #include <stdio.h> #include <time.h> #include <stdint.h> #include <inttypes.h> struct Code { int64_t op, a, b, c; }; enum { Mov_RI=1, Lod_RMD, Sto_RMD, Add_RR, Add_RI, Add_AI, Sub_AI, Lb_I, CmpJlt_RII, End }; enum { R0=0, R1=1, SP=6 }; int main() { static struct Code t[17] = { { Sub_AI, SP, 16, -0 }, // -0は命令としては意味を持ってないパラメータ. { Mov_RI, R0, 0, -0 }, { Sto_RMD, R0, SP, 0 }, { Sto_RMD, R0, SP, 8 }, { Lb_I, 1, -0, -0 }, { Lod_RMD, R0, SP, 8 }, { Lod_RMD, R1, SP, 0 }, { Add_RR, R0, R1, -0 }, { Sto_RMD, R0, SP, 0 }, { Lod_RMD, R0, SP, 8 }, { Add_RI, R0, 1, -0 }, { Sto_RMD, R0, SP, 8 }, { CmpJlt_RII, R0, 100000000, 1 }, { Lod_RMD, R0, SP, 0 }, { Add_AI, SP, 16, -0 }, { End, -0, -0, -0 }, { 0, -0, -0, -0 } }; int64_t lb[256], r[8], a[8], pc; char m[256]; // メモリ. // Lb_I(x)命令を探して位置をlb[]に格納する. for (pc = 0; t[pc].op > 0; pc++) { if (t[pc].op == Lb_I) { lb[t[pc].a] = pc + 1; } // 高速化のために、ラベル命令の次の命令の位置を登録している. } // 実行開始. pc = 0; a[6] = 256; clock_t tm0 = clock(); for (;;) { struct Code *tp = &t[pc]; int64_t *mp; switch (tp->op) { case Mov_RI: r[tp->a] = tp->b; pc++; continue; case Lod_RMD: mp = (int64_t *) (m + a[tp->b] + tp->c); r[tp->a] = *mp; pc++; continue; case Sto_RMD: mp = (int64_t *) (m + a[tp->b] + tp->c); *mp = r[tp->a]; pc++; continue; case Add_RR: r[tp->a] += r[tp->b]; pc++; continue; case Add_RI: r[tp->a] += tp->b; pc++; continue; case Add_AI: a[tp->a] += tp->b; pc++; continue; case Sub_AI: a[tp->a] -= tp->b; pc++; continue; case Lb_I: pc++; continue; case CmpJlt_RII: if (r[tp->a] < tp->b) { pc = lb[tp->c]; } else { pc++; } continue; case End: goto fin; } } fin: printf("R0=%" PRId64 " (%.3f[sec])\n", r[0], (clock() - tm0) / (double) CLOCKS_PER_SEC); return 0; } -実行すると R0=4999999950000000 と表示されます。 ** (2) 64bit-JITコンパイラ編(x64用のコード生成) [69行] -適当に作ればこんな感じです。 -Lod_RMD/Sto_RMD命令では、第二パラメータにSPしか指定しない想定で作って手抜きをしています。 -Sub_AI/Add_AI命令でも第一パラメータにSPしか指定しない想定で作っています。 #include <stdio.h> #include <time.h> #include <stdint.h> #include <inttypes.h> struct Code { int64_t op, a, b, c; }; enum { Mov_RI=1, Lod_RMD, Sto_RMD, Add_RR, Add_RI, Add_AI, Sub_AI, Lb_I, CmpJlt_RII, End }; enum { R0=0, R1=1, SP=6 }; #include <windows.h> void *mallocRWX(int siz) { return VirtualAlloc(0, siz, MEM_COMMIT, PAGE_EXECUTE_READWRITE); } // [参考] https://essen.osask.jp/?a21_txt02 の(4). void set32(char *p, int64_t i) { p[0] = i & 0xff; p[1] = (i >> 8) & 0xff; p[2] = (i >> 16) & 0xff; p[3] = (i >> 24) & 0xff; } void set64(char *p, int64_t i) { set32(p, i); set32(p + 4, i >> 32); } int main() { static struct Code t[17] = { { Sub_AI, SP, 16, -0 }, // -0は命令としては意味を持ってないパラメータ. { Mov_RI, R0, 0, -0 }, { Sto_RMD, R0, SP, 0 }, { Sto_RMD, R0, SP, 8 }, { Lb_I, 1, -0, -0 }, { Lod_RMD, R0, SP, 8 }, { Lod_RMD, R1, SP, 0 }, { Add_RR, R0, R1, -0 }, { Sto_RMD, R0, SP, 0 }, { Lod_RMD, R0, SP, 8 }, { Add_RI, R0, 1, -0 }, { Sto_RMD, R0, SP, 8 }, { CmpJlt_RII, R0, 100000000, 1 }, { Lod_RMD, R0, SP, 0 }, { Add_AI, SP, 16, -0 }, { End, -0, -0, -0 }, { 0, -0, -0, -0 } }; int64_t lb[256], r[8], pc, pass, rip; char *tx = mallocRWX(65536); // とりあえず64KB. // 方針: R0はRAX, R1はRCXに割り当てる. SPはRSPに割り当てる. それ以外のレジスタ指定はないと仮定(簡単のために). // JITコンパイル開始. for (pass = 0; pass < 2; pass++) { // あえて2回まわす. rip = 0; for (pc = 0; t[pc].op > 0; pc++) { struct Code *tp = &t[pc]; switch (tp->op) { case Mov_RI: tx[rip + 0] = 0x48; tx[rip + 1] = 0xb8 + tp->a; set64(&tx[rip + 2], tp->b); rip += 10; continue; case Lod_RMD: tx[rip + 0] = 0x48; tx[rip + 1] = 0x8b; tx[rip + 2] = 0x84 + tp->a * 8; tx[rip + 3] = 0x24; set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Sto_RMD: tx[rip + 0] = 0x48; tx[rip + 1] = 0x89; tx[rip + 2] = 0x84 + tp->a * 8; tx[rip + 3] = 0x24; set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Add_RR: tx[rip + 0] = 0x48; tx[rip + 1] = 0x03; tx[rip + 2] = 0xc0 + tp->a * 8 + tp->b; rip += 3; continue; case Add_RI: tx[rip + 0] = 0x48; tx[rip + 1] = 0xba; set64(&tx[rip + 2], tp->b); tx[rip + 10] = 0x48; tx[rip + 11] = 0x03; tx[rip + 12] = 0xc2 + tp->a * 8; rip += 13; continue; case Add_AI: tx[rip + 0] = 0x48; tx[rip + 1] = 0x81; tx[rip + 2] = 0xc4 + 0 * 8; set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Sub_AI: tx[rip + 0] = 0x48; tx[rip + 1] = 0x81; tx[rip + 2] = 0xc4 + 5 * 8; set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Lb_I: lb[tp->a] = rip; continue; case CmpJlt_RII: tx[rip + 0] = 0x48; tx[rip + 1] = 0xba; set64(&tx[rip + 2], tp->b); tx[rip + 10] = 0x48; tx[rip + 11] = 0x3b; tx[rip + 12] = 0xc2 + tp->a * 8; tx[rip + 13] = 0x0f; tx[rip + 14] = 0x8c; set32(&tx[rip + 15], lb[tp->c] - (rip + 19)); rip += 19; continue; case End: tx[rip + 0] = 0xc3; rip++; continue; } } } // int i; for (i = 0; i < rip; i++) printf("%02x ", ((unsigned char *) tx)[i]); // デバッグ用. // 実行開始. int64_t (*f)() = (void *) tx; clock_t tm0 = clock(); r[0] = f(); printf("R0=%" PRId64 " (%.3f[sec])\n", r[0], (clock() - tm0) / (double) CLOCKS_PER_SEC); return 0; } -当然ですが、実行すると R0=4999999950000000 と表示されます。 -変数passを使って、コード生成を2回やっています。これはほぼ無駄なのですが、しかし1回目のループが終わると変数lb[]の値がすべて確定して、それで2回目のループが回ると、正しいコードが生成できるようになっています。 -機械語を生成している部分は、まあ普通に見て意味不明だろうと思いますが、しかしプログラムの長さとしては、インタプリタ編とそれほど違いはないということをわかってほしいです。 -そして10倍以上速いのです。 ** (3) 今回使った機械語 48 bx [8バイト] : RAX/RCX/RDXに定数を代入. x=8:RAX, x=9:RCX, x=a:RDX. 48 03 xx : レジスタをレジスタに加える演算( a += b; ). xx=c0+b+a*8. 48 81 xx [4バイト] : レジスタと32bit整数定数の演算. 定数が32bitで収まると分かっているのならこれを使った方が速い. xxの部分で対象レジスタや演算タイプを指定する. 48 3b xx : レジスタ同士の比較. 0f 8c [4バイト] : 条件分岐(8cならJL) c3 : return; 48 8b xx 24 [disp] : レジスタ=[RSP+disp]; xx=84+a*8. 48 89 xx 24 [disp] : [RSP+disp]=レジスタ; xx=84+a*8. -参考にしたサイト(もし基礎的なことから勉強したいなら、以下のサイトは向いてないです。) --REXプリフィックス https://www.wdic.org/w/SCI/REX%E3%83%97%E3%83%AA%E3%83%95%E3%82%A3%E3%83%83%E3%82%AF%E3%82%B9 --SIBバイト https://www.wdic.org/w/SCI/SIB%E3%83%90%E3%82%A4%E3%83%88 --https://c9x.me/x86/ --http://ref.x86asm.net/coder64.html --webで使えるアセンブラ・逆アセンブラ https://defuse.ca/online-x86-assembler.htm ** (4) レジスタだけで計算するようにすれば、インタプリタでもJITコンパイラでも速くなります(2倍速くらい)。 Mov_RI(R0,0); Mov_RI(R1,0); Lb_I(1); // L_1: Add_RR(R0,R1); // R0 += R1; Add_RI(R1,1); // R1 += 1; CmpJlt_RII(R1,100000000,1); // if (R1 < 100000000) goto L_1; End(); // R0に計算結果が入っているので、それを表示して終了; ** (5) 理解を深めるためのQ&A -[Q1]プログラムを見やすくするために以下の関数を導入してほしいです。 void set2(char *p, char a, char b) { p[0] = a; p[1] = b; } void set3(char *p, char a, char b, char c) { p[0] = a; p[1] = b; p[2] = c; } void set4(char *p, char a, char b, char c, char d) { p[0] = a; p[1] = b; p[2] = c; p[3] = d; } void set5(char *p, char a, char b, char c, char d, char e) { p[0] = a; p[1] = b; p[2] = c; p[3] = d; p[4] = e; } --[A1]なるほど。それを使うとこうなります。 switch (tp->op) { case Mov_RI: set2(&tx[rip + 0], 0x48, 0xb8 + tp->a); set64(&tx[rip + 2], tp->b); rip += 10; continue; case Lod_RMD: set4(&tx[rip + 0], 0x48, 0x8b, 0x84 + tp->a * 8, 0x24); set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Sto_RMD: set4(&tx[rip + 0], 0x48, 0x89, 0x84 + tp->a * 8, 0x24); set32(&tx[rip + 4], tp->c); rip += 8; continue; // tp->b == SP のみ想定. case Add_RR: set3(&tx[rip + 0], 0x48, 0x03, 0xc0 + tp->a * 8 + tp->b); rip += 3; continue; case Add_RI: set2(&tx[rip + 0], 0x48, 0xba); set64(&tx[rip + 2], tp->b); set3(&tx[rip + 10], 0x48, 0x03, 0xc2 + tp->a * 8); rip += 13; continue; case Add_AI: set3(&tx[rip + 0], 0x48, 0x81, 0xc4 + 0 * 8); set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Sub_AI: set3(&tx[rip + 0], 0x48, 0x81, 0xc4 + 5 * 8); set32(&tx[rip + 3], tp->b); rip += 7; continue; // tp->a == SP のみ想定. case Lb_I: lb[tp->a] = rip; continue; case CmpJlt_RII: set2(&tx[rip + 0], 0x48, 0xba); set64(&tx[rip + 2], tp->b); set5(&tx[rip + 10], 0x48, 0x3b, 0xc2 + tp->a * 8, 0x0f, 0x8c); set32(&tx[rip + 15], lb[tp->c] - (rip + 19)); rip += 19; continue; case End: tx[rip + 0] = 0xc3; rip++; continue; } --たしかにだいぶ短くなりました。 -[Q2]この例では仮想的な機械語をインタプリタ実行したりJITコンパイル実行していますが、もっと高級な命令のインタプリタやJITコンパイラは作れないのですか? --[A2]その気になればもちろん誰でも作れますが、そうすると処理も増えてプログラムが複雑になってきます。私はここで、インタプリタもJITコンパイラもほぼ同等の規模で書けるということを簡潔に示したかっただけなので、やりたい人はチャレンジしましょう! -[Q3]このプログラム例はWindows用になっていると思うのだけど、他のOSではどうしたらいいのかな? --[A3]このプログラムでOS依存の部分は、mallocRWX()だけです。これは実行権限のあるメモリをもらってくる関数です。他のOSでどう書けばいいかは、 https://essen.osask.jp/?a21_txt02 の(4) に書いてあります。 -[Q4]このプログラムでは、Add_RI命令をRDX経由で実現しているけど、このプログラムのように32bitで収まる定数で演算するときは、RDXを使わない機械語を出力したほうが速くなるのでは? --[A4]はい、そうです。じゃあそのように書き直してみますかー。 case Add_RI: if (-0x80000000LL <= tp->b && tp->b <= 0x7fffffffLL) { set3(&tx[rip + 0], 0x48, 0x81, 0xc0 + 0 * 8 + tp->a); set32(&tx[rip + 3], tp->b); rip += 7; } else { set2(&tx[rip + 0], 0x48, 0xba); set64(&tx[rip + 2], tp->b); set3(&tx[rip + 10], 0x48, 0x03, 0xc2 + tp->a * 8); rip += 13; } continue; --どのくらい速くなったかなーと思いましたが、手元の環境では速さに違いはないようです。x64が優秀で、RDX経由でも遅くならないように工夫しているようです。 --もっとプログラムが大きくなってコードキャッシュの大きさを意識するようになったら、短い機械語を出すことは有利に働いてくると思います。 -[Q5]このJITコンパイラがシンプルなのって、RAX/RCX/RDXしか使わないように工夫して、しかも生成した機械語からは他の関数を呼ばないようにしているからだと思うのだけど、あってますか? --[A5]そうですね、x64のABIはいろいろややこしいので、この制約を外すとだんだん複雑になってきます。でもそれは「JITコンパイラだから複雑になる」のではなく、x64のABIが複雑だから複雑になるということなので、そこは分けて考えてほしいです。・・・そのことをわかってもらうために、あえてRAX/RCX/RDXしか使わないようにしていました。 -[Q6]なんか思ったよりもずいぶん短いのだけど、本当にこれでいいの? --[A6]いやインタプリタやJITコンパイラなんて結局この程度のものです。知らないとなんか凄そうに思えるわけですが、実際はそれほどでもないのです。今はまだ加算しかないですが、減算や乗算など他の演算を足していくことは容易にできますし、条件分岐だって他のパターンを追加すればいいのです。コピペでどんどんできます。私はkccのインタプリタ部とJITコンパイラ部をあわせて数時間で書きましたが、この短さを思えば「まあ確かにそれくらいでできるんだろうな」って思いますよね? --JITコンパイラが69行って思うかもしれないですけど、テスト用のデモコードで19行使っているので、JITコンパイラは50行程度です。 -(以下思いついたら追記予定)
テキスト整形のルールを表示する