train_mnli_1744902580

This model is a fine-tuned version of google/gemma-3-1b-it on the mnli dataset. It achieves the following results on the evaluation set:

• Loss: 0.1356
• Num Input Tokens Seen: 64338040

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 5e-05
• train_batch_size: 4
• eval_batch_size: 4
• seed: 123
• gradient_accumulation_steps: 4
• total_train_batch_size: 16
• optimizer: Use adamw_torch with betas=(0.9,0.999) and epsilon=1e-08 and optimizer_args=No additional optimizer arguments
• lr_scheduler_type: cosine
• training_steps: 40000

Training results

Training Loss	Epoch	Step	Validation Loss	Input Tokens Seen
0.8149	0.0091	200	0.8976	320544
0.2989	0.0181	400	0.4394	640416
0.257	0.0272	600	0.2900	964160
0.3392	0.0362	800	0.2478	1285344
0.2175	0.0453	1000	0.2305	1608256
0.2689	0.0543	1200	0.2217	1932352
0.2094	0.0634	1400	0.2133	2252192
0.1793	0.0724	1600	0.2082	2579136
0.1726	0.0815	1800	0.2040	2898880
0.2292	0.0905	2000	0.2003	3221312
0.1972	0.0996	2200	0.1974	3542752
0.1938	0.1086	2400	0.1929	3866688
0.1657	0.1177	2600	0.1919	4189440
0.1773	0.1268	2800	0.1879	4512768
0.1939	0.1358	3000	0.1844	4833792
0.1541	0.1449	3200	0.1825	5157664
0.1804	0.1539	3400	0.1806	5479168
0.2177	0.1630	3600	0.1796	5803680
0.1921	0.1720	3800	0.1770	6125472
0.1629	0.1811	4000	0.1757	6448128
0.1644	0.1901	4200	0.1734	6771360
0.1806	0.1992	4400	0.1728	7097088
0.1425	0.2082	4600	0.1716	7418432
0.1697	0.2173	4800	0.1689	7739200
0.1461	0.2264	5000	0.1675	8062528
0.1818	0.2354	5200	0.1671	8382240
0.1802	0.2445	5400	0.1657	8703872
0.1655	0.2535	5600	0.1657	9021760
0.1874	0.2626	5800	0.1638	9343744
0.1424	0.2716	6000	0.1623	9663168
0.1603	0.2807	6200	0.1618	9983680
0.1586	0.2897	6400	0.1609	10305504
0.1587	0.2988	6600	0.1599	10628064
0.1692	0.3078	6800	0.1598	10947264
0.1483	0.3169	7000	0.1593	11268736
0.1135	0.3259	7200	0.1577	11593952
0.1918	0.3350	7400	0.1573	11912448
0.1166	0.3441	7600	0.1564	12230144
0.1294	0.3531	7800	0.1564	12551712
0.143	0.3622	8000	0.1556	12870016
0.1579	0.3712	8200	0.1551	13192096
0.1626	0.3803	8400	0.1573	13513696
0.1067	0.3893	8600	0.1542	13838880
0.1538	0.3984	8800	0.1538	14159072
0.1035	0.4074	9000	0.1534	14481184
0.1471	0.4165	9200	0.1541	14802624
0.1652	0.4255	9400	0.1524	15129216
0.1265	0.4346	9600	0.1516	15445632
0.1574	0.4436	9800	0.1526	15768224
0.1098	0.4527	10000	0.1520	16090112
0.1251	0.4618	10200	0.1510	16413248
0.1636	0.4708	10400	0.1504	16741440
0.169	0.4799	10600	0.1499	17061536
0.1005	0.4889	10800	0.1500	17383360
0.1379	0.4980	11000	0.1487	17708608
0.1564	0.5070	11200	0.1488	18032288
0.1615	0.5161	11400	0.1486	18353024
0.1657	0.5251	11600	0.1488	18677184
0.1447	0.5342	11800	0.1489	18999136
0.1625	0.5432	12000	0.1478	19316576
0.1594	0.5523	12200	0.1470	19640544
0.1285	0.5614	12400	0.1465	19959648
0.1057	0.5704	12600	0.1465	20279232
0.1045	0.5795	12800	0.1466	20601792
0.1134	0.5885	13000	0.1473	20923456
0.1518	0.5976	13200	0.1457	21242368
0.1516	0.6066	13400	0.1456	21561952
0.1605	0.6157	13600	0.1449	21881856
0.1342	0.6247	13800	0.1478	22210080
0.1712	0.6338	14000	0.1448	22529216
0.1389	0.6428	14200	0.1443	22849376
0.1315	0.6519	14400	0.1445	23171168
0.1543	0.6609	14600	0.1460	23493152
0.1539	0.6700	14800	0.1449	23815360
0.1533	0.6791	15000	0.1439	24137696
0.1115	0.6881	15200	0.1434	24455584
0.1251	0.6972	15400	0.1440	24779040
0.1437	0.7062	15600	0.1427	25099584
0.1258	0.7153	15800	0.1428	25420512
0.1258	0.7243	16000	0.1424	25746912
0.1514	0.7334	16200	0.1435	26070048
0.1706	0.7424	16400	0.1422	26389952
0.1497	0.7515	16600	0.1419	26706080
0.1537	0.7605	16800	0.1428	27029344
0.1154	0.7696	17000	0.1424	27349920
0.1158	0.7787	17200	0.1430	27671008
0.1407	0.7877	17400	0.1419	27993280
0.1294	0.7968	17600	0.1418	28319712
0.1164	0.8058	17800	0.1415	28640832
0.1429	0.8149	18000	0.1433	28964096
0.1528	0.8239	18200	0.1411	29286752
0.1334	0.8330	18400	0.1412	29606528
0.1392	0.8420	18600	0.1420	29925408
0.117	0.8511	18800	0.1404	30247104
0.1258	0.8601	19000	0.1401	30566528
0.1138	0.8692	19200	0.1404	30887744
0.0988	0.8782	19400	0.1404	31208352
0.1585	0.8873	19600	0.1402	31526720
0.149	0.8964	19800	0.1397	31848736
0.1671	0.9054	20000	0.1403	32169056
0.1115	0.9145	20200	0.1394	32490752
0.1202	0.9235	20400	0.1392	32813120
0.1134	0.9326	20600	0.1393	33133696
0.1172	0.9416	20800	0.1404	33452320
0.1484	0.9507	21000	0.1396	33776032
0.138	0.9597	21200	0.1393	34099680
0.1365	0.9688	21400	0.1392	34424928
0.1381	0.9778	21600	0.1387	34748544
0.1289	0.9869	21800	0.1385	35071104
0.114	0.9959	22000	0.1393	35388960
0.0948	1.0050	22200	0.1386	35712792
0.1416	1.0140	22400	0.1390	36032952
0.1457	1.0231	22600	0.1382	36353656
0.1518	1.0321	22800	0.1381	36671480
0.1152	1.0412	23000	0.1383	36990680
0.0898	1.0503	23200	0.1383	37312248
0.1494	1.0593	23400	0.1382	37633848
0.141	1.0684	23600	0.1383	37954104
0.1674	1.0774	23800	0.1383	38272056
0.1367	1.0865	24000	0.1379	38594968
0.154	1.0955	24200	0.1379	38918264
0.1281	1.1046	24400	0.1380	39242584
0.1248	1.1136	24600	0.1375	39566872
0.1064	1.1227	24800	0.1377	39889656
0.1266	1.1317	25000	0.1378	40209528
0.1231	1.1408	25200	0.1376	40535352
0.1368	1.1498	25400	0.1372	40858264
0.1469	1.1589	25600	0.1376	41182296
0.1193	1.1680	25800	0.1373	41502296
0.1267	1.1770	26000	0.1373	41824280
0.1174	1.1861	26200	0.1369	42148504
0.1501	1.1951	26400	0.1375	42470008
0.1223	1.2042	26600	0.1372	42789400
0.1656	1.2132	26800	0.1373	43109688
0.0977	1.2223	27000	0.1378	43433720
0.132	1.2313	27200	0.1368	43755288
0.1405	1.2404	27400	0.1376	44072376
0.1808	1.2494	27600	0.1368	44391832
0.1244	1.2585	27800	0.1369	44714776
0.135	1.2675	28000	0.1375	45035480
0.1451	1.2766	28200	0.1364	45354808
0.1633	1.2857	28400	0.1366	45678200
0.1428	1.2947	28600	0.1369	45998328
0.1787	1.3038	28800	0.1365	46314552
0.1186	1.3128	29000	0.1365	46639640
0.16	1.3219	29200	0.1364	46962616
0.115	1.3309	29400	0.1363	47284152
0.1205	1.3400	29600	0.1364	47605208
0.114	1.3490	29800	0.1367	47925944
0.1468	1.3581	30000	0.1364	48250168
0.109	1.3671	30200	0.1361	48570040
0.1462	1.3762	30400	0.1363	48891448
0.1177	1.3853	30600	0.1362	49216568
0.1326	1.3943	30800	0.1363	49535352
0.1178	1.4034	31000	0.1361	49859864
0.1463	1.4124	31200	0.1361	50183160
0.132	1.4215	31400	0.1362	50505176
0.1152	1.4305	31600	0.1361	50823608
0.0973	1.4396	31800	0.1364	51142072
0.1213	1.4486	32000	0.1360	51462648
0.1113	1.4577	32200	0.1376	51788568
0.1262	1.4667	32400	0.1361	52107544
0.1216	1.4758	32600	0.1359	52430680
0.1685	1.4848	32800	0.1360	52750648
0.1673	1.4939	33000	0.1360	53070040
0.1153	1.5030	33200	0.1358	53392248
0.1286	1.5120	33400	0.1360	53715256
0.1199	1.5211	33600	0.1361	54035320
0.1476	1.5301	33800	0.1362	54359832
0.0989	1.5392	34000	0.1359	54681080
0.0929	1.5482	34200	0.1359	55004920
0.1193	1.5573	34400	0.1363	55328216
0.0958	1.5663	34600	0.1359	55651352
0.1318	1.5754	34800	0.1358	55973688
0.0937	1.5844	35000	0.1358	56295192
0.155	1.5935	35200	0.1358	56617656
0.1247	1.6025	35400	0.1358	56938168
0.1541	1.6116	35600	0.1360	57260536
0.1325	1.6207	35800	0.1359	57581848
0.1449	1.6297	36000	0.1358	57900760
0.1444	1.6388	36200	0.1365	58226104
0.1561	1.6478	36400	0.1360	58548024
0.1324	1.6569	36600	0.1356	58869400
0.1258	1.6659	36800	0.1360	59192472
0.1333	1.6750	37000	0.1358	59516888
0.1174	1.6840	37200	0.1357	59840056
0.0825	1.6931	37400	0.1357	60166712
0.1286	1.7021	37600	0.1356	60488984
0.132	1.7112	37800	0.1359	60810360
0.1167	1.7203	38000	0.1359	61132280
0.1422	1.7293	38200	0.1359	61456312
0.1309	1.7384	38400	0.1357	61776888
0.1437	1.7474	38600	0.1357	62093144
0.1101	1.7565	38800	0.1358	62410264
0.1098	1.7655	39000	0.1358	62732824
0.1343	1.7746	39200	0.1359	63054168
0.1635	1.7836	39400	0.1358	63375640
0.1005	1.7927	39600	0.1358	63697560
0.1135	1.8017	39800	0.1358	64016568
0.1291	1.8108	40000	0.1358	64338040

Framework versions

• PEFT 0.15.1
• Transformers 4.51.3
• Pytorch 2.6.0+cu124
• Datasets 3.5.0
• Tokenizers 0.21.1