LLM-based code generation for optimized quantum circuits

Thumbnail Image

Files

master_Jern_Linus_2025.pdf (3.09 MB)

URL

Journal Title

Journal ISSN

Volume Title

School of Science | Master's thesis
Unless otherwise stated, all rights belong to the author. You may download, display and print this publication for Your own personal use. Commercial use is prohibited.

Authors

Date

2025-05-24

Department

Major/Subject

Computer Science

Mcode

Degree programme

Master's Programme in Computer, Communication and Information Sciences

Language

en

Pages

78

Series

Abstract

Modern Large Language Models (LLMs) routinely exceed their natural-language origins, matching or surpassing human performance in code, mathematics and multi-modal generation. Despite this, the potential of LLMs in quantum computing remains largely unexplored. An open challenge is generating quantum circuits on a large scale using LLMs and training LLMs on quantum-specific knowledge. This thesis explores whether the capabilities of LLMs extend to quantum circuit generation: can a fine-tuned LLM read a high-level description of an optimization problem and generate a high-quality parameterized quantum circuit? We introduce an end-to-end pipeline that (i) creates a novel supervision dataset, (ii) fine-tunes the LLM, and (iii) rigorously evaluates the resulting model. We present a data-generation framework that produces 14.000 optimized circuits (QAOA, VQE and Adaptive-VQE) for 12 graph-based optimization problems, expressed in platform-agnostic OpenQASM 3.0. A 3 billion parameter pre-trained base model is then fine-tuned on this dataset. We evaluate the model using three metrics: (i) the syntactic correctness of the generated QASM 3.0 code, (ii) the generated circuit’s expectation value compared to that of the optimized circuit in the dataset, and (iii) the Kullback-Leibler divergence between the generated circuit’s output probability distribution and that of the optimized circuits. Our evaluations show that our fine-tuned model, trained on our dataset, outperforms the state-of-the-art open-weight models on generating syntactically correct quantum circuits as well as generating parameters that are closer to the ground truth. These generated circuits could potentially be used as an initial point, called warm-start, for quantum optimization algorithms, such as QAOA and VQE, or as benchmarks for quantum hardware. Parts of this work appeared in a shorter collaborative paper; the author of this thesis implemented the data-generation framework, the fine-tuning pipeline and the evaluation suite.

Moderna stora språkmodeller (LLM) överträffar ofta sitt ursprung då det gäller språkbehandling och uppnår eller till och med överskrider ofta mänsklig prestanda i komplexa uppgifter som skrivningen av kod, matematisk logik och multimodal generering. Trots detta har potentialen hos dessa språkmodeller inte utforskats i sammanhanget kvantberäkning. Det är fortfarande en öppen fråga huruvida stora språkmodeller kan användas för att generera kvantkretsar och om de kan tränas för att förstå kvantmekanikens specifika regler. I detta examensarbete undersöker vi huruvida stora språkmodellers egenskaper kan användas för att generera kvantkretsar. Vi ställer frågan: kan en finjusterad stor språkmodell förstå kontexten av en beskrivning av ett optimeringsproblem, skriven på naturligt språk, och därefter generera en kvantkrets, inklusive parametrar, som löser det givna problemet? För att svara på denna fråga introducerar vi ett ramverk som: (i) skapar ett nytt dataset av optimerade kvantkretsar för olika optimeringsproblem, (ii) finslipar en basmodell på detta dataset och (iii) utvärderar den resulterande modellen. Vi presenterar ett datagenereringsramverk som producerar 14 000 optimerade kvantkretsar, optimerade med hjälp av QAOA, VQE och Adaptive-VQE, för 12 olika grafbaserade optimeringsproblem, uttryckta i det platformsoberoende programmeringsspråket OpenQASM 3.0. En förtränad språkmodell med 3 miljarder parametrar finslipas sedan på detta dataset. Vi utvärderar modellen med hjälp av tre olika metoder: (i) den syntaktiska korrektheten för den genererade QASM 3.0-koden, (ii) den genererade kvantkretsens förväntade värde jämfört med den optimerade kvantkretsen i datasetet och (iii) Kullback-Leibler-divergensen mellan den genererade kvantkretsens sannolikhetsfördelning och den optimerade kvantkretsens sannolikhetsfördelning. Våra experiment och analyser visar att vår finslipade språkmodell som tränats på vårt dataset presterar bättre än de mest avancerade modellerna med öppenkod när de gäller att generera syntaktiskt korrekta kvantkretsar. Dessutom genererar den också parametrar till kvantkretsarna som är närmare den optimerade motsvarigheten i datasetet. Dessa kvantkretsar kan potentiellt användas som en begynnelsepunkt för kvantoptimeringsalgoritmer, såsom QAOA och VQE, ofta kallad en "warm-start", eller som referenser för testning av kvanthårdvara. Delar av detta arbete publicerades i en kortare artikel i samarbete med andra författare; författaren till detta examensarbete implementerade datagenereringsramverket, finslipningsramverket och utvärderingsverktyget.

Description

Supervisor

Zhao, Bo

Thesis advisor

Yu, Cong

Keywords

large-language models, post-training, fine-tuning, quantum circuit generation, optimization, parameter initialization

Other note

Citation

Permanent link to this item

https://urn.fi/URN:NBN:fi:aalto-202506174896

Collections

[dipl] Perustieteiden korkeakoulu / SCI