Samenvatting Wiskunde 2

Colleges en slides

2015-2016
Tu/e Eindhoven
M. Gommers
Inhoud

College 1....................................................................................................................................... 3
College 2....................................................................................................................................... 4
2-fasen manier .......................................................................................................................... 5
Big-M methode ......................................................................................................................... 6
College 3....................................................................................................................................... 7
Het Duale probleem .................................................................................................................. 8
College 4..................................................................................................................................... 10
Complementaire slackness....................................................................................................... 11
College 5..................................................................................................................................... 12
Basis tabellen .......................................................................................................................... 14
College 6..................................................................................................................................... 18
College 7..................................................................................................................................... 21
College 8..................................................................................................................................... 24
College 9..................................................................................................................................... 30
First passage time.................................................................................................................... 31
Cohorte modellen ................................................................................................................... 32
College 10 ................................................................................................................................... 33
Continue-tijd Markov ketens .................................................................................................... 33
Het Possion proces .................................................................................................................. 36
College 11 ................................................................................................................................... 37
First-passage time continue-tijd Markov keten .......................................................................... 39
College 12 ................................................................................................................................... 40
Kosten berekenen bij vernieuwingsprocessen ........................................................................... 41
Wachtrijmodellen.................................................................................................................... 41
College 13 ................................................................................................................................... 45
Het M/M/1 model ................................................................................................................... 46
Het M/M/s/K model ................................................................................................................ 46
Het M/M/s model ................................................................................................................... 48
College 14 ................................................................................................................................... 49
Het M/G/1 model .................................................................................................................... 49
Het G/M/1 model .................................................................................................................... 49
Het G/G/1 model..................................................................................................................... 50

2
College 1
Een Lineair Programmeringsprobleem (LP probleem) moet voldoen aan de volgende eisen:
o De beslissingsvariabelen (x1, x2, etc) moeten reële getallen zijn
o De restrictie dat de beslissingsvariabelen geheeltallig moeten zijn is niet toegestaan!
o De doelstellingsfunctie moet lineair zijn
o De functionele restricties moeten lineair zijn
o De doelstelling coëfficiënten moeten constant zijn

Een LP is standaard wanneer:

o Het doel is maximaliseren

o Alle functionele restricties zijn gelijkheden (=)
o Alle beslissingsvariabelen hebben een niet-negativiteitsrestrictie

Een standaard LP is makkelijk op te lossen. Daarom is het handig om een niet-standaard LP eerst om
te schrijven naar een standaard LP voor je aan het oplossen begint. Dit doe je als volgt:

1. Wanneer het doel minimaliseren is in

plaats van maximaliseren, vermenig de
doelfunctie met -1 en maximaliseer dat.
2. Als de functionele restricties geen
gelijkheden zijn maar ‘kleiner dan’, tel
een slack variable (Si ) bij de restrictie op
waardoor er wel een gelijkheid
ontstaat.
3. Als de functionele restricties geen
gelijkheden zijn maar ‘groter dan’, trek
een slack variable (Si ) van de restrictie
af waardoor er wel een gelijkheid
ontstaat.
4. Wanneer er sprake is van een
welnativiteitsrestrictie, schrijf het hele
LP om in y met y = -x.
5. Als x geen restrictie heeft moet je een
negativiteitsrestrictie invoegen door
x = x’ – x” toe te passen.

Wanneer er sprake is van een standaard LP kun je deze makkelijk oplossen door het probleem in een
tableau te plaatsen:

Wordt

3
De tabel moet je op de volgende manier lezen:
o In de meest linkse kolom staan de basisvariabelen (s 1, s2, en s3). De waardes van deze
variabelen kun je aflezen in de meest rechter kolom. Er geld dus s1 = 4, s2 = 12, en s3 = 18.
o De overige variabelen zijn altijd 0.
o Zolang er een waarde in de bovenste rij negatief is, is de oplossing niet optimaal.
o Wanneer er in de kolommen van de basisvariabelen geen eenheidsvectoren staan is de
tableau niet correct.

Om de oplossing te optimaliseren met de Simplex Methode moeten de waardes in de bovenste rij

positief gemaakt worden. X1 en x2 zullen daarom moeten intreden in de basisvariabelen. Het
maakt niets welke variabele je als eerst laat intreden. Het maakt wel uit welke basisvariabelen
moet uittreden om plaats te maken voor x 1 of x2. Dit doe je door de minimum ratio te berekenen.

Stel je kiest x2 om als eerst in te treden. Je bepaalt de

minimum ratio door de waardes onder b te delen door de
waardes onder x2. Negatieve uitkomsten of uitkomsten die 0
zijn rekenen we niet mee. De laagste ratio wordt de
uittredende basisvariabele. In dit geval is dat dus s 2.

Om de waarde -5 onder x2 te verwijderen moet je dus de rij van s2 nemen, die delen door 2 en 5 keer
van de bovenste rij aftrekken. Hierdoor ontstaat er een eenheidsvector onder x 2, waardoor dat nu de
basisvariabele wordt.

Wordt

Je voert hetzelfde trucje uit voor x 1 waarbij je zult zien dat s 3 plaats zal maken voor de intredende x 1.

Uiteindelijk
ontstaat

Nu zijn alle waardes in de bovenste rij 0 of positief, wat betekend dat de oplossing optimaal is. Dit LP
is dus opgelost met de uitkomst x1 = 2, x2 = 6, s1 = 2, s2 = 0, en s3 = 0.

College 2
Een onbegrensd LP probleem is niet oplosbaar. Er is sprake van een onbegrensd LP probleem als:

o Alle waardes in de kolom onder de intredende variabele negatief of 0 zijn. Hierdoor is er dus
geen minimum ratio mogelijk.
o Als de b waarde van de uittredende variabele 0 is.

Een LP probleem is niet-uniek wanneer de waarde onder Xi vanaf het begin al 0 is. Wanneer je deze
volgens de simplex methode wil oplossen zal je zien dat de B i waarde gelijk blijft.

4
Soms zijn de LP problemen niet zo eenvoudig dat je ze met de Simplex methode kunt oplossen. Dit
is vaak wanneer er sprake is van een of meerdere constraints die je niet met een slack variabele
kunt omvormen. Bijvoorbeeld:

De eerste en derde zijn niet mogelijk omdat s2 negatief (-20) zal zijn wanneer x1 en x2 gelijk aan 0
worden gesteld. Ook klopt de eerste constraint niet meer wanneer x 1 en x2 gelijk zijn aan 0. Er
zijn dus nog andere variabelen nodig:

Door de kunstmatige variabele a 1 en a2 toe te voegen is dit probleem opgelost omdat je nu de

optimalisatie kunt beginnen vanuit het punt x 1 = 0, x2 = 0, s1 = 10, s2 = 0, a1 = 8 en a2 = 20.

Een LP probleem dat kunstmatige variabelen bevat kun je op twee manieren oplossen, namelijk met
de 2-fasen methode en de big-M methode.

2-fasen manier
Volgens de 2-fasen manier moet je eerst de waardes van de kunstmatige variabelen minimaliseren,
om vervolgens met de gevonden oplossing het totale LP te optimaliseren. Het minimaliseren van
de kunstmatige variabelen gaat als volgt:

Hieruit volgt:

Omdat de gereduceerde waardes (de waardes in de eerste rij) van a 1 en a2 niet gelijk zijn aan 0 moet
je de tableau bewerken met rij-operaties tot dit wel het geval is. Er ontstaat:

5
Deze tableau (met de gereduceerde waardes van a 1 en a2 gelijk aan 0) optimaliseer je met de simplex
methode tot alle gereduceerde waardes 0 of positief zijn. Er ontstaat:

Alle waardes in de bovenste rij zijn nu 0 of positief dus de oplossing is optimaal. Echter, de oplossing
is optimaal voor de functie Max W = - a1 - a2. Om de doelfunctie te optimaliseren kun je de
kolommen van de kunstmatige variabelen schappen, de doelstellingsfunctie invoeren in de
bovenste regel, en uiteindelijk de simplexmethode gebruiken. Dit gaat als volgt:

Wordt

Het LP probleem is nu opgelost met de uitkomst x 1 = 4/5, x2 = 6 2/5, x3 = 0, s1 = 2 4/5 en s2 = 0.

Big-M methode
Bij de Big-M methode maak je weer gebruik van de kunstmatige variabelen. Het verschil met de twee
fase methode is dat je met bij deze methode het getal M gebruikt om het LP in een keer op te lossen.
Het getal M is een enorm groot getal dat neigt naar oneindig. Als je in de doelstellingsfunctie –Ma1 en
–Ma2 toevoegt, dwing je hiermee af dat a 1 en a2 gelijk zijn aan 0 omdat de waarde van Z ander altijd
negatief zal zijn. Dit ziet er als volgt uit:

Dit los je hetzelfde op als met de 2-fase methode. Eerst moet je met rij-operaties ervoor zorgen dat
de gereduceerde waardes van a 1 en a2 gelijk zijn aan 0. Dit ziet er als volgt uit:

6
Omdat de waardes van x 1, x2 en x3 in de bovenste rij negatief zijn, zul de tableau moeten
opschonen. Als je met x1 begint als intredende variabele (en dus a 1 als uittredende variabele) zul je
zien dat je daarna nog x 2 moet laten intreden (met a 2 als uittredende variabele), en als laatst s2
moet laten intreden (met als x 1 als uittredende variabele). De uitkomst zal zijn:

Alle waardes in de bovenste rij zijn nu 0 of positief dus de oplossing is optimaal. De waardes van de
variabelen zijn hierbij x1 = 0, x2 = 8, x3 = 0, s1 = 2 en s2 = 4.

College 3
Je kunt de optimale waarde van een LP ook proberen te schatten met een boven en een
ondergrens van de optimale waarde. Als deze boven- en ondergrens hetzelfde zijn weet je dat je de
optimale waarde gevonden hebt.

Let op! Het gaat hier om de grenzen van de optimale waarde. Niet om de grenzen van het gebied met
alle mogelijke waarden.

De ondergrens is makkelijk te schatten: je vult gewoon random getallen in voor de variabelen die wel
mogelijk zijn voor zijn voor het LP (met alle constraints in gedachten). De waarde voor Z die hier uit
komt is een mogelijke ondergrens voor de optimale waarde. Het kan zijn dat er nog hogere
ondergrenzen te vinden zijn als je andere waardes in vult, maar een lagere ondergrens is niet
mogelijk, omdat die oplossing dan niet meer optimaal zou zijn.

De bovengrens kun je op verschillende manieren bepalen. Je kunt om te beginnen altijd gewoon de

hoogste waardes van x 1 en x2 invullen om de maximale bovengrens te bepalen. In dit geval:

Om de bovengrens iets specifieker te schatten kun je ook de verschillende constraints omschrijven

tot je ze makkelijk kunt combineren en invullen. In dit geval:

De bovengrens is nu 3200. Omdat de ondergrens ook al 3200 was kun je met zekerheid zeggend dat
de optimale oplossing van dit LP probleem 3200 is.

7
Het Duale probleem
Bij bijna ieder LP probleem kun je naar een optimale
uitkomst toe werken. Tegelijk met dat je deze
optimale uitkomst aan het berekenen bent is er een
duaal probleem dat precies het tegenovergestelde
doet. Als het primale probleem de ondergrens
maximaliseerd, is het duale probleem de bovengrens
aan het minimaliseren (zie plaatje). Als deze twee
problemen komen elkaar tegen in de optimale
uitkomst.

Je kunt een duaal probleem vormen door de volgende bewerkingen op het primale probleem te
doen:

1) Kies multiplyers y1, y2, … , yn voor iedere constraint die je hebt.

: Y1 = multiplyer van constraint 1

: Y2 = multiplyer van constraint 2
: Y3 = multiplyer van constraint 3

2) Schrijf de doelfunctie om. Hierbij word minimaliseren altijd maximaliseren, de variabele van x
worden vervangen door de variabelen y, en de multiplyers van x worden vervangen door de waardes
van de constraints van het primale probleem.

De doelfunctie van het duale probleem wordt dus:

3) Vorm de constraints van het duale probleem door de constraints van het primale probleem om te
schrijven naar y. De waardes achter de constraints worden afgeleid van de doelfunctie van het
primale probleem.

Primaal: Duaal:

8
4) Merk op dat het Duale probleem het tegenovergestelde is van het primale probleem en dat x 1 en
x2 dus ook multiplyers van de constraints van het duale probleem zijn. Er geld dus:

: X1 = multiplyer van constraint 1

: X2 = multiplyer van constraint 2

Bij het primale LP probleem is gegeven dat x 1 en x2 allebei een positiviteits-restrictie hebben.
Daarom kun je de constraints allebei een ‘groter dan’ teken geven (het tegenovergestelde van
‘kleiner dan’ in het primale probleem). Als x 1 en x2, of een van beide variabelen géén positiviteits-
restrictie zouden hebben, moet je juist weer het tegenovergestelde teken toevoegen aan de
bijbehorende constraint.

Als het duale probleem luidt: Dan geldt voor het primale probleem:
variabele-restrictie ≥0 ‘positiviteits-restrictie’ functie-restrictie ≥ ‘groter dan’

vrij ‘vije variabele’ = ‘gelijk aan’

≤0 ‘negativiteits-restrictie’ ≤ ‘kleiner dan’

5) Je moet nu alleen nog aangeven in het duale probleem of de variabelen een positiviteits-restrictie
hebben of juist niet. Dit lijkt erg op regel 4, want eigenlijk doe je hier precies het tegenovergestelde.
Merk op dat in het primale probleem alleen maar ‘kleiner dan’ tekens in de constraints staan. Dit is
standaart voor een minimalisatieprobleem, dus je kunt stellen dat alle y-variabelen een
positiviteitsrestrictie hebben. Er ontstaat dus:

Wanneer een van de tekens in de constraints van het primale probleem dus geen ‘kleiner dan’ maar
een ‘groter dan’ teken geweest zou zijn, zou de bijbehorende multiplyer dus geen positiviteits- maar
een negativiteits-restrictie krijgen.

Als het duale probleem luidt: Dan geldt voor het primale probleem:

functie-restrictie ≤ ‘kleiner dan’ variabele-restrictie ≥0 ‘positiviteits-restrictie’

= ‘gelijk aan’ vrij ‘vije variabele’

≥ ‘groter dan’ ≤0 ‘negativiteits-restrictie’

Let op! De ‘groter/kleiner dan’ tekens in de constraints van een LP zijn dus gelinkt aan de
positiviteits/negativiteits-restrictie van het tegenovergestelde LP. Een maximalisatie LP heeft
standaart een ‘kleiner dan’ teken in de constraints, een minimalisatieprobleem heeft standaart
een ‘groter dan’ teken in de constraints. Wanneer dit bij een van die constraints dus niet het geval
is, heeft de bijbehorende multiplyer geen positiviteits- maar een negativiteits-restrictie!!

9
College 4
Omdat het primale en duale probleem tegenovergestelde
van elkaar zijn, zijn de oplossingsruimtes ook
tegenovergesteld van elkaar. Stel dat het primale probleem
onbegrensd (unbounded) is (en dus alle oplossingen
mogelijk zijn), kan het niet anders dat voor het duale
probleem geen enkele oplossing mogelijk is. Hierdoor is
het duale probleem dan onoplosbaar (infeasible).
Hieronder staat een overzicht van alle oplossingsruimtes:

Primale probleem = onbegrensd → Duale probleem = onoplosbaar

Duale probleem = onbegrensd → Primale probleem = onoplosbaar

Primale probleem = oplosbaar → Duale probleem = oplosbaar

Primale probleem = onoplosbaar → Duale probleem = onoplosbaar of onbegrensd

Als het primale probleem dus onoplosbaar is, dan is het duale probleem dus onoplosbaar of
onbegrensd. Om dit uit te zoeken moet je kijken of er een antwoord uit het probleem komt wanneer
je willekeurige waardes aan de variabelen toekent. Als er een oplossing gevonden word, is het
probleem onbegrensd. Wanneer er geen oplossing uit het probleem komt is het probleem dus
onoplosbaar, onafhankelijk van de waardes voor de variabelen die je kiest.

Wanneer je een LP probleem gaat uitrekenen volgens de simplex methode moet je soms heel veel rij-
operaties uitvoeren voordat je bij het optimale antwoord uit komt. Al deze rij-operaties kun je ook
samenvatten in één matrix (de matrix M), waarbij je vervolgens deze matrix met het LP probleem
vermenigvuldigd. Deze matrix kun je opstellen als je de slack-variabelen van het optimale simplex
tableau al gegeven hebt.

Stel je hebt het volgende LP probleem gegeven, met de volgende optimale simplex tableau:

Met

Er valt op dat sommige kollommen veranderd zijn (die onder x 1, x2, s1, s2 en s3) en andere kolommen
niet (die onder Z). Wat interressant is, is dat de kollommen onder Z, s 1, s2 en s3 bij elkaar samen een
eenheidsmatrix vormen:

Is bij elkaar

10
Van eenheidsmatrixen weten we dat als je een gewone matrix X met een eenheidsmatrix
vermenigvuldigd, dat er dezelfde matrix X uitkomt. Omdat we matrix M willen vinden, die
van het initiële LP de het optimale LP kan maken, moeten we dus kijken naar wat er in het
optimale LP onder de s1, s2 en s3 staat:

Het initiële en optimale simplex model waren als volgt:

En

Hieruit kun je opmaken dat:

Dus

Nu je de matrix M gevonden hebt, kun je het initiële LP makkelijk en snel omrekenen naar
het optimale LP. In dit geval kun je dus de kolom onder B berekenen:

Voor dit LP geldt dus dat s1 = 2, x1 = 6 en x2 = 2 met de optimale waarde van het LP = 36.

Zoals je ziet heb je alleen de kolommen onder de slack-variabelen nodig om de matrix M uit te
rekenen, en niet de kolommen onder de gewone x-variabelen. Je zou dus eventueel ook de
kolommen onder x1 en x2 kunnen uitrekenen met de M matrix, maar omdat die niet veel over de
optimalisatie zeggen worden die vrijwel nooit gevraagd.

Complementaire slackness
Een bijkomend maar zeker niet onbelangrijk verschrijnsel is dat: in de optimale oplossing van het
primale probleem, de waarde onder s1, s2 en s3 gelijk zijn aan de optimale waardes van y1, y2 en y3 in
het duale probleem. Stel het primale probleem, en zijn optimalisatie zijn als volgt:

Optimalisatie
→

Dan geldt er dus voor het duale probleem: De optimale waarde van y 1 = 0, van y2 = 20 en van y3 = 6.

11
De regel van de complementaire slackness is als volgt: Als x1, x2, … , xn de optimale oplossing
is van het primale probleem, en y1, y2, … , ym is de optimale oplossing van het duale probleem,
dan geldt:

En omdat:

→ = si

Dus de vergelijking is eigenlijk als volgt:

si

Dit wil zeggen dat als er een si is, yi gelijk is aan 0, en andersom. Hiermee kun je altijd
controleren of je de optimalisatie goed berekend hebt. Let wel op dat een het niet gaat om
de waardes onder s1, s2 en s3 in dit geval, maar om de waardes in de meest rechter kolom (en
of de variabelen hier voorkomen).

College 5
Optimalisatieproblemen komen ook vaak in de ‘echte’ wereld voor. Zo wordt er voor
transportproblemen vaar optimalisatie gebruikt. In deze gevallen komen de volgende
variabelen altijd voor:
o m-aantal producenten
o n-aantal consumenten
o s1, s2, …, sm zijn de hoeveelheden van producten die producenten 1 t/m m
aanbieden
o d1, d2, …, dn zijn de hoeveelheden van producten die consumenten 1 t/m n vragen
o Ci j zijn de transportkosten van producten i naar consument j (per producteenheid!)

Doel: Bepaal de hoeveelheid x i j dat van producent i naar consument j moet worden
getransporteerd, waarbij de transportkosten minimaal moeten zijn. Het aanbod en de vraag
moeten beide volledig benut/vervuld worden. Er geld dus:

Stel, de volgende situatie doet zich voor: Een bank doet verschillende soorten overboekingen.
Afdeling 1 kan maximaal 9000 overboekingen doen, en afdeling 2 kan maximaal 6000 overboekingen
doen. De drie verschillende overboekingen zijn ‘buitenlands’, ‘spoed’ en ‘zakelijk’, en iedere dag
moeten er 5000 overboekingen per soort plaatsvinden. De kosten zijn:

Afdeling 1 Afdeling 2
Buitenlands 5 cent 3 cent
Spoed 4 cent 4 cent
Zakelijk 2 cent 5 cent

12
Uit dit verhaal kun je een het probleem schetsen, en vervolgens een LP probleem opstellen dat je
kunt minimaliseren/maximaliseren. Als je niet weet wat de producenten of consumenten zijn, kijk
dan naar de kosten C i j. De twee sectoren i en j waartussen transportkosten aanwezig zijn, zijn altijd
de producenten en consumenten, het maakt verder niet uit als je de producenten en consumenten
omwisselt.

Omdat het bovenstaande probleem een kosten-minimalisatie is ontstaat het volgende LP:

In dit geval is de vraag en aanbod gelijk. Wanneer de het aanbod groter is dat de vraag, kun je niet
zomaar een LP opstellen, omdat deze twee gelijk moeten zijn. Je moet een dummy opstellen (een
fictieve consument) die precies het overgebleven aanbod als vraag heeft. Deze dummy heeft altijd
transportkosten 0. Dummy’s kunnen zowel producenten als consumenten zijn.
Wanneer afdeling 1 dus 10.000 overboekingen per dag kan doen, blijven er 1000 overboekingen
over, en ontstaat het volgende LP:

Als je het LP wil oplossen, kun je gewoon een logische route schatten. Echter, wanneer er in de
gekozen route een cyclus voorkomt, is de oplossing nooit optimaal. Let op, je kunt niet zomaar
stellen dat de oplossing optimaal is wanneer er geen cyclus aanwezig is!

Een cyclus kun je op de volgende manier wegwerken:

1) Begin bij een verbinding, en tel daar een waarde ‘a’ bij op. Om nog aan het vraag/aanbod te
kunnen voldoen moet je bij een andere verbinding weer de waarde ‘a’ eraf halen. Dit gaat zo door
tot de cyclus rond is.

13
2) Kies de verbinding met de kleinste hoeveelheid producten, en kies vervolgens de waarde ‘a’ zo dat
deze verbinding gelijk word aan 0. De cyclus is verbroken. Als er een nieuwe cyclus ontstaan is in
deze stap moet de dit blijven doen tot er geen cyclus meer is. In het voorbeeld wordt er dus gekozen
voor a = 1000.

Basis tabellen
Een andere manier om de optimale oplossing te vinden van een transportprobleem is met
behulp van een Basis. Dit is een ander soort tabel dan de simplex-methode, maar het werkt
ongeveer hetzelfde. Een basistabel ziet er als volgt uit:

Met de getallen van het voorbeeld:

Om de waardes van alle x i j te vinden, en de optimalisatie uit te rekenen, moet je beginnen

met een willekeurige mogelijke oplossing. Als je deze gevonden hebt kun je de tabel steeds
veranderen tot de oplossing ook optimaal is. De willekeurige oplossing om mee te beginnen
kun je op twee manieren vinden: de Noord-West hoek methode, of de minimale kosten
methode.

De Noord-West hoek methode werkt als volgt: Je begint in de linkerbovenhoek, je geeft

deze x11 de hoogt mogelijke waarde zodat de producent, of de consument vervuld is.
Vervolgens ga je naar rechts als de producent nog meer kan produceren, of naar onder als
de consument nog niet genoeg producten had. Dit blijf je doen tot de tabel kloppend is
ingevuld:

√ √
√

√ √ √ √ √

14
De Minimale kosten methode werkt als volgt: Je begint in het vak met de kleinste kosten
per eenheid, je geeft deze x i j de hoogt mogelijke waarde zodat de producent, of de
consument vervuld is. Daarna ga je naar het volgende vak met de kleinste kosten per
eenheid en doe je hetzelfde. Wanneer de producenten vervult zijn, maar er is nog vraag
over, ben je genoodzaakt om de vraag aan te vullen met het duurdere alternatief. Dit blijf je
doen tot de tabel kloppend is ingevuld:

√
√

√ √ √ √ √ √
Het is belangrijk dat het aantal gevonden basisvariabelen Xi j gelijk is aan het aantal rij-
variabelen (alle Ui ) plus het aantal kolom-variabelen (alle Vj) min 1. Als dit niet het geval is
heb je ergens een fout gemaakt. Controleer dus altijd:

Als je eenmaal met de Noord-West hoek methode, of met de Minimale kosten methode
een beginsituatie gevonden hebt, moet je gaan onderzoeken of dit ook de optimale situatie
is. In de meeste gevallen is dit niet zo. De situatie is optimaal wanneer geld:

Ui en Vj kun je bepalen aan de hand van de begintabel. Neem het volgende voorbeeld:

1) Maak uit deze tabel 4 2 u1

een tabel met alle C i j 3 4 u2
→ v1 v2 v3

2) Geef de rij of kolom met het grootst aantal basisvariabele de waarde 0. Het maakt niet
uit welke rij of kolom je kiest. Kies de andere waardes zó dat voor alle basisvariabelen de
regel Ci j = ui + vj geld. Dit doe je als volgt:
o U1 = 0 De tabel wordt:
o V3 = 2 want de regel is C13 = U1 + V3 dus 2 = 0 + V3 4 2 0
o V2 = 4 want de regel is C12 = U1 + V2 dus 4 = 0 + V2 3 4 0
o U2 = 0 want de regel is C22 = U2 + V2 dus 4 = U2 + 4 3 4 2
o V1 = 3 want de regel is C 21 = U2 + V1 dus 3 = 0 + V1

3) Controleer of de cellen zonder basisvariabelen in de tabel ook voldoen aan de regel

Ci j ≥ ui + vj. Zo ja, de oplossing is optimaal. Zo nee, de oplossing is niet optimaal.
o De cel van C 11 voldoet niet aan de regel:
5 4 2 0
C11 = 5 en U 1 + V1 = 3
o De cel van C 23 voldoet niet aan de regel: 3 4 5 0
C23 = 5 en U 2 + V3 = 2 3 4 2
15
Als de oplossing niet optimaal is moet je net als bij de simplex methode 1 variabele introduceren, en
een andere variabele weghalen. De variabele die geïntroduceerd wordt komt altijd in een niet-
kloppende cel te staan (die niet voldoet aan C i j ≥ ui + vj). De waarde van deze variabelen is afhankelijk
van de keten die deze cel met de andere variabelen vormt. Een keten bestaat altijd uit 1 horizontale
stap, 1 verticale stap, 1 horizontale stap, etc. Je geeft de cel met de uittredende variabele de waarde
+ α, op het volgende hoekpunt van de keten - α , daarna + α , etc. De optimalisatie staat hieronder
beschreven aan de hand van een voorbeeld:

Aanbod↓
3 1 5 ∞ ∞ 7000
Kosten 6 2 4 1 2 10000

∞ 9 1 3 5 3000
Vraag 6000 4000 1000 7000 2000

Als er oneindigheden in de kostentabel voorkomen betekend dit dat de kosten zo hoog zijn, dat deze
route nooit genomen zal worden. Met het controleren zijn deze dus altijd correct omdat de C i j hier
altijd groter zal zijn dan de Ui + Vj.

Start hoeveelheden (noord west hoek) Kosten

6000 1000 7000 3 1 0
3000 1000 6000 10000 2 4 1 (2) 1
1000 2000 3000 (1) 3 5 3
6000 4000 1000 7000 2000 3 1 3 0 2

Er kloppen hier nog 2 cellen niet. Het maakt niet uit in welke cel je een variabele laat intreden, maar
we beginnen hier met de meest linkse cel. De waarde van α is hier gelijk aan 1000 zodat de kleinste
basisvariabele in de cyclus gelijk word aan 0.

Hoeveelheden Hoeveelheden
6000 1000 7000 6000 1000 7000
3000 1000 6000 10000 3000 0 7000 10000
-α +α
+α 1000 2000 3000 1000 0 2000 3000
-α
6000 4000 1000 7000 2000 6000 4000 1000 7000 2000

Om gelijk te blijven aan N + M – 1 basisvariabelen halen we een cel met waarde 0 weg. Het maakt
niet uit welke cel dit is. Meestal kies je de cel die al het langst de waarde 0 bevat. Die nieuwe
variabele die net ingetreden is krijgt de bijbehorende C i j in de kostentabel. Er ontstaat dus een
nieuwe situatie:

16
 Hoeveelheden Kosten
6000 1000 7000 3 1 0
3000 0 7000 10000 2 4 1 (2) 1
1000 2000 3000 1 5 -2
6000 4000 1000 7000 2000 3 1 3 0 7

Omdat de situatie nog steeds niet optimaal is herhaal je dit proces tot de situatie wel optimaal is:

Let op! Omdat er een waarde 0- α in de keten zit

kun je niet anders dan te kiezen voor α = 0 omdat
je anders een negatieve hoeveelheid krijgt, wat
onmogelijk is. Hierdoor ontstaat er een tweede 0
in de basisvariabelen. Om het aantal N + M -1
gelijk te houden kun je nu de eerste 0 weghalen
en verder gaan met de optimalisatie.

Hoeveelheden Kosten
6000 1000 7000 3 1 0
3000 7000 0 10000 2 1 2 1
1000 2000 3000 1 (3) 5 4
6000 4000 1000 7000 2000 3 1 -3 0 1

Nog een optimalisatie stap, waarbij geld α = 2000, geeft het volgende resultaat:

Hoeveelheden Hoeveelheden
6000 1000 7000 6000 1000 7000
3000 7000 0 + α 10000 3000 5000 2000 10000
-α
1000 +α 2000 3000 1000 2000 0 3000
-α
6000 4000 1000 7000 2000 6000 4000 1000 7000 2000

Hoeveelheden Kosten
6000 1000 7000 3 1 0
3000 5000 2000 10000 2 1 2 1
1000 2000 3000 1 3 3
6000 4000 1000 7000 2000 3 1 -2 0 1

Alle cellen voldoen aan de regel C i j ≥ Ui + Vj dus de oplossing is optimaal. Er zijn dus 7 routes die de
volgende hoeveelheden meenemen:

X11 = 6000 X12 = 1000 X22 = 3000 X24 = 5000 X25 = 2000 X33 = 1000 X34 = 2000
17
College 6
Dynamische programmeringsproblemen zien er vaak als volgt uit:
o Een fabriek kan 5 miljoen investeren
o Deze 5 miljoen moet verdeeld worden over fabriek 1, 2 en 3
o Elke investering heeft bepaalde kosten ( c ) en opbrengsten op de lange termijn ( r )

Als de kosten als volgt zijn verdeeld, wat is dan de optimale verdeling van de 5 miljoen euro?

1) Omdat er drie verschillende fabrieken zijn delen we het probleem op in drie verschillende delen.
Als er meerdere fabrieken zouden zijn, zou de uitwerking dus ook meerdere stappen bevatten. Begin
met fabriek 1 en maak een overzicht van alle mogelijke opbrengsten. Dit doe je door in de
bovenstaande tabel te kijken, en alle mogelijke combinaties over te nemen:
o SFi = Het budget dat je gaat investeren in fabriek i
o VnFi = Voorstel nummer n, dat geld voor fabriek i

SF1 V1F1 V2F1 V3F1 Winst F1 Optimale voorstel F1

0 0 - - 0 1
1 0 5 - 5 2
2 0 5 6 6 3
3 0 5 6 6 3
4 0 5 6 6 3
5 0 5 6 6 3

De onderste rijen van de tabel zijn steeds hetzelfde, omdat je in fabriek 1 niet meer dan 2 miljoen
euro kunt investeren (zie eerste tabel).

2) Doe nu precies hetzelfde voor fabriek 2. Ga ervan uit dat je zo veel mogelijk geld in fabriek 2
besteed, en al het budget altijd opmaakt. Dus als je niet het gehele bedrag in fabriek 2 besteed,
besteed je het andere gedeelte in fabriek 1. De maximale winst is dus een combinatie van de winst
van fabriek 1 en 2:

SF1 Winst F1 SF2 V1F2 V2F2 V3F2 V4F2 Winst F1 + F2 Optimale voorstel
0 0 0 0 - - - 0 1
1 5 1 5 - - - 5 1
2 6 2 6 8 - - 8 2
3 6 3 6 13 9 - 13 2
4 6 4 6 14 14 12 14 2 of 3
5 6 5 6 14 15 17 17 4

3) Dit doe je nog een keer bij fabriek 3. Ga er nu van uit dat je zo veel mogelijk geld in fabriek 3
besteed, en al het budget altijd opmaakt. Dus als je niet het gehele bedrag in fabriek 3 besteed,
besteed je het andere gedeelte in fabriek 1 en 2. De maximale winst is dus een combinatie van de
winst van fabriek 1, 2 en 3:
18
 SF1 Winst F1 + F2 SF2 V1F2 V2F2 Winst F1 + F2 + F3 Optimale voorstel
0 0 0 0 - 0 1
1 5 1 5 - 5 1
2 8 2 8 9 9 2
3 13 3 13 12 13 2
4 14 4 14 17 17 2
5 17 5 17 18 18 2

Je ziet dus dat 18 de meest optimale oplossing is. Als je tijd wil besparen kun je ook alleen de laatste
rij van de tabel uitrekenen, omdat je altijd de hoogste winst hebt wanneer je maximaal investeert.
Als je in de tabel kijkt kun je hiermee de combinatie van voorstellen kiezen:
o De totale 18 miljoen wordt gehaald wanneer je in fabriek 3 voorstel 2 introduceert. Dit kost
je 1 miljoen, dus er is nog 4 miljoen in fabriek 1 en 2 geïnvesteerd.
o In de winsttabel van fabriek 1 en 2 zie je dat de winst die afkomstig is van deze fabrieken
gelijk is aan 14 miljoen. Deze winst wordt behaald wanneer er in fabriek 2 voorstel 2 of 3
geïntroduceerd word. Deze voorstellen kosten 2 en 3 miljoen euro, dus in fabriek 1 moet ook
nog 1 of 2 miljoen euro geïnvesteerd zijn.
o Als er in fabriek 1 in totaal 1 miljoen euro geïnvesteerd word, is voorstel 2 het best. Als er in
2 miljoen euro in fabriek 1 geïnvesteerd word, is voorstel 3 het best.

De mogelijke combinaties van voorstellen die de winst maximaliseren zijn dus:

fabriek 1 fabriek 2 fabriek 3

Optimalisatie 1 Voorstel 3 Voorstel 2 Voorstel 2
Optimalisatie 2 Voorstel 2 Voorstel 3 Voorstel 2

Dit is een vrij simpel voorbeeld, omdat je iedere fabriek een uitkomstenruimte heeft van 0 tot 5
miljoen euro. Je kunt dus precies kiezen hoe je het wil verdelen. Soms ben je echter verplicht om
geld uit te geven aan alle, of bepaalde onderdelen. Dit maakt de optimalisatie moeilijker.

Neem bijvoorbeeld het geval van een apparaat met 3 componenten. Ieder component kan een
aantal extra parallelle onderdelen krijgen waardoor de betrouwbaarheid van het component groter
word. Het is echter wel verplicht dat ieder component tenminste 1 extra onderdeel bevat. De
volgende tabel ontstaat:

Omdat je dus verplicht bent om geld te spenderen aan ieder component, moet je de
toestandsruimte van ieder component bepalen. Dit is dus de verzameling van mogelijke budgetten
die je tot je beschikking hebt per component. Hierbij begin je bij de laatste component, zodat je de
kosten kunt inrekenen die je voor de voorgaande componenten hebt moeten maken:
o S3: De minimale kosten die je voor 1 en 2 moet maken zijn bij elkaar 4 euro. Omdat je in
totaal 10 euro tot je beschikking hebt is het maximum dus 6 euro. Het minimum budget dat
je nodig hebt voor component 3 is 2 euro. De toestandsruimte wordt dus S3 = {2,3,4,5,6}.
o S2: De minimale kosten die je voor 1 moet maken zijn 1 euro. Omdat je in totaal 10 euro tot
je beschikking hebt is het maximum dus 9 euro. Het minimum is 7 euro, omdat je aan

19
 component 1 maar maximaal 3 euro kunt uitgeven, dus dan blijft in ieder geval 7 euro over
voor component 2 en 3. De toestandsruimte wordt dus S2 = {7,8,9}
o S1: De maximale kosten voor 1, 2 en 3 zijn 10 euro, dus het maximum van de laatste fase van
de berekening is 10. Omdat je wel de maximale betrouwbaarheid wil bereiken moet je je
complete budget investeren, dus dan wordt de toestandsruimte: S 1 = {10}.

Hieronder staat nog een andere vorm van een dynamisch probleem gegeven. Als je de kortste route
wil vinden van A naar B is het handig om bij B te beginnen. Van B uit kies je voor ieder knooppunt
steeds de minimale route richting B. Als je eenmaal bij A aangekomen bent kun je de kortste weg
terug naar B bepalen.

20
College 7
Een Stochastisch Proces is een verzameling van stochastische variabelen die het gedrag in de tijd (kans)
beschrijven van een systeem dat onderhevig is aan toeval.

Er is een verschil tussen een discreet en een continu proces. Discreet wil zeggen dat het gaat om een
bepaald moment in de tijd, of om een bepaalde toestand die in een begrensde verzameling valt.
Continu wil zeggen dat het gaat om een proces (functie) in de tijd, en dat de toestand onbegrensd is.

Voor de tijd geld: Voor de toestand geld:

Soms kun je de discrete-tijd Markov keten (DTMC) gebruiken om een kans uit te rekenen. De regel is
als volgt geformuleerd:

Deze regel houd in dat wanneer je het heden (Xn ) weet, je de kans op het proces van de toekomst
(xn+1) kunt bepalen, waarbij het verleden (X0 , … , Xn-1) geen invloed heeft.

Alle kansen kun je weergeven in een 1-staps-overgangsmatrix. Zo’n kansenmatrix is afgeleid uit alle
kansen die mogelijk zijn in de toekomst ( de kans dan situatie 1 situatie 1 blijft, de kans dat situatie 1
situatie 2 wordt, etc.). Alle kansen die beginnen in situatie N blijven in dezelfde rij en zijn dus
opgeteld altijd 1.

Uit de onderstaande situatie komt dus de volgende 1-staps-overgangsmatrix:

Bij stochastische processen kunnen we zeggen dat de 1 e -stapsovergang altijd tijds-homogeen is.
Hiermee word bedoeld dat het niet van de tijd afhankelijk is wanneer de eerste gebeurtenis plaats
vind. Het is pas tijdsafhankelijk wanneer je gaat berekenen wat de kans is dat er 2 of meer
gebeurtenissen in een tijdsperiode plaats vinden.

21
Voorbeeld situatie (voorraadmodel):
o Elke vrijdag middag is er inspectie van de voorraad
o De voorraad is Xn met n = het weeknummer
o Als de voorraad kleiner is dan s=2, dan wordt hij in het weekend aangevuld tot S=5
o De vraag gedurende week n = Dn
o De kans dat de vraag gelijk is aan k is: P(D n = k) = dk
o Laat alle Xn in de 1-staps-overgangsmatrix de voorraad op maandag ochtend zijn

De volgende 1-staps-overgangsmatrix ontstaat:

Er zijn 4 mogelijke vormen die Xn kan aannemen, namelijk 2, 3, 4 en 5. Dit is omdat 5 de maximale
waarde van de voorraad is, en omdat de voorraad op maandag ochtend niet lager dan 2 kan zijn,
omdat hij anders in het weekend zou zijn aangevuld tot 5. De toestandsruimte S = {2,3,4,5}. Lees de
matrix dus als volgt:

De d0 linksboven in is dus de kans dat de voorraad 2 is,

2 3 4 5
en een week later nog steeds 2. Dit is dus de kans dat
2
de vraag in die week 0 is: d0. De situatie dat de
3 voorraad 2 is, en een week later 3 of 4 is niet mogelijk,
4 want de voorraad word altijd tot 5 aangevuld, daarom
5 is deze kans gelijk aan 0.

Omdat alle kansen in een rij opgeteld gelijk zijn aan 1 is de kans dat de ene week de voorraad 2 is, en
een week later de voorraad 5 gelijk aan ( 1-d0 ). Zo kun je de hele tabel lezen. Zorg dus altijd dat je de
verzameling van de toestandsruimte duidelijk hebt voor je een matrix gaat maken of lezen.

Alle 1-staps-kansen kun je dus gewoon aflezen uit de 1-staps-overgangsmatrix. Maar als je wil weten
wat de kans is op een waarde van X na meerdere stappen wordt het moeilijker. Een voorbeeld is:

De vraag is dus: Wat is de kans dat na 5 stappen geld X = 5, gegeven dat de huidige situatie is X = 1?
Dit kun je niet aflezen uit de 1-staps-overgangs matrix. Echter, er is bewezen dat als je de 1-staps-
overgangsmatrix kwadrateert, je de 2-staps-overgangsmatrix krijgt. Hieruit volgt de regel:

Om de kans op X = 5 na 5 stappen te berekenen moet je dus de 1-staps-overgangsmatrix tot de

macht 5 nemen. Deze matrix heeft een toestandsruimte van S = {1,2,3,4,5}.

Wordt

22
Uit de 5-staps-overgangsmatrix kun je nu het antwoord aflezen. De kans dat na 5 stappen geld X = 5,
gegeven dat de huidige situatie is X=1 staat helemaal rechts bovenaan, en is 0.6309.

Meestal bereken je deze matrixen met de computer, maar als je het met de hand moet doen gaat
het als volgt.

Tot nu toe weet je dus hoe je een kans kunt aflezen uit een overgangsmatrix. Je kunt ook alle kansen
berekenen per toestand voor de hoeveelheid stappen n. Dit noem je de Transiënte verdeling. Dit
doe je door de beginsituatie om te vormen naar een vector, en die vector te vermenigvuldigen met
de overgansmatrix tot de macht n. Stel je huidige situatie is X1, dan krijg je dus de vector a(0) =
[1,0,0,0,0]. Als je huidige situatie is X2, dan krijg je de vector a(0) = [0,1,0,0,0], etc. Om de kansen per
toestand na n aantal stappen te berekenen krijg je dus voor a(0) = [1,0,0,0,0]:

Wat volgt uit:

Let op! De vermenigvuldiging a(0) x Pn is niet hetzelfde als Pn x a(0)! Je kunt de transiënte verdeling ook
berekenen door a(n) = a(n-1) x P te nemen.

Als je de kans op een gebeurtenis weet kun je natuurlijk ook de verwachting uitrekenen. De
verwachting van hoe vaak alle uitkomsten voorgekomen zijn (is dus een matrix) na n aantal stappen,
kun je uitrekenen door de identiteitsmatrix op te tellen bij alle overgangsmatrixen tot de macht 1
t/m n. Dit ziet er als volgt uit:

Matrixen optellen doe je gewoon individueel per plaats in de matrix. Het is logisch dat de
verwachting is dat toestand 4 en 5 vaker voorkomen, omdat dat de eindtoestanden zijn (zie schema).
Een identiteitsmatrix ziet er altijd als volgt uit:

23
College 8
Om het gedrag van stochastische processen op lange termijn te bekijken moet je met limieten van de
Markov-keten gaan werken die je van 0 tot oneindig stelt. Hierbij stel je jezelf altijd de volgende
vragen:
o Bestaat de limietverdeling?
o Is de limietverdeling uniek? Of is de uitkomst van het limiet altijd anders voor iedere
beginverdeling?
o Wat is de uitkomst van het limiet?

Een stationaire verdeling is een verdeling waarbij een beginverdeling bestaat waarvoor geld
dat op ieder tijdstip sprake is van dezelfde transiënte verdeling als de beginverdeling. Een
voorbeeld is de onderstaande situatie wanneer je als beginverdeling [½, ½] neemt.

Een occupatie verdeling is een verdeling die de fractie van het tijdsbestek uit rekent waarin
het proces zich in een specifieke situatie bevind. Dit doe je als volgt:

= het aantal keren dat de situatie j voorkomt, in het tijdsbestek {0,1,2,…,n}.

= het verwachte aantal keren dat de situatie j voorkomt, in het tijdsbestek
{0,1,2,…,n}.
= het verwachte aantal keren dat de situatie j voorkomt, in het tijdsbestek
{0,1,2,…,n}, gedeeld door het aantal tijdseenheden (n+1).

= De occupatie verdeling. Dit is dus de fractie van het tijdbestek dat

het proces zich in situatie j bevind, wanneer n naar oneindig gaat.

Een Markov-keten is irreducibel als voor alle i en voor alle j geld dat het in k aantal stappen
mogelijk is om van i naar j te gaan en andersom, met k > 0. Als dit niet mogelijk is noem je
de Markov-keten reducibel.

Een Markov-keten is periodiek als voor ieder punt I in het proces geld dat er een
mogelijkheid is om in n aantal stappen terug te keren naar dit punt I. De grootste deler
noemen we d, en voor d > 1 is het proces periodiek, en voor d = 1 geld dat het proces
aperiodiek is.

Pi j(n) = de overgang in proces P van toestand i naar toestand j in n-aantal stappen.

Voorbeeld 1: P11(2), P11(3), P11(4), P11(5) de grootste deler is 1, dus d=1, het proces is aperiodiek.
Voorbeeld 2: P11(2), P11(4), P11(6), P11(8) de grootste deler is 2, dus d=2, het proces is periodiek.

24
Dit wil zeggen dat als je een irreducibele en apreriodieke Markov keten hebt, hoef je alleen
𝜋 = 𝜋 𝑃 uit te rekenen, en dan is dit de uitkomst voor de limietverdeling, stationaire
verdeling en de unieke occupatieverdeling. Zo’n vergelijking kun je op de volgende manier
oplossen:

1) π = π P

2) π = π

3) Stel nu een vector op voor π die hetzelfde aantal kolommen heeft als de overgangsmatrix:

(π1 π2) = (π1 π2)

4) Schrijf nu deze vergelijking om naar twee losse vergelijkingen, en vereenvoudig die:

π1 = ½ π 1 + ¾ π 2 is gelijk aan ½ π 1 = ¾ π2 is gelijk aan π1 = 3/2 π2

π2 = ½ π 1 + ¼ π 2 is gelijk aan ½ π 1 = ¾ π2 is gelijk aan π2 = 2/3 π1

5) Het is toevallig hier het geval dat de vergelijkingen hetzelfde zijn, maar dat is niet
altijd het geval. Je bent geïnteresseerd in de vergelijkingen waarvoor geld dat de som van
alle πi gelijk is aan 1. Dus de volgende vergelijking wordt toegevoegd:

π 1 + π2 = 1

6) Herschrijf deze vergelijking en reken hem uit:

3/2 π2 + π2 = 1 of π1 + 2/3 π1 = 1
π2 = 2/5 en π1 = 3/5

Deze limietberekening toont dus aan dat op de lange termijn de kans op toestand 2 gelijk
is aan 2/5, en de kans op toestand 1 gelijk is aan 3/5.

25
Het uitrekenen van een Markov-keten die irreducibel en aperiodiek is, is dus vrij eenvoudig.
Het uitrekenen van een Markov-keten die reducibel is, is iets lastiger. Je maakt altijd
gebruik van 3 stappen:

1. Verdeel het proces in doorgangsklassen en eindklassen

2. Bereken met behulp van stelselvergelijkingen de kans per toestand om in een eindklasse
terecht te komen
3. Bepaal de limietverdeling voor de verschillende eindklassen

In het onderstaande voorbeeld wordt een reducibele Markov-keten uitgerekend.

1) Verdeel het proces in doorgangsklassen en eindklassen. Teken eerst een diagram om

het proces duidelijk in kaart te brengen. Ga daarna het diagram in doorgangsklassen en
eindklassen verdelen. Eindklassen zijn een verzameling toestanden die samen een geheel
vormen waaruit het proces niet meer kan ontsnappen als het er eenmaal in zit.
Doorgangsklassen zijn een verzameling toestanden waaruit het proces nog wel kan
ontsnappen. Geef de eindklassen de letter Ei en de doorgangsklassen C.

Wordt

E1
E2
2) Bereken met behulp van stelselvergelijkingen de kans per toestand om in een
eindklasse terecht te komen. Maak om te beginnen een overzicht van alle mogelijke
combinaties tussen toestanden qj en eindklassen Ei . Kijk in de 1e -staps-overgangsmatrix
welke kansen (de kans dat je vanaf qj in een stap in eindklasse Ei terecht komt) je zo al in
kunt vullen en doe dat.

q1E1 = 1/3 … q3E2 = 0 q6E1 = 0

q1E2 = 1/6 … q4E1 = 1 q6E2 = 1
q2E1 = 1/5 … q4E2 = 0 q7E1 = 0
q2E2 = 1/5 … q5E1 = 0 q7E2 = 1
q3E1 = 1 q5E2 = 1

Toch zijn deze kansen nog niet compleet. Neem bijvoorbeeld q1E1:
o Er is een kans van 1/3 dat er een overgang plaats vind van toestand 1 naar toestand
3, waardoor het proces in eindklasse 1 terecht komt.
26
 o Het is ook mogelijk, met een kans van 1/3, dat er een overgang plaats ving van
toestand 1 naar toestand 1. Wanneer het proces zich opnieuw in toestand 1 bevind
is de kans weer gelijk aan q1E1 dat de volgende overgang naar eindklasse 1 zal
leiden. Daarom moet je bij de totale kans (1/3 q1E1) toevoegen.
o Het is ook mogelijk, met een kans van 1/6, dat er een overgang plaats ving van
toestand 1 naar toestand 2. Wanneer het proces zich in toestand 2 bevind is de
kans gelijk aan q2E1 dat de volgende overgang naar eindklasse 1 zal leiden. Daarom
moet je bij de totale kans (1/6 q2E1) toevoegen.
o Het is ook mogelijk er een overgang van toestand 1 naar 7 plaats vind, maar omdat
het proces nooit meer in eindklasse 1 terecht kan komen wanneer er een overgang
naar toestand 7 heeft plaats gevonden, hoef je die niet aan de stelselvergelijking
van q1E1 toe te voegen.

De vergelijkingen worden na al deze toevoegingen als volgt:

q1E1 = 1/3 + 1/3q1E1 + 1/6 q2E1 q3E2 = 0 q6E1 = 0

q1E2 = 1/6 + 1/3q1E2 + 1/6 q2E2 q4E1 = 1 q6E2 = 1
q2E1 = 1/5 + 3/5q1E1 q4E2 = 0 q7E1 = 0
q2E2 = 1/5 + 3/5q1E2 q5E1 = 0 q7E2 = 1
q3E1 = 1 q5E2 = 1

Zoals je kunt zien hebben de vergelijkingen q1E1 en q2E1 dezelfde variabele, net zoals q1E2 en
q2E2. Hierdoor kun je deze vergelijkingen oplossen door ze te combineren:

q1E1 = 1/3 + 1/3q1E1 + 1/6 q2E1 q1E2 = 1/6 + 1/3q1E2 + 1/6 q2E2
q2E1 = 1/5 + 3/5q1E1 q2E2 = 1/5 + 3/5q1E2

q1E1 = 1/3 + 1/3q1E1 + 1/6 (1/5 + 3/5q1E1) Je kunt deze vergelijkingen op dezelfde
q1E1 = 1/3 + 1/3q1E1 + 1/30 + 3/30q1E1 manier uitrekenen, of de uitkomsten van
17/30 q1E1 = 11/30 de vorige berekeningen invullen, maar je
q1E1 = 11/17 kunt ook gewoon zeggen:

Hieruit volgt: q2E1 = 10/17 q1E2 = 1 - q1E1 = 1 – (11/17) = 6/17

q2E2 = 1 - q2E1 = 1 – (10/17) = 7/17

Omdat er maar 2 eindklassen zijn.

27
De volgende kansen zullen dus uit de berekening volgen:

q1E1 = 11/17 q3E2 = 0 q6E1 = 0

q1E2 = 6/17 q4E1 = 1 q6E2 = 1
q2E1 = 10/17 q4E2 = 0 q7E1 = 0
q2E2 = 7/17 q5E1 = 0 q7E2 = 1
q3E1 = 1 q5E2 = 1

3) Bepaal de limietverdeling voor de verschillende eindklassen. Omdat de het proces

uiteindelijk altijd in de eindklassen terechtkomt, en nooit in een doorgangsklasse kan
blijven zitten, nemen we bij het bepalen van de limietverdeling alleen de eindklassen in
beschouwing. Als je een eindklasse echter als een losse Markov-keten beschouwd, zul je
zien dat dit altijd een irreduciebele, en aperiodieke Markov-keten is. Daarom kun je de
limietverdeling van de eindklassen gewoon met de standaard methode oplossen:

De losse Markov-ketens worden dus:

De berekeningen volgen op de volgende pagina.

28
 1) π = π P 1) π = π P

2) π = π 2) π = π

3) (π3 π4) = (π3 π4) 3) (π5 π6 π7) = (π5 π6 π7)

4) π3 = ½ π3 + ¼ π4 dus π 3 = ½ π4 4) π5 = ½ π7
π4 = ½ π 3 + ¾ π 4 dus π 4 = 2 π3 π 6 = π5 + ¼ π 6 dus π6 = 4/3 π5
π7 = ¾ π 6 + ½ π 7 dus ½ π7 = ¾ π6

5) π3 + π4 = 1 5) π5 + π6 + π7 = 1

6) π3 + 2 π3 = 1 of ½ π 4 + π4 = 1 6) ½ π7 + 2/3 π7 + π7 = 1
π3 = 1/3 en π4 = 2/3 π7 = 6/13
π5 = ½ π7 = ½ (6/13) = 3/13
π6 = 4/3 π5 = 4/3 (3/13) = 4/13

Als je deze antwoorden gevonden hebt, weet je wat de limietverdelingen binnen de eindklassen
zijn. Maar je weet nog niet wat de limietverdeling van de gehele Markov-keten is. Stel je begint in
toestand 1 dus:

De kans dat je in eindtoestand 1 terecht komt na 1 overgang is q1E1, en dat was 11/17. De verdeling
binnen eindtoestand 1 is π3 = 1/3 en π4 = 2/3. De kans dat je in toestand 3 terecht komt na 1
overgang is dus (11/17 1/3), en de kans dat je in toestand 4 terecht komt na 1 overgang is dus
(11/17 2/3).

De kans dat je in eindtoestand 2 terecht komt na 1 overgang is q1E2, en dat was 6/17. De
verdeling binnen eindtoestand 2 is π5 = 3/13, π6 = 4/13, en π7 = 6/13. De kans dat je in
toestand 5 terecht komt na 1 overgang is dus (6/17 3/13), de kans dat je in toestand 6
terecht komt na 1 overgang is dus (6/17 4/13), en de kans dat je in toestand 7 terecht
komt na 1 overgang is dus (6/17 6/13). De limietverdeling ziet er dus als volgt uit:

Als de begin vector anders is, is de 1-staps-overgangs vector natuurlijk ook anders omdat je dan de
kansen van bijvoorbeeld q2E1 en q2E2 gebruikt (in het geval van a(0) = (0,1,0,0,0,0,0) ).

29
College 9
Markov-ketens worden vaakt gebruikt om de kosten van een proces mee te voorspellen. Je kunt voor
3 verschillende soorten processen de kosten berekenen:
1. Totale verwachte kosten over een eindige periode
2. Lange-termijn verwachte kosten per periode
3. Totale verwachte kosten over een oneindige horizon

De totale verwachte kosten over een eindige periode kun je uitrekenen door de kosten per periode
van toestand i te vermenigvuldigen met het verwachtte aantal keer dat de toestand i bereikt wordt.
Deze verwachtingen kun je in een matrix zetten, door de identiteitsmatrix op te tellen bij alle
overgangs-matrixen tot de stap n (college 7). Als je deze verwachtingen matrix dan vervolgens
vermenigvuldigd met de kosten per toestand krijg je de totale verwachte kosten over een eindige
periode. De formule is dus:

Oftewel

In deze formules is de g(i,n) gelijk aan de verwachte kosten over de tijdstspanne 0 tot n, wanneer je
start in toestand i. De mi j(n) is het verwachte aantal keer dat toestand j bereikt word, over de
tijdspanne 0 tot n, wanneer je start in toestand i. En c(j) zijn de kosten per periode voor toestand j.

De lange-termijn verwachte kosten per periode gaan naar oneindig als de tijd ook naar oneindig gaat.
Daarom kijken we naar de verwachte kosten per periode van een systeem. Als je de occupatie
verdeling hebt berekend, weet je de kans (π) voor iedere toestand, dat het proces zich op lange
termijn in deze toestand bevind. Als je de kosten per toestand weet kun je deze dus
vermenigvuldigen met de kansen per toestand, en weet je de lange-termijn verwachte kosten per
periode. De formule is:

De totale verwachte kosten over een oneindige horizon kun je alleen berekenen als er alleen in de
doorgangstoestanden kosten worden gemaakt. Als er namelijk ook in de eindtoestanden kosten
gemaakt worden, zullen de kosten op lange termijn altijd naar oneindig gaan. Stel je hebt de
volgende situatie van autorijlessen. Gegeven is dat ieder theorie examen (T 1 of T2) 45 euro kost. Elk
praktijkexamen (P1, P2, P3 en P4) kost 90 euro. De eindtoestanden G en M staan voor ‘geslaagd’ of
‘mislukt’. De situatie is dus:

30
Er is gegeven dat je start in toestand T 1. De vraag is wat de totale verwachte kosten over een
oneindige horizon zijn. Dit moet je doen door vergelijkingen op te stellen:

Stel je zit in toestand T1. Je weet zeker dat je de kosten van toestand T1 maakt, met kans 0,1 ga je
naar toestand T2, en met 0,9 kans ga je naar toestand P2. De kosten vanuit toestand 1 zijn dus gelijk
aan de kosten van T1 plus 0,1 keer de kosten op lange termijn wanneer je start in T2, plus 0,9 keer de
kosten op lange termijn wanneer je start in van P1. De vergelijking wordt dus:

Je hebt nu een vergelijking met 3 onbekende variabelen. Deze beredenering kun je ook maken voor
toestand T2 en P1, waardoor weer nieuwe vergelijkingen ontstaan. Dit doe je tot een geen
onbekende variabelen meer over zijn:

In de laatste vergelijking zie je dat er nog maar 1 variabelen aanwezig is (P 4). Deze kun je dus
uitrekenen. Als je P4 weet kun je ook P3 uitrekenen, en zo kun je dus alle variabelen uitrekenen. Je
komt uiteindelijk uit op:

Het antwoord op de vraag: ‘Wat zijn de totale kosten over een oneindige horizon bij start in
toestand T1?’ is dus 120.

First passage time

Soms wil je ook de tijd berekenen voordat een bepaalde toestand voor het eerst voor komt.
Dit doe je door een deelverzameling A te maken met alle toestanden erin waarvoor je de
voorafgaande tijd wil berekenen. Neem vervolgen mi (A) voor de verwachte tijd dat het
proces zal doorbrengen voordat A bereikt word, wanneer je start in toestand i. Neem
bijvoorbeeld de situatie van promotie (van 1 naar 2, 3 of 4) en ontslag in een bedrijf:

31
De vraag: Hoe lang duurt het gemiddeld voordat een persoon ontslagen is, als hij in
salarisschaal 1 begint?

Stel vervolgens de vergelijking voor de tijd die het proces doorbrengt in {1,2,3,4} wanneer je
begint in toestand 1:

De vergelijking begint altijd met 1 + … omdat het in ieder geval 1 tijdstap kost om in A =
{weg} te komen wanneer je in toestand 1 begint (omdat 1 niet in A zit). Met kans 0.95 blijf
je in salarisschaal 1 dus vandaar dat je 0,95m1(A) bij de vergelijking optelt. Met kans 0.03 ga
je naar slarisschaal 2, dus vandaar dat je 0,03m2(A) bij de vergelijking optelt. Met kans 0.02
word je ontslagen, maar omdat je dan al in A zit, hoef je deze stap niet aan de vergelijking
toe te voegen.
Omdat deze vergelijking nu 2 variabelen heeft moeten we meerdere vergelijkingen
opstellen tot dat we er een uit kunnen rekenen:

Omdat de laatste vergelijking maar 1 variabele heeft, kun je deze uitrekenen, en met dit
antwoord kun je alle vergelijkingen uitrekenen. De uitkomsten zijn:

De vraag was: Hoe lang duurt het gemiddeld voordat een persoon ontslagen is, als hij in
salarisschaal 1 begint? Dus het antwoord is:

Cohorte modellen
Wanneer je wil weten wat het aantal personen/producten/werknemers/etc. in een
bepaalde toestand is, gebruik je gewoon de limiet verdeling met π = π P. Maar in het geval
van de salarisschalen verdwijnen er steeds werknemers uit het proces, omdat ze ontslagen
worden. Wanneer we er vanuit gaan dat het totale aantal werknemers gelijk blijft, zullen er
dus ook steeds nieuwe werknemers (recruten) worden aangenomen (in schaal 1).
Als je wil weten hoeveel recruten je moet introduceren per tijdseenheid, gebruik je een
cohort model. Dit doe je als volgt:
c

Met:

32
Omdat het voor deze berekening niet uit maakt wie er ontslagen worden, kijken we alleen
naar het proces dat zich afspeeld tussen {1,2,3,4}. De matrix P die nog de toestand {weg}
bevat wordt omgeschreven naar de matrix Q die alleen de toestanden {1,2,3,4} heeft.

Wordt

De formule is als volgt:

College 10
Bij het bekijken van cuntinue-tijd Markov ketens is de exponentiële verdeling erg belangrijk. Daarom
staan hier alvast wat standaard dingen van de exponentiële verdeling:

Cumulatieve verdelingsfunctie:

Kansdichtheid:

Verwachting:

Variantie:

Een exponentiële verdeling is altijd geheugenloos. Dit wil zeggen dat de kans op een gebeurtenis
altijd onafhankelijk is van wat er aan deze gebeurtenis vooraf gegaan is. Dit betekend:

De kans dat T groter is dan (s+t), gegeven dat T groter is dan is, is gelijk aan de kans dat T groter is
dan t. Dit wil zeggen: Gegeven is dat een machine al 5 jaar mee gaat, de kans dat deze machine in
totaal 7 jaar mee gaat is even groot als de kans dat een nieuwe machine 2 jaar mee gaat. Het doet er
niet toe wat er aan vooraf gegaan is.

Het minimum van twee exponentieel verdeelde stochastische variabelen is ook exponentieel
verdeeld waarbij de parameters de som is van alle parameters in het minimum. Als je dus het
minimum van Exp(a) en Exp(b) wil weten, is dit gelijk aan Exp(a+b).
Continue-tijd Markov ketens
Bij discrete-tijd Markov ketens kun je steeds de overgangsmatrix opstellen omdat er altijd in stappen
wordt gekeken. Bij een continue-tijd Markov keten kan dit niet omdat de stappen nooit klein genoeg

33
kunnen zijn om een continue proces te beschrijven. Een continue-tijd Markov keten heeft wel de
volgende eigenschappen:
o Het proces blijft een exponentiële tijd, parameter ri , in toestand i
o Daarna springt het proces, onafhankelijk van het verleden, met kans pi j naar toestand j
o Vervolgens blijft het proces een exponentiële tijd, parameter rj, in toestand j
o Daarna springt het proces, onafhankelijk van het verleden, met kans p jk naar toestand k
o Etc.

De overgangsintensiteit word beschreven met ri ,j. Dit wil zeggen dat als het proces zich in toestand i
bevind, het ri ,j keer per tijdseenheid naar toestand j wil springen. Een hoge r i ,j zorgt er dus voor dat
een proces heel snel verloopt. De ri ,j bereken je met:

In plaats van een 1-staps-overgangsmatrix kun je nu dus een intensiteitsmatrix R opstellen:

Een voorbeeld van een situatie waarin dit voor zou komen is: Er is een bedrijf die 1 machine heeft.
Deze machine werkt gedurende een stochastische tijd t die exponentieel verdeeld is met parameter
μ. Wanneer de machine kapot gaat duurt het een stochastische tijd r die exponentieel verdeeld is
met parameter λ:
o Situatie 1: De machine werkt
o Situatie 0: De machine is kapot
o De tostandsruimte is dus S = {0,1}
o X(t) = de toestand op tijdstip t, met t ≥ 0

Stel, je begint in toestand 1 (de machine werkt). De tijd die je nog in deze toestand doorbrengt is
gelijk aan Exp(μ). Daarna gaat de machine kapot, en zal het proces met een duur van Exp(λ) in
toestand 0 blijven. Het proces ziet er dus als volgt uit:

o r1 = μ (parameter exp)
o r0 = λ (parameter exp)
o P0,1 = 1
o P1,0 = 1
o P1,1 = 0
o P0,0 = 0

34
Uit de formule ri ,j = ri pi ,j ontstaat de volgende intensiteiten matrix:
o r0,0 = r0 p0,0 = λ 0=0
o r0,1 = r0 p0,1 = μ 1=μ
o r1,1 = r1 p1,1 = μ 0=0
o r1,0 = r1 p1,0 = λ 1=λ

Dit is een heel simpel voorbeeld, maar het wordt al ingewikkelder wanneer het bedrijf 2 precies
dezelfde machines in gebruik heeft. Dit wil zeggen μ1 = μ2 en λ1 = λ2. Neem nou dat de machines
onafhankelijk van elkaar gerepareerd worden en kapot gaan. De tijden van reparatie en productie
blijven gelijk. De volgende situatie ontstaat:
o Situatie 2: Twee machines werken
o Situatie 1: Een machine werkt
o Situatie 0: De machine is kapot
o De toestandsruimte is dus S = {0,1,2}
o X(t) = de toestand op tijdstip t, met t ≥ 0
Stel, je begint in toestand 2 (de machines werken allebei). De tijd die je nog in deze toestand
doorbrengt is gelijk aan Exp(μ+μ). Dit is de tijd tot een van de twee machines kapot gaat, en je dus in
toestand 1 terecht komt. De tijd is gelijk aan Exp(μ+μ) omdat een van de regels van de exponentiele
verdeling is: het minimum van twee exponentieel verdeelde stochastische variabelen is ook
exponentieel verdeeld waarbij de parameters de som is van alle parameters in het minimum.

De volgende stap is dat de machine gemaakt word, of dat de tweede machine ook kapot gaat. Welke
gebeurtenis zich eerst voor doet bepaalt of het proces terug gaat naar toestand 2 of 0. De tijd die het
proces in toestand 1 doorbrengt is dus weer een minimum en is gelijk aan Exp(μ + λ).

Stel de tweede machine gaat kapot en het proces beland in toestand 0. De tijd die het proces hier
doorbrengt is gelijk aan Exp(λ+λ). De volgende grafiek ontstaat:

Let op! Het maakt voor deze opdracht niet

uit welke machine in reparatie is omdat ze
allebei dezelfde levensduur/reparatietijd
hebben. Het gaat hier alleen om het aantal
machines in reparatie. Dit is niet altijd het
geval. Als het doel is te bepalen welke
machine in reparatie is, kun je de
parameters nummeren, waardoor je tijden
als Exp(μ1+μ2) krijgt, en een toestandsruimte
in de vorm van S = {(0,0),(1,0),(0,1), etc.}.

De overgang van toestand 2 naar 1 wordt bepaald door het minimum van de twee levensduren van
de machines. De machine die als eerst kapot gaat veroorzaakt de overgang van toestand 2 naar 1.
Stel dit is machine 1, dan zou je dus met de doorloopsnelheid van Exp(μ 1) naar de volgende toestand
gaan waardoor de intensiteit gelijk zou zijn aan μ 1. Echter maakt het voor dit voorbeeld niet uit welke
machine kapot gaat, dus de overgang wordt veroorzaakt door de kortste levensduur van de 2
machines, en dus de grootste doorlooptijd (intensiteit) van 2μ. Als je alle stappen op deze manier
beredeneerd krijg je de volgende intensiteiten matrix:

35
Als je een soortgelijke situatie met 4 machines, maar wel een beperkt aantal van twee monteurs
bekijkt, kun je de volgende intensiteiten matrix vinden (door de 2 monteurs is 2λ het maximum):

Het valt dus op dat al deze matrixen op elkaar lijken. De algemene formule voor een intensiteiten
matrix is hierdoor ook op de volgende pagina gegeven. Wanneer een proces echter beperkt wordt
door het aantal monteurs krijg je een maximum in de reparatie intensiteiten, zoals dat in de
bovenstaande tabel te zien is.

Let op! Deze formule geldt alleen voor situaties waarin er vanuit toestand i alleen naar naburige
toestanden i – 1 en i + 1 gegaan kan worden. Dit is dus een regel die maar voor een klein deel van alle
gevallen geld.

Het Possion proces

De definitie van een Poisson proces is als volgt:
o Een Poisson proces telt het aantal gebeurtenissen in het interval (0,t)
o De tijd tussen 2 gebeurtenissen is onafhankelijk van alle andere gebeurtenissen
o De tijd tussen 2 gebeurtenissen is exponentieel verdeeld met parameter λ
o De intensiteit van een Possion proces is ook λ omdat er steeds 1 stap wordt genomen in het
proces, en omdat er niet achteruit gegaan word.

S0 = 0
Sn = tijdstip van de n-de gebeurtenis
Tn = de tijd tussen de (n-1)-de en de
n-de gebeurtenis

Tn is dus onafhankelijk, exponentieel

verdeeld, wat opvallend veel op een
continue-tijd Markov proces lijkt.

36
College 11
Een continue-tijd Markov keten kun je oplossen met stelselvergelijkingen (net als een
discrete-tijd Markov keten). Het is wel belangrijk dat je alle parameters van de overstappen
weet. De methode is uitgewerkt in het volgende voorbeeld:

Er is een bedrijf met 4 machines. De bedrijf-tijd van iedere machine exponentieel verdeeld
met Exp(1/72) uur. De reparatie-tijd van iedere machine is ook exponentieel verdeeld met
Exp(1/2) uur. Er zijn twee monteurs beschikbaar. De intensiteiten staan in de onderstaande
matrix gegeven:

1) Schets een situatie van het proces, en zet alle parameters erbij:

2) Schrijf alle stelsel vergelijkingen uit volgens de regel instroom = uitstroom: Omdat je de
limietverdeling wil berekenen op de lange termijn, moet je de kans Pi bepalen dat het
proces zich op de lange termijn in toestand i bevind. Dit doe je door te beginnen om alle
instroom en uitstroom per toestand aan elkaar gelijk te stellen:

Toestand Uitstroom = Instroom

0 p0 1 = p1 1/72
1 (p1 1/72) + (p1 1) = (p0 1) + (p2 2/72)
2 (p2 2/72) + (p2 1) = (p1 1) + (p3 3/72)
3 (p3 3/72) + (p3 1/2) = (p2 1) + (p4 4/72)
4 p4 4/72 = p3 1/2

3) Vereenvoudig alle stelselvergelijkingen: Omdat er veel dezelfde termen voor komen in een set
stelservergelijkingen kun je ze vaak erg vereenvoudigen. Zo geld in dit geval p 0 1 = p1 1/72 net zo
als (p1 1/72) + (p1 1) = (p0 1) + (p2 2/72). Als je deze twee vergelijkingen combineerd krijg je
(p1 1) = (p2 2/72) omdat er dus twee keer de factor p0 1 in de vergelijking zit. Doe dit bij alle
toestanden:

37
 Toestand Uitstroom
0 p0
1 p1
2 p2
3 p3 1/2
4 p4 4/72
= Instroom
= p1 1/72
= p2 2/72
= p3 3/72
= p4 4/72
= p3 1/2

Deze vergelijkingen worden ook wel snedevergelijkingen genoemd, omdat je nu de

instroom en uitstroom van het proces tussen toestan n en toestand n+1 geformuleerd hebt.
In een geboorte sterfte proces is het al genoeg om alleen de snedevergelijkingen op te
stellen, omdat er altijd maar één toestand naar voor of naar achter verplaatst wordt.

4) Schrijf alle kansen om naar p 0:

p0 = p1 1/72
p1 = 72 p0
p2 = 2592 p0
p3 = 23328 p0
p4 = 11664 p0

5) Bereken de p 0 met de regel dat alle kansen van 1 toestand opgeteld gelijk zijn aan 1: In
dit geval krijg je dus de volgende berekening:

p0 + 72p0 + 2592p0 + 62208p0 + 559872p0 = 1

Hieruit volgt: p0 = 0.0000016 p1 = 0.000115 p2 = 0.00415 p3 = 0.0996 p4 = 0.8962

omdat deze oplossing niet heel nauwkeurig is kun je de oplossing ook geven door de breuk in takt te
houden:

6) Kosten berekenen per toestand: Omdat we naar continue-tijd Markov ketens kijken kunnen we
alleen te lange termijn kosten per eindtoestand berekenen. Dit is vrij simpel. Als je de limietverdeling
gevonden hebt, weet je wat de kansen per toestand op de lange termijn zijn. Deze vermenigvuldig je
met de kosten per toestand c(i) om de totale kosten te berekenen. In het bovenstaande voorbeeld
zouden de totale kosten op de volgende manier berekend worden:

Kosten per toestand per uur

c(0) = 100 (1 / 624745) 100
c(1) = 70 (72 / 624745) 70
c(2) = 40 (2592 / 624745) 40
c(3) = 10 (62208 / 624745) 10
c(4) = 0 (559872 / 624745) 0 +
(730900 / 624745)

38
First-passage time continue-tijd Markov keten
Als je de first-passage tijd wil berekenen van een continue-tijd Markov keten moet je een
paar dingen weten:
o In welke toestand het proces zich momenteel bevind
o Hoe lang het proces zich waarschijnlijk nog in deze toestand gaat bevinden (de verwachting)
o Hoe lang het duurt voordat het proces in de gevraagde toestand beland, als de eerst volgende
stap niet direct naar de gevraagde toestand lijdt

De formule is dus als volgt:

o A = De deelverzameling van toestanden waarvoor je de first-passage time wil berekenen

o Mi (A) = De tijd tot je in de deelverzameling A beland, als het proces begint in toestand i
o 1/ri = De verwachting (de tijd dat je waarschijnlijk in toestand i doorbrengt

Neem het volgende voorbeeld: Er arriveren klanten bij een betaalautomaat volgens een Poisson
proces met een intensiteit van 10 klanten per uur. De behandelingstijd is onafhankelijk exponentieel
verdeeld met een gemiddelde van 4 minuten. Er staan maximaal 3 klanten te wachten. De situatie
schets is als volgt:

Stel je begint in toestand 1, wat is dan te tijd tot er niemand meer bij het betaal automaat staat
(toestand 0)? Er wordt dus gevraagd M1(A) met A = {0}.

i=1
A = {0}
r1 = 25, omdat de tijd gelijk is aan het minimum van
instroom en uitstroom is Exp(10+15) dus Exp(25)
Verder geld: r0 = 10 r2 = 25 r3 = 15

De eerste formule wordt:

M1(A) = 1/25 + (10/25 M2(A)) + (15/25 M0(A))

Deze formule ontstaat dus uit de verwachting van toestand 1 + alle mogelijke toestanden waar het
proces vanuit 1 naar toe kan gaan (toestand 0 en 2). Deze toestanden worden berekend door de kans
dat er naar de toestand x toe gegaan wordt (ri j / ri ) vermenigvuldigd met de tijd die het proces erover
doet om toestand 0 te bereiken vanuit toestand x. Omdat je in toestand 0 al in de deelverzameling A
zit, kun je die uit de vergelijking weghalen want M0(A) = 0. De andere variabelen moet je verder
uitschrijven. Dit wordt uiteindelijk:

M1(A) = 1/25 + (10/25 M2(A))

M2(A) = 1/25 + (10/25 M3(A)) + (15/25 M1(A))
M3(A) = 1/15 + (15/15 M2(A))

39
Al deze formules kun je omschrijven naar M2(A), waardoor de vergelijking van M2(A) nog maar 1
variabele heeft en dus uit te rekenen is. Als je de waarde van M2(A) weet, kun je ook de waarde van
M1(A) berekenen. Dit gaat dus als volgt:

M1(A) = 1/25 + (10/25 M2(A))

M3(A) = 1/15 + (15/15 M2(A))
M2(A) = 1/25 + (10/25 (1/15 + (15/15 M2(A)))) + (15/25 (1/25 + (10/25 M2(A))))

M2(A) = 34/375+ (80/125 M2(A))

M2(A) = 0.03538
M1(A) = 0.05415

College 12
Een vernieuwingsproces is een stochastisch proces dat het aantal gebeurtenissen telt in het interval
(0,t), waarbij de tijden tussen twee gebeurtenissen in onafhankelijk, maar wel hetzelfde verdeeld
zijn. Dit hoeft niet exponentieel te zijn, het kan bijvoorbeeld ook erlang of uniek verdeeld zijn. Als het
vernieuwingsproces wel exponentieel verdeeld is, is dit een Poisson proces, ander niet.

Vernieuwingsprocessen worden vaak bij het vervangen van machines gebruikt. Er zijn twee
verschillende manieren van vernieuwen:
o Correctieve vervanging: Het vervangen als de machine kapot is gegaan.
o Correctieve + preventieve vervanging: Het vervangen als de machine kapot is gegaan, of als de
machine een bepaalde leeftijd overschrijdt.
De regel voor vernieuwingsprocessen is: Het aantal vernieuwingen dat op de lange termijn per
tijdseenheid optreed, is altijd gelijk aan 1 gedeeld door de verwachte tijd tussen twee vernieuwingen.
Dit is logisch, want als er gemiddeld iedere 3 maanden een vervanging optreed (0,25 jaar), kun je op
de lange termijn zeggen dat er 4 vervangingen per jaar nodig zijn. Dit staat nog eens in de
onderstaande formule genoteerd:

Stel, je hebt een machine waarvan de levensduur uniform verdeeld is met U[1,5]. Dit betekend dat
de kans dat de machine tussen de 1 en de 5 jaar kapot gaat overal gelijk is. Je kunt de limietverdeling
van een vernieuwingsproces uitrekenen:

Correctieve vervanging: Doordat de levensduur van de machine uniform verdeeld is (en dus overal
een gelijke kans heeft), geld er dat de gemiddelde levensduur (en dus de verwachting) 3 jaar is. Het
aantal verwachte vervangingen per jaar is dus 1/3.

Correctieve + preventieve vervanging: De machine wordt na 3 jaar vervangen, of de machine wordt

vervangen als hij eerder kapot gaat. Hierdoor wordt de machine steeds vervangen na een tijd die
bepaald wordt door het minimum van (L n , 3). Je wil de verwachting van dit minimum weten, en deze
bepaal je gewoon met de formule voor de verwachting E(x). De verwachting hiervan is:

5 31 51
∫1 𝑓(𝑥) min (𝑦, 3) = ∫1 𝑦 + ∫3 3 𝑦 = 1 + 1,5 = 2,5
4 4

(Omdat de kans overal gelijk is, is deze ¼)

40
Het aantal vervangingen per tijdeenheid is bij deze methode dus 1/2,5 = 0,4. Bij preventieve
vervanging is het aantal vervangingen per tijdeenheid vaak hoger dan bij correctieve vervanging,
maar omdat de kosten van preventieve vervanging vaak lager zijn, kan het toch voordelig zijn om
deze methode toe te passen

Kosten berekenen bij vernieuwingsprocessen

Om te berekenen of correctieve of preventieve vervanging voordeliger is, is het nuttig om de
kosten per tijdseenheid op lange termijn uit te rekenen. Voor het berekenen van deze kosten
is de volgende formule:

Dit wil dus zeggen: De totale kosten per tijdseenheid op de lange termijn kun je berekenen
door de verwachte kosten van de eerste vervanging te delen door de verwachte tijd tot aan
de eerste vervanging. In het voorbeeld zijn de kosten van preventieve vervanging 500 euro,
en die van correctieve vervanging 1000 euro.

Correctieve vervanging: Het aantal verwachte vervangingen per tijdseenheid was gelijk aan
1/3, dus de kosten per tijdseenheid (jaar) zullen gelijk zijn aan 1000 1/3 = 333,33 euro.

Preventieve vervanging: Omdat je niet weet hoeveel machines preventief of correctief

vervangen worden, moet je eerst die verhouding uitrekenen. Omdat de kansen uniform
verdeeld zijn met verwachte levensduur van drie jaar, is de kans dat de levensduur onder of
boven de 3 jaar zal zijn allebei gelijk aan 50%. De gemiddelde kosten per vervanging zijn
dus: ½ 1000 + ½ 500 = 750. Het aantal vervangingen per tijdseenheid was gelijk aan 0,4
dus de kosten per tijdseenheid (jaar) zijn gelijk aan 750 0,4 = 300.

In het geval van dit voorbeeld is de combinatie van preventieve en correctieve vervanging
dus voordeliger dan correctieve vervanging alleen.

Wachtrijmodellen
Een wachtrijmodel is een proces dat situaties beschouwd waarin een wachtrij met klanten
en bedieningstijden met personeel voorkomen. Een wachtrijmodel wordt beschreven met
een codering waarbij elke plaats informatie geeft over het model: / / /
o De eerste plaats geeft de verdeling van de tussenaankomsttijden aan.
o De tweede plaats geeft de verdeling van de bedieningstijden aan.
o De derde plaats verteld iets over het aantal bedieners.
o De vierde plaats vertelt iets over het maximaal aantal klanten dat kan worden
toegelaten.

41
De laatste twee plaatsen worden dus ingevuld met getallen terwijl de eerste twee plaatsen
worden ingevuld met letters die voor kansverdelingen staan:
o M: Memoryless (=Exponentieel)
o G: General (Willekeurig)
o D: Deterministic
o E: Erlang
o H: Hyperexponential
o U: Uniform

Er zijn ook een aantal belangrijke momenten die interessant zijn in een wachtrijmodel:
o An : Het moment waarop de n-de klant aankomt in het model. Als de klant niet
wordt toegelaten wordt deze dus wel meegerekend.
o En : Het moment waarop de n-de klant wordt toegelaten in het model.
o Dn : Het moment waarop de n-de klant het model verlaat.
o Wn = Dn – En : De verblijftijd van de n-de toegelaten klant.

Er zijn verschillende limietverdelingen die je in een wachtrijmodel kunt berekenen, zoals het
aantal klanten continu, of het aantal klanten bij ieder aankomst moment. De volgende
limietverdelingen worden bekeken:

Er zijn een paar regels over wanneer deze limietverdelingen gelijk aan elkaar zijn:
1. Als het aankomst proces een Poisson proces is, dan geld dat de limietverdeling van
X(t) gelijk is aan de limiet verdeling van X(An -). Dit wil dus zeggen dat op lange
termijn het aantal klanten in de continue-tijd gelijk zijn aan het aantal klanten dat
de n-de klant bij aankomst aantreft. Dit noem je de PASTA eigenschap: Poisson
Arrivals See Time Averages.
2. Als het gaat om een proces waar de klanten één voor één aankomen, geld dat de
limietverdeling van X(Dn +) gelijk is aan de limietverdeling van X(E n -). Dit wil dus
zeggen dat op lange termijn het aantal n-de toegelaten klanten gelijk is aan het
aantal n-de vertrekkende klanten.
3. Als de wachtruimte onbegrensd groot is, en dus alle klanten worden toegelaten,
geld er dat de limietverdeling van X(En -) gelijk is aan de limietverdeling van X(An -).

In het geval van een Poisson proces, waar alle klanten een voor een vertrekken, en waarbij
de wachtruimte onbegrensd is geld er dus dat alle limietverdelingen gelijk zijn. Dit is handig,
want dan hoef je er maar een uit te rekenen.

42
Met de formule van Little kun je de limietverdeling van het aantal klanten in het proces
uitrekenen. Dit is handig, want als je weet hoeveel klanten er op lange termijn een
bepaalde tijd in het proces zitten, kun je hier kosten aan verbinden, waardoor je de totale
kosten kunt berekenen. De formule van Little ziet er als volgt uit:

Met de variabelen:
o L = Het gemiddelde aantal klanten op de lange termijn in het systeem
o λ = Het gemiddelde aantal klanten dat per tijdseenheid het systeem binnen komt
(de aankomstintensiteit)
o W = De gemiddelde tijd dat klanten zich op de lange termijn in het systeem
bevinden

De formule van Little is dus eigenlijk best logisch. Als je een specifieker aantal wil
berekenen (bijvoorbeeld het aantal klanten in de wachtruimte op lange termijn), moet je de
formule een beetje aanpassen:
o Als je het gemiddelde aantal klanten in de wachtruimte wil berekenen, kun je
bijvoorbeeld L q opstellen met L q = ‘gemiddeld aantal klanten in de wachtruimte op
lange termijn’ en Wq met Wq = ‘gemiddelde tijd in de wachtrij per klant op lange
termijn’. Hierdoor onstaat de formule L q = λ Wq .
o Als je het gemiddelde aantal klanten in de bediening wil berkenen, kun je
bijvoorbeeld B opstellen met L b = ‘gemiddeld aantal klanten in de bediening op
lange termijn’ en Wb met Wb = ‘gemiddelde tijd in de bediening per klant op lange
termijn’. Hierdoor onstaat de formule L b = λ Wb .

Als je dus maar goed in gedachte houdt hoe

een wachtrijmodel in elkaar zit kun je dus
iedere mogelijke formule opstellen waar je
allerlei prestatiematen mee kunt
berekenen. Hiermee kun je uiteindelijk ook
alle kosten berekenen.
Stel je hebt het volgende voorbeeld: M / M / 1 / 3, dit wil zeggen: Klanten arriveren volgens een
poisson verdeling met intensiteit λ = 2, de bedieningstijden zijn exponentieel verdeeld met
parameter μ = 1, er is 1 bediende, en het maximum aantal klanten in de wachtruimte is 3.

1) Bereken de waarde van L (uit de formule van Little) voor het voorbeeld: Dit doe je met de
limietverdeling voor continue Markov ketens:

De situatie schets is als volgt, waarbij toestand 0 gelijk is aan 0 klanten in het systeem, en toestand 4
gelijk is aan 4 klanten in het systeem (1 in de bediening en 3 in de wachtrij).

43
De vergelijkingen zijn gelijk aan:

Toestand Uitstroom = Instroom

0 p0 2 = p1 1
1 (p1 1) + (p1 2) = (p0 2) + (p2 1)
2 (p2 1) + (p2 2) = (p1 2) + (p3 1)
3 (p3 1) + (p3 2) = (p2 2) + (p4 1)

Vereenvoudigd is dit gelijk aan:

Toestand Uitstroom = Instroom

0 p0 = p1 1/2
1 p1 = p2 1/2
2 p2 = p3 1/2
3 p3 = p4 1/2

Omgeschreven naar p0 geld er:

p0 = p0
p1 = p0 1/2
p2 = p0 1/4
p3 = p0 1/8
p4 = p0 1/16

Als je de kans p0 berekend krijg je: p0 + 1/2 p0 + 1/4 p0 + 1/8 p0 + 1/16 p0 = 1

Hieruit volgt: p0 = 16/31 p1 = 8/31 p2 = 4/31 p3 = 2/31 p4 = 1/31

De limietverdeling voor dit proces is dus: (p0 , p1 , p2 , p3 , p4) = (16/31 , 8/31 , 4/31 , 2/31 , 1/31)

Let op! De limietverdeling is niet het gemiddelde aantal klanten op de lange termijn, maar de kansen
dat het proces zich op lange termijn in de toestand i bevind. Als je het gemiddelde wil berekenen
moet je de kansen nog vermenigvuldigen met het aantal klanten per toestand. Hierdoor krijg je:

(16/31 * 0) + (8/31 * 1) + (4/31 * 2) + (2/31 * 3) + (1/31 * 4) = 26/31

2) Berekenen van de gevraagde prestatiemaat: Als je de limietverdeling van een wachtrijproces hebt
kun je alle prestatiematen berekenen zoals het gemiddeld aantal klanten in het proces, het
gemiddeld aantal klanten in de wachtruimte, etc. Hieronder staan enkele veelvoorkomende
voorbeelden uitgewerkt:

1. De bezettingsgraad: De kans een bediende aan het werk is. Dit is in alle toestanden het geval,
behalve wanneer er geen klanten in het proces aanwezig zijn (toestand 0). De kans dat een
bediende aan het werk is, is dus gelijk aan 1 – de kans op toestand 0 = 1 – p0. In het
voorbeeld zou deze kans dus gelijk zijn aan 1 – 16/31 = 15/31
2. De verlieskans: De kans dat het systeem vol is wanneer een klant aan komt. Als het
aankomstproces Poisson verdeeld is kun je de PASTA eigenschap gebruiken en stellen dat de
verlieskans gelijk is aan de kans dat het systeem vol is op een willekeurig moment. Dit is dus
de kans dat het systeem zich in de laatste toestand (toestand pk ) bevind op de lange termijn.
In het voorbeeld is dit gelijk aan p4 en zou de waarde 1/31 hebben.
3. De doorzet (λ): De hoeveelheid klanten dat per tijdseenheid uit het systeem komen. Dit zijn
dus alle klanten die per tijdseenheid aankomen min de klanten die verloren gaan. Hierdoor is
de doorzet λ(1-pk ). In het voorbeeld zou dit dus gelijk zijn aan 2(1-1/31) = 60/31.
44
 4. Gemiddeld aantal klanten in het syteem (L): De waarde van L voor het voorbeeld was
hierboven al berekend, en is gelijk aan 26/31. In het algemeen is het gemiddeld aantal
klanten in het systeem gelijk aan de som van alle kansen vermenigvuldigd met het aantal
klanten: 𝐿 = ∑𝐾 𝑖=0 𝑖 𝑃𝑖
5. Gemiddeld aantal klanten in de wachtruimte: Omdat je er vanuit kunt gaan dat alle
bediendes aan het werk zijn wanneer er klanten zijn, is het gemiddeld aantal klanten in de
wachtruimte bijna hetzelfde als het gemiddeld aantal klanten in het systeem. Het enige
verschil is dat je de kansen vermenigvuldigd met het aantal klanten in de toestand -1 omdat
er in dit geval altijd 1 bediende klanten aan het helpen is. 𝐿𝑞 = ∑𝐾 𝑖=0 (𝑖 − 1) 𝑃𝑖 . In het
voorbeeld zou dit gelijk zijn aan 0*p0 + 0*p1 + 1*p2 + 2*p3 + 3*p4 = 7/31.
6. Gemiddeld aantal klanten die bediend worden: Er staan of 0 klanten bij de bediende
(wanneer het proces zich in toestand 0 bevind), of 1 klant per bediende (voor alle andere
toestanden). Het gemiddelde aantal klanten die bediend worden is dus gelijk aan
0*p0 + 1*(1-p0) = 15/31.
7. Gemiddelde tijd die elke klant in het systeem doorbrengt inclusief afgewezen klanten (W):
Hiervoor kun je gewoon de formule van Little gebruiken W = L / λ. In het geval van het
voorbeeld zou dit dus zijn: (26/31) / (60/31) = 26/60.
8. Gemiddelde tijd die elke klant in het systeem doorbrengt exclusief afgewezen klanten (We ):
Hiervoor kun je ook de formule van Little gebruiken W = L / λ, alleen moet de doorzet ook
exclusief het aantal afgewezen klanten nemen = λ(1-pk ). De formule wordt dus
We = L / λ(1-pk). In het geval van het voorbeeld zou dit dus zijn: (26/31) / (60/31) = 26/60.

Uit het voorbeeld is dus gebleken dat je alle prestatiematen kunt berekenen als je eenmaal de
limietverdeling gevonden hebt. Een gestandaardiseerde functie van de limietverdeling voor
wachtrijmodellen in de vorm M/M/1/K is gelijk aan:

Deze formule is afgeleid uit de instroom/uitstroom vergelijkingen, maar je kunt hem gewoon
gebruiken om een limiet mee te berekenen zonder dat je weet hoe de formule tot stand gekomen is.

College 13
Het M/M/1/K model is het meest gangbare wachtrijmodel om prestatiematen mee te berekenen,
maar er zijn ook nog andere modellen. Enkele andere bekende modellen zijn:
o M/M/1 = wachtrijmodellen met een onbegrensde wachtruimte
o M/M/s/K = wachtrijmodellen met meerdere bediendes en een begrensde wachtruimte
o M/M/s = wachtrijmodellen met meerdere bediendes en een onbegrensde wachtruimte
o M/M/∞ = wachtrijmodellen met een onbegrensde hoeveelheid bediendes en wachtruimte

Wanneer er sprake is van een onbegrensde wachtruimte is het moeilijk om berekeningen te doen
aan het model. Stel dat de aankomst snelheid van klanten hoger is dan de bedieningssnelheid, dan
zal het aantal klanten in het proces uiteindelijk oneindig groot worden. We nemen daarom aan dat
een wachtrij model met een onbegrensde wachtruimte altijd stabiel is. Dit wil zeggen: De
aankomstsnelheid is kleiner dan de bedieningssnelheid. De stabiliteitsvoorwaarde is:

45
De aankomstintensiteit λ is dus kleiner dan de bedieningsintensiteit μ. In het vervolg wordt de letter
ρ (ro) gebruikt voor de verhouding λ/μ, waarbij altijd geld dat ρ kleiner is dan 1. Altijd als er sprake is
van ρ geld dus dat het model stabiel is.

Het M/M/1 model

Omdat dit model een onbegrensde wachtruimte heeft gaan we er vanuit dat de stabiliteitsvoorwaarde
geld, zodat er een limietverdeling is. Alles wat je verder van het M/M/1 model hoeft te weten is dat de
limietverdeling gelijk is aan:

Alle prestatiematen kun je (zoals bij alle wachtrijmodellen) uit de limietverdeling berekenen.
Hieronder staat een overzicht van hoe je alle prestatiematen voor een M/M/1 model kunt berekenen.
Alle formules zijn weer afgeleid van de formule van Little, maar het is niet noodzakelijk om te weten
hoe deze tot stand zijn gekomen.

Het M/M/s/K model

Het M/M/s/K model is een wachtrijmodel dat een Poisson verdeelde aankomsttijd heeft, een
exponentieel verdeelde bedieningstijd, een aantal bediendes dat groter is dan 1 en een beperkte
wachtruimte heeft. Je hoeft je niet af te vragen of het model stabiel is, want de wachtruimte is
beperkt. Hoe je alle prestatiematen aan zo’n model kunt berekenen staat beschreven aan de hand
van het M/M/3/5 model. De parameters van het model zijn λ = 3 en μ = 1. De situatieschets van dit
proces is als volgt:

Wat opvallend is aan dit model, is dat niet alle stappen die in toestand verminderen gelijk zijn aan 1
(van μ = 1). Dit komt doordat er meerdere bediendes aan het werk zijn. Als er bijvoorbeeld 5 klanten
in het proces zitten (toestand 5), kunnen er 3 klanten tegelijk geholpen worden omdat er 3

46
bediendes aanwezig zijn. De tijd van bedieningstijden is exponentieel verdeeld met parameter μ = 1,
dus het minimum van de bedieningstijden van de 3 bediendes wordt gegeven door Exp(3 μ).
Hierdoor zijn de parameterwaardes van de bedieningstijden in toestand 3, 4, en 5 dus gelijk aan 3.
Omdat er in toestand 2, 1 en 0 niet genoeg klanten zijn om alle bediendes bezig te houden zijn de
parameter hier lager.

Als je de situatieschets gemaakt hebt kun je weer het limiet van dit model uitrekenen. Dit kun je
weer doen doormiddel van het opstellen van de instroom = uitstroom vergelijkingen (of
snedevergelijkingen). Je kunt ook de gestandaardiseerde formule toepassen voor het limiet van
M/M/s/K modellen die hieronder gegeven staat:

Dit zijn twee kansenformules. De bovenste formule geeft de kans tot en met de toestand waarin de
volledige capaciteit van bediendes (s) voor het eerst benut wordt. De toestanden waarin meer
klanten als bediendes voorkomen worden met de tweede formule berekend. In deze formule is k het
aantal klanten dat in de wachtruimte staat.

Als je de gestandaardiseerde vorm gebruikt zal het opvallen dat het antwoord altijd in de vorm van
‘iets’ p0 is. Je kunt de p0 en dus alle andere kansen uitrekenen met de regel dat de som van alle
kansen gelijk is aan 1. Het maakt niet uit welke methode je gebruikt, je komt altijd uit op het limiet:

(p0 , p1 , p2 , p3 , p4 , p5) = (2/44, 6/44, 9/44, 9/44, 9/44, 9/44)

Omdat er maar een beperkt aantal bediendes is zijn er een paar dingen die vaak gevraagd worden
om te berekenen. Een daarvan is de bezettingsgraad van iedere bediende. Dit kun je logisch
beredeneren:
1. Als het proces zich in toestand 3, 4 of 5 bevind zijn alle drie de bediendes aan het werk.
2. Als het proces zich in toestand 2 bevind zijn er maar 2 bediendes bezet, dat is dus 2/3 deel.
3. Als het proces zich in toestand 1 bevind is er maar 1 bediende bezet, dat is dus 1/3 deel.
4. Als het proces zich in toestand 0 bevind zijn er geen bediendes aan het werk.
Als je de bezettingsgraat van iedere bediende wil weten vermenigvuldig je de bezettingsgraad van
iedere toestand i, met de kans dat het proces in deze toestand i terecht komt. De uiteindelijke
bezettingsgraad is dus:

(p0 0) + (p1 1/3) + (p2 2/3) + (p3 + p4 + p5) 1 = 35/44

Een andere veel voorkomende prestatiemaat is

de doorzet van het systeem. Omdat het systeem
maar een beperkte wachtruimte heeft kunnen
niet altijd alle klanten worden toegelaten, en
kun je dus niet stellen dat de doorzet gelijk is
aan de instroom. Doordat dit model een Poisson
verdeelde aankomst heeft kunnen we de PASTA regel toepassen, en stellen dat de uitstroom gelijk is
aan de instroom min de afgewezen klanten. Klanten worden afgewezen als de wachtruimte vol zit
(toestand 5) dus de doorzet is gelijk aan:

λ (1 – pk) = 3 (1 – 9/44) = 105/44

47
Het M/M/s model
Als je te maken hebt met een M/M/s model moet je eerst controleren of het model wel stabiel is. Als
dit niet het geval is kun je geen berekeningen doen . Als dit wel is kun je de limietverdeling uitrekenen
met instroom = uitstroom of snedevergelijkingen, of je kunt de standaardformulier gebruiken:

Het enige verschil tussen deze limietvergelijking en de limietvergelijking van een M/M/s/K model is
dat er geen limiet zit aan de waarde k. Verder is het principe hetzelfde dat de bovenste formule alle
kansen tot aan de toestand waarin de capaciteit volledig benut word berekend, en de onderste
formule alle kansen berekend voor de toestanden waarin er klanten aan het wachten zijn.

Enkele dingen die vaak gevraagd worden bij een M/M/s model zijn:
1. De kans dat een klant moet wachten: Omdat ook dit proces weer een Poisson verdeelde
aankomsttijd heeft, is de PASTA regel weer van toepassing, en is de kans dat een klant moet
wachten op een specifiek moment gelijk aan de kans dat een klant moet wachten op een
willekeurig moment. Deze kans is dus gelijk aan de kans dat het proces zich op ieder
willekeurig moment in een toestand bevind waarvoor geld i > s. De formule voor deze kans is:

2. Het verwachte aantal bezette werknemers: Deze verwachting is gelijk aan de som van het
aantal bezette werknemers per toestand i, vermenigvuldigd met de kans dat het proces zich in
oestand i bevind op de lange termijn. De formule voor deze kans is dus als volgt:

3. Het verwachte aantal wachtende klanten: Het verwachte aantal wachtende klanten is gelijk
aan de som van het aantal wachtende klanten per toestand i, vermenigvuldigd met de kans dat
het proces zich op lange termijn in toestand i bevind. De formule voor deze verwachting is dus
ook:

48
College 14
Het M/G/1 model
Dit model is een wachtrijmodel met een aankomstproces dat Poisson verdeeld is, en een
bedieningstijd die willekeurig verdeeld is. Verder heeft het proces 1 bediende, en een oneindig grote
wachtruimte. Er zijn een paar belangrijke eigenschappen van dit M/G/1 model die je moet weten:

Je kunt in dit model niet meer vanuit de limietverdeling alle prestatiematen berekenen, omdat de
bedieningstijd niet meer exponentieel verdeeld is. Hierdoor is het model geen continue-tijd Markov
keten meer. Je moet de prestatiematen dus op een andere manier benaderen. Het is echter wel nog
steeds van belang dat het proces stabiel is, wat in dit geval gegeven wordt door:

Hierbij is λ de intensiteit van het aankomstproces en τ de gemiddelde bedieningstijd. Voor dit model
geld dus ook dat ρ gelijk is aan de doorzet van het systeem.

Bij deze systemen is het interessant om te weten wat de resterende wachttijd voor een klant is, op
het moment dat deze aankomt. Deze tijd bestaat uit twee delen: de tijd die de bediende nodig heeft
om alle wachtende kanten te bedienden die nog voor klant x in de wachtrij staan, en de tijd die de
bediende nodig heeft om de klant af te handelen die al in het bedieningsproces zat. Hieruit komt de
volgende formule, je hoeft verder niet te weten hoe deze afgeleid is:

Met behulp van de formule van Little kun je deze formule omschrijven naar de volgende formules:

Het G/M/1 model

Dit model is een wachtrijmodel met een aankomstproces dat willekeurig verdeeld is, en een
bedieningstijd die exponentieel verdeeld is. Verder heeft het systeem 1 bediende en een
onbegrensde wachtruimte. Omdat de wachtruimte onbegrensd is, moet je kijken of het systeem
stabiel is voor je prestatiematen kunt berekenen. De stabiliteitsvoorwaarde is:

49
Je kunt voor dit systeem niet de limietverdeling berekenen omdat het geen continue-tijd Markov
keten is. Je kunt ook niet de formules van het M/G/1 model gebruiken omdat in dit systeem geen
sprake van de PASTA eigenschap is. De formules die speciaal voor dit proces gelden, maken gebruik
van een extra variabelen α. De waarde van deze variabele α kun je uitrekenen met de onderstaande
formule:

met

De waarde van α ligt altijd tussen 0 en 1, exclusief de waardes 0 en 1 zelf (open interval). Vaak is de
formule van G(s) gegeven, en moet je die omschrijven naar de G(μ(1-u)). Zoals bijvoorbeeld in de
volgende situatie:

Hierin moet je dan de s vervangen door μ(1-u), en deze nieuwe formule stel je dan gelijk aan u:
3 2
u= ( 3+𝜇(1−𝑢)
)

Stel dat μ gelijk is aan 4, kun je dat invullen en de waarde van u uitrekenen:
3 2 9
u= ( 3+𝜇(1−𝑢)
) ( =
(7−4𝑢)^2
)

u (7 – 4u)2 = 9
u (49 – 56u + 16u2) = 9
16u3 – 56u2 + 49u – 9 = 0
(u – 1) (4u – 9) (4u – 1) = 0

De oplossingen zijn dus u=1, u=9/4 of u= 1/4. De waarde van α is dus gelijk aan ¼ omdat dit de
enige waarde van u is in het open interval tussen 0 en 1. Als je deze waarde gevonden hebt kun je de
limietverdelingen van het G/M/1 model uitrekenen. De formules zijn als volgt:

Hierin is het verschil tussen L en L* dat L het gemiddelde aantal klanten op lange termijn in het
systeem is op ieder willekeurig moment, en dat L* het gemiddelde aantal klanten op lange termijn in
het systeem is op ieder aankomstmoment.
Het G/G/1 model
Dit model komt bijna nooit voor, want je kunt aan het G/G/1 model bijna geen berekeningen doen,
maar wel benaderingen. De benadering van de gemiddelde wachttijd van een klant is als volgt:

50
Met variabelen:

Als je de benadering van de gemiddelde wachttijd gevonden hebt kun je met deze waardes ook de
andere prestatiematen benaderen:

51