Verhuisbericht: welkom terug!

Door: Redactie - 44 reacties


Welkom terug en bedankt voor het wachten! Na een zaterdag migreren, kunnen we mededelen dat OMT officieel verhuisd is naar Het BladeVPS-platform van TransIP. We wilden zaterdag om 17:00 uur weer online zijn, maar werd uiteindelijk 20:00 uur. De laatste puntjes worden nog op de i gezet.

Een overzicht van wat goed en minder goed ging.

Wat ging goed?

De meeste servers lieten zich probleemloos overzetten en de site blijkt vrijwel probleemloos te werken met een nieuwe PHP-versie.

Wat ging minder goed

Drie dingen. Allereerst liepen we tegen problemen aan bij het overzetten van de database. Na de migratie liet de database server zich niet meer van buitenaf aanspreken en na een uur proberen zijn we daarmee opnieuw begonnen en hebben we de gehele database handmatig geëxporteerd en weer geïmporteerd.

Daarnaast zorgde onze cache (Varnish) voor problemen. Als een nieuwe post of reactie geplaatst wordt, moet de cache voor die pagina vernieuwd worden. Hiervoor gebruikten we een plugin die niet goed bleek te werken met de nieuwste versie van Varnish. Om het meteen goed te doen, hebben we zelf een nieuwe plugin geschreven. Als laatste duurde het overzetten van alle uploads langer dan verwacht.

Wat moet er nog gebeuren?

De pushberichten in de OMT App moeten opnieuw ingesteld worden. Ook laten sommige avatars van gebruikers zich nog niet zien. Dat gaan we zondag doen.

Zondag zijn de pushberichten opnieuw geactiveerd en alle uploads van gebruikers gesynchroniseerd. Momenteel wachten we op koppeling van de zoekmachine aan de nieuwe database en worden notificaties per e-mail niet verzonden. Dit verwachten we maandagavond opgelost te hebben. Heb je in de tussentijd iets gevonden dat nog niet werkt? Laat het dan weten in een reactie op dit bericht.

Originele bericht:

De planning

Zaterdag 14 november zullen we om 12:00 uur onze oude servers, die ondergebracht zijn in het datacenter van XS4ALL in Amsterdam, uitschakelen en beginnen met de migratie. We verwachten om uiterlijk 17:00 uur terug te zijn vanaf het awesome BladeVPS PureSSD-platform dat TransIP ter beschikking stelt.

Tijd voor vernieuwing

Aan de achterkant van OMT draait geen OS X Server, maar sinds 2010 Debian Linux 6 ‘Squeeze’ op een aantal eigen servers. Inmiddels is Debian bij versie 8.1 en is hardware een stuk sneller geworden. Vergelijk het met de overstap van een iPhone 5 naar een iPhone 6s.

Laatste blik op ons oude platform:

 

Naar de cloud of niet naar de cloud..

Wat we niet wilden is opnieuw investeren in eigen hardware, alles uit handen geven of onze data bij de Amazon Cloud in het buitenland stallen. De BladeVPS van TransIP bleek een mooie mix tussen het gemak van cloud en de controle van eigen hardware. Gewoon binnen de landsgrenzen.

We kunnen flexibel virtuele servers bijschakelen en deze installeren en configureren alsof het fysieke servers zijn. Handig als er bijvoorbeeld extra capaciteit nodig is bij Apple Events, de oude servers hadden het dan nog wel eens moeilijk. Alle 400 podcasts krijgen een plaatsje op Big Storage en door een intern netwerk kunnen we zelf onze backups maken en daarop toezien.

Wat gaan bezoekers merken?

Aan het uiterlijk van de site wordt (nog) niets gewijzigd, maar de snelheid van de site en community -met bijna 3 miljoen posts– zal verbeteren omdat het nieuwe platform uitsluitend met SSD-opslag werkt. Virtuele servers zijn sneller bij en af te schakelen, waardoor we vernieuwingen aan de site beter kunnen testen en bijvoorbeeld naar een deel van de bezoekers uitrollen.

Mag het even technisch?

Tuurlijk. We migreren van Debian 6 met Apache 2.2, PHP 5.4, MySQL 5.5 en Varnish 3 naar Debian 8.1 met Apache 2.4, PHP 5.6 (7.0 als test), MariaDB 10.1 en Varnish 4. De configuratie is geautomatiseerd met Ansible en we deployen onze WordPress Stack met Capistrano.

We zijn in juni begonnen met de voorbereidingen en 125 commits en 2053 regels code later zijn we klaar voor de verhuizing. Na de migratie ziet de achterkant van OMT er als volgt uit:

  • CDN (Nginx op BladeVPS)
  • Database (MariaDB op BladeVPS Pro)
  • Loadbalancer (Varnish op BladeVPS)
  • Cache (Redis op BladeVPS)
  • Search (RED Data Search op BladeVPS)
  • Storage (BladeVPS als NFS Proxy op BigStorage)
  • Web01 (WordPress met PHP 5.6 op BladeVPS Pro)
  • Web02 (WordPress met PHP 7.0 op BladeVPS — experimenteel –)
  • Tools (phpMyAdmin op BladeVPS)

Reacties

44 reacties
  • Profielfoto
    Shmoo

    Nice.. Succes!

  • Profielfoto
    Absrnd

    Ik ben benieuwd of “even ofline” weer een aantal dagen betekent:)

  • Profielfoto
    Hduebf Dgfuhf

    Mwahahaha, de vloek van Helena Vanaeken is aan het zegevieren! Ze heeft de servers kapot gekregen! Eigen schuld dikke bult’

  • Profielfoto
    Ruwepit

    Mwahahaha, de vloek van Helena Vanaeken is aan het zegevieren! Ze heeft de servers kapot gekregen! Eigen schuld dikke bult’

    Jij moet echt een k*tleven hebben. Sterkte

  • Profielfoto
    Jeroen-W

    Topactie en heldere post, veel succes vanmiddag!

  • Profielfoto
    madcat

    cool, veel succes!

    Ik kende MariaDB trouwens nog niet, wat is de voornaamste reden om over te stappen?

    Op de website lees ik dat het veel meer features heeft dan mysql.
    Mag ik vragen wat de doorslaggevende factor was?

  • Profielfoto
    starrewiets

    Succes straks

  • Profielfoto
    JohnDillinger

    @madcat: voor de meeste hostingbedrijven is de voornaamste reden om over te stappen naar MariaDB dat men het vertrouwen verloren heeft in de doorontwikkeling van de community editie van MySQL na de overname door Oracle.

  • Profielfoto
    Targaryen

    Succes met de verhuis. Hopelijk geen week lang problemen zoals voorgaande updates?;)

  • Profielfoto
    computer space

    Ik denk jullie schakelen tandje lichter, stack raspberry pi’s op 500mbit thuisglasvezel. Fora zijn een krimpend genre.

  • Profielfoto
    Raymon Mens

    @madcat: voor de meeste hostingbedrijven is de voornaamste reden om over te stappen naar MariaDB dat men het vertrouwen verloren heeft in de doorontwikkeling van de community editie van MySQL na de overname door Oracle.

    Dat dus. Vooral een ‘drop in’ vervanging.

    Ik denk jullie schakelen tandje lichter, stack raspberry pi’s op 500mbit thuisglasvezel. Fora zijn een krimpend genre.

    Die zouden binnen een seconde in rook opgaan:x We zien het niet in de pageviews, maar mocht het forum in de toekomst kleiner worden, dan kunnen we met deze nieuwe setup natuurlijk ook makkelijker een tandje terugschakelen. Het is toekomstproof, in alle scenario’s.

  • Profielfoto
    flierefluiter

    Succes met de migratie!

  • Profielfoto
    sedikit

    Hartstikke bedankt voor de moeite! Hoop dat deze bugs (althans bij mij) zijn opgelost:
    -de (on)mogelijkheid om “emoticons” zonder trucjes bij een reactie toe te voegen
    -niet meer om ± acht dagen weer te moeten inloggen
    -een haperende PB-melding weer goed te laten lopen
    -de menubalk intact te laten bij een eventuele verandering in de reactie. Is nu soms een veld met alleen maar tekst
    -en alles wat ik nog vergeten ben

  • Profielfoto
    yasser

    afbeeldingen toevoegen gaat niet…

  • Profielfoto
    pruus

    Welkom terug!

  • Profielfoto
    Hydræ

    Snel gedaan! Morgen nog de puntjes op de i, daarna hebben jullie wel een gele rakker verdiend.(y)

  • Profielfoto
    THX-1138

    O ja, en doe iets aan jullie kabel-management. Wat een zooitje.

  • Profielfoto
    Zakske

    De lijst met “laatste posts” wordt niet geĂĽpdatet*.

    *Niet zeuren, dat schijn je zo te schrijven.

  • Profielfoto
    pim939

    Als ik klik op profiel bewerken, dan bij extra en dan bij Apple kijk zie ik dat daar niets meer staat.

  • Profielfoto
    MacDon

    Succes met de laatste hordes

  • Profielfoto
    computer space

    Ik denk jullie schakelen tandje lichter, stack raspberry pi’s op 500mbit thuisglasvezel. Fora zijn een krimpend genre.

    Die zouden binnen een seconde in rook opgaan:x

    Kwestie van wat strakker coden. OMT heeft ongeveer 1 post/sec op piekmomenten. Pageviews zeggen niks, dat zijn vnm googlebots en refspammers en die kan je grotendeels blocken. Ook kun je prima oude posts opschonen die niemand meer bekijkt.

    De Steve Wozniaks en Camerons (Halt and Catch Fire) kregen het prima draaiend op een Pi.
    Wel zonder bloatware WordPress natuurlijk.
    Oh, Alexa vind wel dat bezoek terugloopt en in eigen ervaring is het ook veel minder. Paar jaar terug was de new topic list op de voorpaag 3x per dag vernieuwd, nu misschien eens in de 36 uur.
    Alleen door vertrek Zora la Rousse kon er al een server af.

  • Profielfoto
    Floris

    Lekker snel:)

  • Profielfoto
    apple-man

    IK neem aan dat de site met deze vernieuwde servers sneller gaat zijn. En dat deze de drukte beter aan kunnen als het bijvoorbeeld tijdens de apple WWDC extra druk is op onemorething. Wat ik ook eventjes kwijt wil ik weet niet wie die nieuwe servers voor jullie heeft aangesloten man man wat is dat kabel management een zooitje die hebben en blijkbaar nog nooit van kabelbinders ook wel Tie-Rips genoemd gehoord. Ik heb alles wat met kabels te maken heeft bij mij thuis mooi weggewerkt hiermee. Ik geef als advies doe dit alsnog op deze manier wegwerken. Ik wil namelijk niemand op de tenen trappen maar nu komt het een beetje over of hier amateurs bezig geweest zijn en dat is hier zeker niet het geval petje voor het snelle werk. Dat jullie zo eventjes een nieuwe plugin schrijven vind ik echt knap ga zo door onemorething.(y)

  • Profielfoto
    Jan David Hanrath

    @apple-man: de foto’s zijn de gepensioneerde oude OMT-servers. Ik ga ervan uit dat TransIP z’n kabeltjes keurig organiseert.:smile:

  • Profielfoto
    SMac

    Dat ging toch wel snel:-)

  • Profielfoto
    Shmoo

    .. Jan-David was mij voor.

  • Profielfoto
    admin

    Update:
    – Plaatjes uploaden werkt weer en alle oude uploads zijn gesynchroniseerd
    – Lijstjes werkten weer en worden zoals vanouds om de 5min vernieuwd
    – Emoji werken weer (kwamen van CDN, maar stonden niet op CDN):-?
    – Verder heeft de applicatieserver nu 8 cores, 4 bleek toch wat te weinig. Gelukkig kunnen we dat nu flexibel aanpassen.

    To do:
    – OMT LIVE werkt niet in OMT App
    – Pusnotificaties werken niet in OMT App

    Kijk.. een plaatje:

  • Profielfoto
    SunKeeper

    ….wat is dat kabel management een zooitje die hebben en blijkbaar nog nooit van kabelbinders ook wel Tie-Rips genoemd gehoord. Ik heb alles wat met kabels te maken heeft bij mij thuis mooi weggewerkt hiermee. Ik geef als advies doe dit alsnog op deze manier wegwerken. Ik wil namelijk niemand op de tenen trappen maar nu komt het een beetje over of hier amateurs bezig geweest zijn en dat is hier zeker niet het geval petje voor het snelle werk.

    Ik hoop alleen dat je ook weet wat er aan de binnenkant van een kabel gebeurt i.v.m. tie-raps.

    Nu wil ik je zeker niet meteen op de tenen trappen, maar ik ken ook mensen die zo enthousiast bezig zijn daarmee dat ze zich daarna verbaasden dat Ethernet- en SATA-kabels geen signaal meer bleken door te geven.
    SATA-kabels hebben een maximale buishoek, en kabeltjes in een Ethernetkabel zitten expres in twisted pairs om snelle dataoverdracht mogelijk te maken. Als ze teveel klem komen te zitten onderbreek je de twist en kun je fluiten naar de doorvoer die die kabels normaal moeten kunnen halen.

    Zeker in dit geval (SSD, snelle servers, snelle glasvezelaansluitingen) is het uitkijken hiermee. Let op, ik zich niet dat ze niet mag gebruiken, zeker is het handig en ziet het er veel netter uit.

  • Profielfoto
    sedikit

    Noodgedwongen edit via een nieuwe reactie. Dit is wat ik bedoel met de onmogelijkheid een reactie achteraf, behalve de tekst, nog te kunnen bewerken. Dit is mijn bovenstaande eerste reactie:
    (Het laden van een afbeelding gaat dus wel, maar dat ging altijd al wel)

    En dit is mijn emoticons-test: sad:
    Edit: de emoticons doen het dus (nog steeds)niet……..

  • Profielfoto
    TheBigZ

    Emoticons testje:(y)

  • Profielfoto
    TheBigZ

    @sedikit::lol:

  • Profielfoto
    TheBigZ

    Gelukkig is er aan bepaalde zaken niet getornd; de ‘quote bug’ zit er nog steeds in.:grin:

    http://www.onemorething.nl/community/topic/foutjes-na-laatste-forumonderhoud/page/17/#post-2581475

    Jan-David-Hanrath op 12 augustus 2013

    @TheBigZ: beiden genoteerd in onze bug-tracker. Dank!

  • Profielfoto
    apple-man

    ….wat is dat kabel management een zooitje die hebben en blijkbaar nog nooit van kabelbinders ook wel Tie-Rips genoemd gehoord. Ik heb alles wat met kabels te maken heeft bij mij thuis mooi weggewerkt hiermee. Ik geef als advies doe dit alsnog op deze manier wegwerken. Ik wil namelijk niemand op de tenen trappen maar nu komt het een beetje over of hier amateurs bezig geweest zijn en dat is hier zeker niet het geval petje voor het snelle werk.

    Ik hoop alleen dat je ook weet wat er aan de binnenkant van een kabel gebeurt i.v.m. tie-raps.

    Nu wil ik je zeker niet meteen op de tenen trappen, maar ik ken ook mensen die zo enthousiast bezig zijn daarmee dat ze zich daarna verbaasden dat Ethernet- en SATA-kabels geen signaal meer bleken door te geven.
    SATA-kabels hebben een maximale buishoek, en kabeltjes in een Ethernetkabel zitten expres in twisted pairs om snelle dataoverdracht mogelijk te maken. Als ze teveel klem komen te zitten onderbreek je de twist en kun je fluiten naar de doorvoer die die kabels normaal moeten kunnen halen.

    Zeker in dit geval (SSD, snelle servers, snelle glasvezelaansluitingen) is het uitkijken hiermee. Let op, ik zich niet dat ze niet mag gebruiken, zeker is het handig en ziet het er veel netter uit.

    Je kunt ook overdrijven als je kabel gewoon op een normale manier vast maakt met tie-raps is er niets aan de hand. Bij pc bouwers zie je ook geregeld dat deze gebuikt worden. En je weet wat het spreek woord zegt namelijk dat alles waar T voor staat is niet goed behalve tevreden. Ik heb mijn kabel management zo als ik all zei mooi weg gewerkt met deze Tie-raps. Ik ben er zeer tevreden over en ik heb hier nog nooit problemen mee gehad. Zolang je ze maar niet te strak maakt bij gevoelig kabels is er niets aan de hand.

  • Profielfoto
    sedikit

    Test emoticon, emoticon ver verwijderd van deze tekst ;!
    Edit: verdomd, dan doen de emoticons het!!
    Maar deze verbeter-tekst heeft nog steeds geen menubalk met andere opties. Alleen de tekst(zonder cursief e.d.) is nog te doen. Afwachten dus……(ik nader het gewicht tot een ons!)

  • Profielfoto
    Joerian

    Respect

  • Profielfoto
    iMac Lover

    So te zien is de migratie prima gelukt
    Gefeliciteerd

  • Profielfoto
    sedikit

    Respect

    Sorry, (met permissie :x ) Ik word een beetje moe van het woord “respect”

  • Profielfoto
    admin

    Update:
    – Pushnotificaties werken weer.

    – In het kielzog van de migratie hebben we een bug in de app gevonden, waardoor plaatjes in reacties en topics niet getoond werden. Dit vereist eigenlijk een update van de app, maar dat zal door het keuringsproces van Apple nog even duren. Daarom lossen we het nu met een hotfix in WordPress op. We geven de app bewust ‘verkeerd’ opgemaakte data waardoor het wĂ©l werkt. Dit gaat er uiteraard weer uit na de volgende app-update.

    Todo:
    – Zoekmachine aan nieuwe database koppelen.

  • Profielfoto
    Haike

    Ik weet het niet maar ik ontvang geen enkel bericht meer…

  • Profielfoto
    Niels

    Goed bezig! Welkom terug en succes met de laatste puntjes!

  • Profielfoto
    Nosferius

    Beste Apple-Man,

    Ze hebben wel gelijk over tiewraps.

    Ik ben persoonlijk actief geweest in meerdere uitrollen van netwerken en ook van server-racks … heb vooralsnog niemand ooit met tie-wraps om kabelbomen zien doen … meerdere redenen voor zoals ze hierboven al aangeven m.b.t. kabel en waarom die stuk gaat maar ook m.b.t. vervangbaarheid, als je een kabeltje erbij doen of eruit wilt halen om te vervangen moet je dus eerst die tie-wrap doorknippen (succes met je schaar tussen de kabels krijgen zonder kabels te slopen) en dan uiteindelijk weer alles bossen en opnieuw wrappen …

    De meeste professionele organisaties (in ieder geval degenen die ik gezien heb die werken voor uitrollen van miljoenen euro’s aan netwerk) werken met klitteband. Dit vervang je makkelijk, sloopt je kabels niet en is beschikbaar in allerlei handige kleurtjes.

    Mijn studio is ook volledig met klitteband gebost, veel beter.

  • Profielfoto
    admin

    Ik weet het niet maar ik ontvang geen enkel bericht meer…

    Dank voor het melden. Mail vanuit wordpress wordt momenteel niet verzonden, gaan we vandaag oplossen.

    klitteband, veel beter.

    De foto met de kabelbossen is gemaakt tijdens vorige werkzaamheden aan de oude servers, daarbij moesten wat kabels overgeprikt en was de boel wat warrig. Normaal zit het wat ordelijker met klittenband vast.

  • Profielfoto
    admin

    Update:
    – Alle e-mails worden weer verzonden.

    To do:
    – Zoekmachine aan nieuwe database koppelen (we zijn hierbij even afhankelijk van een derde partij, daarom duurt het wat langer)

  • Profielfoto
    Raymon Mens

    De zoekmachine is aan de nieuwe database gekoppeld. Waarmee de migratie afgerond is:smile: